Un article paru au début du mois dans le JAMIA a attiré mon attention. Le titre laisse entendre que les auteurs ont élaboré un processus de révision d’ordonnances pré-rédigées assisté par machine learning. Ma propre expérience m’a montré que ce processus est généralement long et complexe, même pour des ordonnances pré-rédigées apparemment simples. J’étais donc bien intéressé à voir ce que ces chercheurs ont fait. J’ai été un peu déçu…
L’objectif de l’étude est vaguement décrit. Les auteurs ont comparé six approches de révision d’une seule ordonnance pré-rédigée dans leur institution. L’ordonnance en question est celle de demande d’analyses de laboratoire le matin, un exemple très simple. Les approches comparées étaient individuellement:
- Par les connaissances cliniques
- Par les statistiques populationnelles
- Par machine learning
Et les auteurs arrivent à 6 méthodes en combinant celles-ci. La variable dépendante était la charge de travail définie par le nombre de clics de souris nécessaires lors de la rédaction de l’ordonnance (une mesure assez discutable). Les données sur l’utilisation de cette ordonnance ont été extraites de septembre 2014 à octobre 2015 du dossier électronique de l’institution (plus ou moins décrite, mais on comprend de l’affiliation des auteurs que c’est un hôpital situé à New York), et incluaient 998 946 instances d’ordonnance pour 37 924 patients, ainsi que 3561 ordonnances d’analyses de laboratoire additionnelles placées dans un intervalle de 10 minutes avant ou après l’ordonnance pré-rédigée.
L’apport du machine learning dans le processus de révision était essentiellement de déterminer si chaque analyse de laboratoire devait être sélectionnée par défaut ou non dans l’ordonnance révisée, ce pourquoi je disais être déçu. En effet, cette technique ne semble pas avoir été appliquée à la sélection du contenu de l’ordonnance.
L’approche de machine learning semble valide mais est peu décrite, je crois comprendre que les auteurs ont utilisé une approche de régression logistique sans réseaux de neurones, autrement dit un modèle plutôt simple. Les résultats sont décrits de façon un peu confuse avec chaque combinaison de facteurs nommée de M1 à M6. Il en ressort que de combiner la révision du contenu sur la base des connaissances cliniques et de la sélection par défaut avec machine learning était l’approche la plus efficace et a permis de diminuer le nombre de clics nécessaires à la rédaction d’une ordonnance d’environ 25%.
Je crois que l’objectif de l’article, soit de réviser l’ordonnance pré-rédigée de manière à réduire la charge de travail, est louable, mais que l’approche de diminution du nombre de clics va nécessairement mener à l’optimisation du modèle en fonction des pratiques les plus populaires, qui ne sont pas nécessairement les plus souhaitables. Par exemple, si les cliniciens ont tendance à cocher une analyse de laboratoire fréquemment, mais que ce n’est pas une pratique optimale (par exemple mesurer trop souvent les électrolytes), le modèle va optimiser pour sélectionner cette option par défaut pour réduire les clics alors qu’il est peut-être préférable cliniquement de ne pas faire cela.
Pour cette raison, je trouve que l’article est un peu décevant, et que la « cible » du modèle de machine learning devrait être un paramètre offrant un bénéfice clinique, plutôt qu’une mesure intermédiaire dont l’optimisation peut produire des effets cliniques imprévisibles.
Maxime Thibault 