Prédiction d’interventions du pharmacien à l’aide de marqueurs du travail des prescripteurs

Une nouvelle publication décrivant l’utilisation de machine learning pour orienter l’évaluation des ordonnances par les pharmaciens, de la part d’auteurs américains, a été publiée en juillet 2021 dans JAMIA Open et est disponible en texte complet gratuitement sur PubMed Central. Ceci fait suite à des publications passées d’autres groupes sur le même sujet. Étrangement, il n’est pas clair dans les détails de la publications si des pharmaciens sont parmi les auteurs, mais le processus de travail des pharmaciens est très bien décrit, on peut donc assumer que des pharmaciens ont minimalement été consultés.

L’objectif de l’étude était d’élaborer un modèle de machine learning permettant d’identifier les ordonnances nécessitant une intervention de la part du pharmacien. L’étude a eu lieu dans 3 hôpitaux académiques américains totalisant 1600 lits. Un dossier électronique commercial était utilisé pour la prescription électronique et la vérification des ordonnances. Les données du dossier électronique de 2 semaines, du 10 au 24 juillet 2017, ont été extraites, comprenant environ 181 000 ordonnances en 36 500 « lots » (un lot étant un groupe d’ordonnances prescrites en même temps), pour 16 000 patients, par 2700 prescripteurs. 2054 de ces lots contenaient au moins une ordonnance requérant une intervention.

Les variables utilisées afin de prédire la nécessité d’intervention du pharmacien ont été construites sur la base des actions et des caractéristiques du prescripteur juste avant de prescrire, la théorie étant que la lourdeur des tâches et la fragmentation du travail du prescripteur avant de prescrire pourrait mener à davantage d’erreurs, et donc davantage d’interventions de la part du pharmacien. Les variables incluses étaient divisées en trois catégories:

  • Les mesures d’engagement envers les patients et le dossier électronique dans l’heure précédant la prescription (ex: nombre de patients consultés, nombre d’ordinateurs utilisés, nombre d’actions administratives effectuées, etc.)
  • Les caractéristiques des ordonnances incluses dans le lot (ex: nombre d’ordonnances, utilisation de order sets, nombre de represcriptions de médicaments, nombre d’ordonnances « stat », etc.)
  • Les données contextuelles (type de prescripteur, spécialité du prescripteur, moment de prescription, etc.)

Quatre modèles de machine learning ont été construits avec ces variables comme prédicteurs et l’intervention du pharmacien comme issue: deux modèles de régression logistique, le premier avec régularisation L1 et le second avec régularisation L2, une forêt aléatoire et un modèle avec boosting XGBoost. Les données ont été divisées aléatoirement en jeux d’entraînement, validation et test. Une stratégie de recherche de paramètres par grid search avec validation croisée avec a été utilisée pour déterminer les hyperparamètres des modèles. La technique SMOTE a été utilisée pour gérer le débalancement de classes (les ordonnances sans intervention étant plus fréquentes).

Le modèle XGBoost s’est avéré le plus performant. Cependant, l’aire sous la courbe précision-rappel était plutôt faible à 0,439, indiquant une performance modeste du modèle. Malgré tout, en analysant l’explicabilité du modèle, les auteurs ont pu identifier que les ordonnances de résidents, les nombre d’ordonnances de « réconciliations » (on comprend liées au bilan comparatif) et les ordonnances en grand nombre dans un même lot, étaient plus susceptibles de requérir une intervention, ce qui concorde avec ce que j’observe en pratique.

Il est dommage que les modèles développés par les auteurs étaient aussi peu performants. Néanmoins, l’approche des auteurs qui ciblait des marqueurs de la charge cognitive du prescripteur comme prédicteurs des erreurs dans les ordonnances est très intéressante. J’apprécie également le fait que les auteurs ont tenté de générer un modèle explicable et que leur processus d’élaboration du modèle était très clair; dans d’autres publications décrivant des modèles visant à prédire les erreurs de prescription, certains éléments peuvent être flous. J’espère voir davantage de publications sur ce sujet de la part de ce groupe.

Utiliser le machine learning pour rédiger les instructions posologiques des médicaments

J’ai déjà parlé de plusieurs applications possibles du machine learning pour améliorer le fonctionnement des dossiers électroniques et pour certaines applications en pharmacie, son application en pharmacie d’établissement de santé étant un de mes intérêts de recherche. Un article publié en février 2021 dans le journal de l‘American Pharmacists Association décrit une application intéressante du machine learning pour assister le pharmacien dans un contexte de pratique communautaire. Dans ce contexte, la réception d’ordonnances électroniques avec des instructions en texte libre écrites par les prescripteurs comporte souvent des instructions inadaptées aux patients (par exemple, du jargon médical, des abréviations, des mots en latin). Les assistant-techniques en pharmacie et pharmaciens doivent « traduire » ces instructions en langage compréhensible par un patient qui n’a pas nécessairement de formation médicale. Cette traduction pourrait être effectuée par un modèle d’intelligence artificielle, ce qui épargnerait du temps et pourrait potentiellement diminuer les erreurs liées à ce processus manuel et variable.

L’objectif de l’étude était d’évaluer un modèle de traduction par intelligence artificielle développé à cette fin. Le modèle en question comportait un réseau de neurones appelé neural machine translation (un type de modèle bien connu et déjà utilisé dans d’autres applications), suivi d’une étape de vérification permettant d’éliminer des traductions incohérentes, puis d’une étape de normalisation. Le modèle avait été préalablement entraîné à partir de la banque de données comportant 537 710 ordonnances électroniques reçues par une pharmacie postale américaine en 2017 et 2018. Le développement et l’entraînement de ce modèle a été présenté à une conférence en novembre 2020. L’article décrit le processus de validation du modèle. Chaque ordonnance comportait 3 éléments utilisés pour l’étude: les instructions en texte libre émises par le prescripteur, les instructions en texte libre remises au patient et élaborées à la main par le personnel de la pharmacie, et les instructions en texte libre déterminées par le modèle d’intelligence artificielle à partir des instructions du prescripteur. D’autres variables étaient également utilisées, notamment la classe du médicament, afin d’orienter le modèle.

300 ordonnances non utilisées pour l’entraînement du modèle (jeu de test de la base de données) ont été échantillonnées et annotées par deux étudiants en pharmacie. Les divergences d’opinion ont été résolues par discussion avec un pharmacien et un chercheur auteurs de l’étude. L’annotation visait à coter les instructions par rapport à leur conformité aux pratiques recommandées pour l’étiquetage des médicaments selon une ligne directrice américaine, par exemple pour valider que toutes les composantes de la posologie étaient présents (dose, unité, voie, fréquence), que les motifs de prise pour les ordonnances au besoin étaient présents, etc. Ils ont aussi coté la « distance minimale » entre les différentes instructions en fonction d’une méthodologie décrite dans l’étude, un chiffre plus élevé indiquant le besoin de plus de manipulations de traitement de texte pour passer d’une chaîne à l’autre.

47 classes de médicaments étaient incluses dans les 300 ordonnances échantillonnées, dont 11,7% de médicaments pour de diabète, 8% de médicaments respiratoires, etc. 35 médicaments à haut risque étaient inclus. 279 ordonnances ont été incluses, celles d’instruments médicaux ayant été exclues. 70,3% des instructions transmises par les prescripteurs n’étaient pas conformes [notamment, 43,7 % contenaient une abréviation, du jargon ou des mots en latin], comparativement à 33,0% des instructions produites par le personnel des pharmacies et 29,7% des instructions produites par le modèle.

Les auteurs soulignent que 23 instructions produites par le modèle comportaient des erreurs de dose, d’unité ou de fréquence, dont 5 pour des médicaments à haut risque, comparativement à 2 pour les instructions produites par le personnel de pharmacie. Un exemple avec un sevrage de prednisone est donné dans l’article.

Les instructions produites par le modèle étaient plus près des instructions finales remises au patient: la distance minimale entre les instructions des prescripteurs et les instructions finales était d’une médiane de 30 (intervalle interquartile 19-47) alors qu’elle était de 18,5 (intervalle interquartile 0-36) entre les instructions du modèle et les instructions finales.

Les auteurs expriment la possibilité qu’un tel modèle serve de « premier pas » lors du traitement d’une ordonnance électronique, ainsi les instructions posologiques pourraient être éditées à partir du texte produit par le modèle plutôt qu’à partir des instructions du prescripteur directement, afin de réduire la charge de travail représentée par l’édition manuelle des instructions posologiques. Ils soulignent à juste titre que les erreurs d’interprétation de certaines posologies faites par le modèle sont un problème; dans ma propre expérience ce genre de situation (où un texte proposé « par défaut » est inexact ou erroné, même rarement) est très mal toléré par les cliniciens. Même s’il est attendu qu’ils éditent le texte, ceux-ci préférent généralement rien du tout plutôt qu’un texte pouvant comporter dans de rare cas une erreur. Les auteurs proposent des solutions possibles, comme par exemple une rétroaction par apprentissage par renforcement permettant au modèle d’identifier en temps réel les erreurs qu’il commet, l’inclusion d’un intervalle de confiance par rapport aux instructions présentées, ainsi que des changements à la manière dont les posologies sont transmises électroniquement pour diminuer le recours au texte libre.

Je trouve cet article intéressant, cette application me semble avoir du potentiel. Même en limitant l’utilisation du modèle aux cas où la performance du modèle serait très bonne, pour éviter les problèmes (ex: exclure les instructions complexes ou les formes pharmaceutiques plus rares), il serait possible de faciliter la vie du personnel des pharmacies dans la rédaction des instructions posologiques remises au patient. Dans le contexte québécois bien sûr, ceci nécessiterait une augmentation significative de la proportion d’ordonnances transmises électroniquement et des améliorations aux logiciels de pharmacie communautaire.

Facteurs associés à l’annulation d’ordonnances électroniques

Un article publié en novembre 2020 dans JAMIA décrit l’utilisation de données provenant d’une fonctionnalité d’annulation d’ordonnances électroniques (« void« ) qui visait à indiquer qu’une ordonnance était une erreur. L’étude avait pour objectif de décrire la nature des erreurs qui avaient fait l’objet d’une annulation et d’explorer les facteurs de risque et stratégies de prévention de ces erreurs.

L’étude a eu lieu dans un centre académique américain de 495 lits utilisant un logiciel de dossier électronique commercial. Les ordonnances annulées durant une période de 16 mois, soit du 25 août 2017 au 31 décembre 2018, ont été incluses. Suite à une annulation d’ordonnance, l’équipe de recherche contactait le clinicien dans un délai de 24 heures pour obtenir des détails sur les circonstances de l’annulation, et les détails de l’annulation dans le dossier électronique étaient révisés. Le modèle SEIPS dont j’ai déjà parlé il y a plusieurs années a été utilisé pour analyser les erreurs, de manière à identifier les facteurs contributifs au niveau des personnes, des tâches, des technologies, de l’environnement et des aspects organisationnels.

1074 ordonnances ont été annulées durant l’étude. Toutes les ordonnances ont pu être analysées, et 387 entretiens ont été menés 355 sondages ont été remplis par 286 cliniciens impliqués dans les annulations. 842 annulations des 1074 (78%) étaient de véritables erreurs. La majorité des erreurs étaient des ordonnances faites par des médecins (63%) et la plupart ont aussi été annulées par des médecins (54%); les autres cliniciens les plus impliqués étant des infirmières ou pharmaciens.

Sur la base des données collectées dans les dossiers, les erreurs les plus fréquentes étaient des duplications d’ordonnances dans 51% des cas, des erreurs posologiques dans 22% des cas, des erreurs de patient dans 11% des cas, des erreurs cliniques dans 7% des cas suivi d’autres raisons dans des proportions moins fréquentes. Aucun événement indésirable découlant des erreurs n’a été rapporté, cependant 190 erreurs (22%) se sont rendues au patient avec au moins une dose de médicament administrée avant que l’erreur ne soit interceptée.

Les facteurs impliqués dans les erreurs sont sans grande surprise, je liste ici ce qui est principalement identifié mais il est utile de lire la section très détaillée sur ce sujet dans l’article.

  • Facteurs technologiques: la confusion dans la présentation de l’information dans le dossier électronique, la conception des alertes et le manque de formation sur l’utilisation du logiciel.
  • Facteurs cognitifs: la surcharge d’alertes, la charge de travail, les distractions.
  • Facteurs sociaux: les difficultés de communication entraînant une mauvaise compréhension entre différents cliniciens (en particulier lors d’ordonnances verbales) ou avec le patient.
  • Facteurs environnementaux: les interruptions, le bruit, le manque de temps, les alarmes.
  • Facteurs organisationnels: la charge de travail, le manque de personnel, le manque de diffusion de protocoles et les déviations par rapport aux protocoles.

L’article n’apporte rien de bien surprenant en termes de facteurs contributifs, ceux-ci sont largement connus et déjà démontrés comme des causes d’erreurs dans une variété de circonstances; pas seulement dans le cadre de la prescription électronique. Il est cependant surprenant de voir que près du quart des erreurs de prescription ont mené à l’administration d’au moins une dose du médicament erroné au patient, ce qui me semble beaucoup. Ceci peut être un reflet des processus en place dans le centre où l’étude a eu lieu mais pourrait aussi indiquer que la fonctionnalité d’annulation dans un logiciel de prescription électronique est plus susceptible d’être utilisée pour les erreurs « significatives » par rapport aux erreurs plus mineures qui ne mènent pas à des conséquences tangibles.