Utiliser le machine learning pour détecter les erreurs de prescription

Au début de 2017, je vous parlais d’un article décrivant un logiciel commercial de détection d’anomalies de prescription par machine learning. Cet article démontrait que plus de 75% des alertes générées par le système étaient valides par rapport aux données disponibles dans le dossier électronique de l’hôpital à l’étude et que plus de la moitié était de valeur clinique élevée.

Le même logiciel a fait l’objet d’une nouvelle étude parue en août 2019. Cette nouvelle étude a été réalisée dans un hôpital israélien de soins tertiaires de 1800 lits, mais une seule unité de médecine interne de 38 lits a été incluse. Les données ont été collectées du 1er juillet 2016 au 30 avril 2018.

Le logiciel intègre les données du dossier clinique informatisé de l’hôpital ainsi que les motifs (patterns) présents dans les pratiques de prescription du centre pour générer un modèle local, qui ensuite sert à l’analyse prospective de nouvelles ordonnances. Une rétroaction est donnée soit en temps réel lors de la prescription, soit en différé.

Durant l’étude, 4533 admissions ont eu lieu, générant 78 017 ordonnances. 315 alertes ont été générées pour 282 ordonnances, ce que les auteurs qualifient de faible et m’apparaît même extrêmement faible pour une système d’aide à la décision, quand on connaît le nombre très élevé d’alertes habituellement générées par de tels systèmes. Les auteurs ont comparé ces chiffres à ceux d’un autre système d’aide à la décision en place dans le même centre. On constate que 37% des ordonnances génèrent une alerte dans le système habituel comparativement à 0,4% dans ce nouveau logiciel.

Les alertes générées en temps réel étaient à 47% des alertes en lien avec des analyses de laboratoire, avec la sous-catégorie la plus fréquente qui était une alerte sur l’usage de sédatifs chez les patients avec hypercapnie. 42% des alertes en temps réel étaient liées au dosage. Les alertes asynchrones étaient générées lorsque la condition d’un patient changeait. La catégorie la plus fréquence de ces alertes était aussi l’usage de sédatifs chez les patients avec hypercapnie, suivie de près par l’usage de chronotropes négatifs chez les patients avec bradycardie.

Les auteurs rapportent la validité et l’utilité clinique des alertes. Je n’aime pas la méthode avec laquelle ces chiffres ont été déterminés: les auteurs ont pris la peine de vérifier la réponse des cliniciens aux alertes, mais la détermination finale de si une alerte était valide ou utile revenait à une seule personne, un « champion clinique » auteur de l’étude. J’aurais aimé voir une analyse externe par plusieurs personnes, possiblement même à l’aveugle de la réponse des cliniciens. De façon assez peu surprenante, 85% des alertes ont été jugées cliniquement valides et 80% cliniquement utile.

Les chiffres sur la réponse des cliniciens aux alertes sont plus intéressants. Environ la moitié des alertes ont généré un changement sur l’ordonnance dans un court laps de temps, ce qui est impressionnant considérant que la vaste majorité des alertes des systèmes d’aide à la décision classique sont ignorées. Les alertes les plus fréquemment associées à un changement étaient celles en lien avec le dosage, indiquant quand même que les alertes les plus fréquentes, sur l’hypercapnie et l’usage de sédatifs, n’étaient peut-être pas si cliniquement utiles.

Globalement, il s’agit d’un article très intéressant offrant des données sur l’impact clinique d’un logiciel d’aide à la prescription utilisant le machine learning. Les données présentées sont encourageantes, les alertes générées semblent être beaucoup plus utiles et pertinentes que celles générées par un système classique basé sur des règles programmées.

Cependant, le site web du produit et les publications des auteurs, du moins celles que je peux retrouver, n’offrent aucun détail technique sur le fonctionnement du logiciel, sur des forces et ses limites, ainsi que sur ses biais. 5 jours avant la publication de cet article, une autre publication du même journal appelait à la transparence. Je cite ici les deux phrases finales de l’abstract de cet article:

Hiding algorithms for commercial exploitation is unethical, because there is no possibility to assess whether algorithms work as advertised or to monitor when and how algorithms are updated. Journals and funders should demand maximal transparency for publications on predictive algorithms, and clinical guidelines should only recommend publicly available algorithms.

Erreurs de prescription électronique en clinique externe de pédiatrie

L’Académie Américaine de Pédiatrie (AAP) a émis des lignes directrices sur les fonctionnalités de prescription électronique qui sont nécessaires pour sécuriser ce processus en pédiatrie. Je n’ai pas parlé de ces lignes directrices sur ce blogue car elles datent de 2013 et elles se centrent surtout sur la prescription faite en clinique externe et destinée aux pharmacies communautaires. En 2015, je mentionnais un article espagnol qui incluait ces lignes directrices dans une revue plus générale des technologies de prescription et d’administration destinées à la pédiatrie.

Un nouvel article paru au début du mois d’avril s’est penché sur les erreurs de prescription électronique en pédiatrie, et les a examinées en regard des critères de l’AAP. L’étude a eu lieu dans trois cliniques de médecine de famille ou de pédiatrie dans 3 organisations de santé américaines étant dotées d’un dossier électronique unique. Les logiciels précis sont nommés dans l’article. Les ordonnances incluses était les ordonnances de médicaments destinées aux pharmacies communautaires. Toutes les ordonnances émises pour des patients pédiatriques durant une période de 1 à 2 mois, c’est-à-dire jusqu’à l’obtention de 400 ordonnances ou plus par clinique, étaient incluses. Chacun des trois logiciels a été évalué pour sa conformité aux lignes directrices de l’AAP sur une échelle à trois niveaux; le tableau de cette conformité est présenté dans l’article. Les ordonnances ont ensuite été revues par un panel composé de pharmaciens et médecins qui ont déterminé la présence d’erreurs en fonction de critères pré-établis.

Les trois logiciels en place dans les cliniques rencontraient les critères de l’AAP à 21-47%. Les cliniques 1, 2 et 3 ont fourni respectivement 477, 408 et 633 ordonnances, avec un taux d’erreur de 13,2, 8,8 et 6,6%. Il est intéressant de noter que la classe des antimicrobiens était la plus prescrite et comptait pour 24 à 33% des erreurs. Selon les auteurs, 83% des erreurs auraient pu être prévenues si la conformité aux critères de l’AAP avait été complète.

L’article me semble intéressant car il montre que des logiciels pourtant très populaires et matures ne sont pas parfaitement conformes à des principes de sécurité de prescription pédiatrique relativement simples et connues depuis plusieurs années. Pensons notamment à la documentation du poids en kg uniquement ou à l’affichage du volume correspondant à une dose pour une prescription d’un médicament liquide. Il semble que la plupart des erreurs seraient évitables avec une meilleure conformité à ces critères. Je trouve cependant dommage que l’article ne détaille pas les erreurs ni leur répartition par catégorie; cela aurait permis de voir si les lacunes se situent davantage au niveau des critères simples (ex: volume en fonction de la dose, présence de dose, voie, fréquence et quantité, etc.) ou de critères plus complexes (ex: dose en fonction de l’indication).

Documentation des interventions de pharmaciens dans un dossier électronique

Les pharmaciens qui effectuent des interventions cliniques en établissement documentent celles-ci au dossier médical du patient, et se servent aussi d’outils de documentation intégrés aux systèmes d’information de pharmacie. Au Québec, la documentation dans le dossier médical se passe largement sur papier. Parallèlement, le suivi des interventions cliniques des pharmaciens dépend d’indicateurs que les pharmaciens compilent séparément, par exemple l’APES met en place en ce moment un projet de suivi d’indicateurs dont les résultats de sites pilotes ont été communiqués. L’arrivée de dossiers cliniques informatisés permettant la documentation des interventions est une opportunité à saisir pour intégrer ce genre de quantification à l’activité de documentation clinique.

L’étude dont je vous parle aujourd’hui a été publiée en février dans le Journal of the American Pharmacists Association. L’objectif de l’étude était de décrire la mise en place d’un processus de documentation standardisée des interventions des pharmaciens dans un dossier clinique informatisé, dans les cliniques externes d’un très gros hôpital pédiatrique tertiaire américain situé en Ohio. L’étude a eu lieu de septembre 2017 à janvier 2018. Comme l’étude avait lieu aux États-Unis, une motivation derrière la mise en place de l’outil était la facturation des services des pharmaciens; l’équipe du projet comportait d’ailleurs un technicien de facturation.

L’outil consistait en la sélection d’une catégorie d’intervention parmi une liste de 10 possibilités, l’association de l’intervention à une ordonnance et la documentation textuelle de l’intervention. Cet outil me semble plutôt simple et bien adapté à la pratique clinique.

Durant les 5 premiers mois du projet, dans les 7 cliniques visées, 5210 interventions ont été documentées. Les 3 catégories les plus populaires étaient les conseils et l’enseignement (34%), le bilan comparatif des médicaments (23%), et les interventions liées à l’observance (15%).

Je trouve cette étude pertinente à connaître, car comme mentionné en introduction, la documentation des interventions des pharmaciens devra faire partie des fonctionnalités des dossiers cliniques informatisés qui seront implantés au Québec. Il faudra que les outils de documentation mis en place permettent ce genre de catégorisation des interventions pour que les données des indicateurs soient tirées directement de la documentation clinique plutôt que d’un système parallèle.