Utiliser le machine learning pour détecter les erreurs de prescription

Au début de 2017, je vous parlais d’un article décrivant un logiciel commercial de détection d’anomalies de prescription par machine learning. Cet article démontrait que plus de 75% des alertes générées par le système étaient valides par rapport aux données disponibles dans le dossier électronique de l’hôpital à l’étude et que plus de la moitié était de valeur clinique élevée.

Le même logiciel a fait l’objet d’une nouvelle étude parue en août 2019. Cette nouvelle étude a été réalisée dans un hôpital israélien de soins tertiaires de 1800 lits, mais une seule unité de médecine interne de 38 lits a été incluse. Les données ont été collectées du 1er juillet 2016 au 30 avril 2018.

Le logiciel intègre les données du dossier clinique informatisé de l’hôpital ainsi que les motifs (patterns) présents dans les pratiques de prescription du centre pour générer un modèle local, qui ensuite sert à l’analyse prospective de nouvelles ordonnances. Une rétroaction est donnée soit en temps réel lors de la prescription, soit en différé.

Durant l’étude, 4533 admissions ont eu lieu, générant 78 017 ordonnances. 315 alertes ont été générées pour 282 ordonnances, ce que les auteurs qualifient de faible et m’apparaît même extrêmement faible pour une système d’aide à la décision, quand on connaît le nombre très élevé d’alertes habituellement générées par de tels systèmes. Les auteurs ont comparé ces chiffres à ceux d’un autre système d’aide à la décision en place dans le même centre. On constate que 37% des ordonnances génèrent une alerte dans le système habituel comparativement à 0,4% dans ce nouveau logiciel.

Les alertes générées en temps réel étaient à 47% des alertes en lien avec des analyses de laboratoire, avec la sous-catégorie la plus fréquente qui était une alerte sur l’usage de sédatifs chez les patients avec hypercapnie. 42% des alertes en temps réel étaient liées au dosage. Les alertes asynchrones étaient générées lorsque la condition d’un patient changeait. La catégorie la plus fréquence de ces alertes était aussi l’usage de sédatifs chez les patients avec hypercapnie, suivie de près par l’usage de chronotropes négatifs chez les patients avec bradycardie.

Les auteurs rapportent la validité et l’utilité clinique des alertes. Je n’aime pas la méthode avec laquelle ces chiffres ont été déterminés: les auteurs ont pris la peine de vérifier la réponse des cliniciens aux alertes, mais la détermination finale de si une alerte était valide ou utile revenait à une seule personne, un « champion clinique » auteur de l’étude. J’aurais aimé voir une analyse externe par plusieurs personnes, possiblement même à l’aveugle de la réponse des cliniciens. De façon assez peu surprenante, 85% des alertes ont été jugées cliniquement valides et 80% cliniquement utile.

Les chiffres sur la réponse des cliniciens aux alertes sont plus intéressants. Environ la moitié des alertes ont généré un changement sur l’ordonnance dans un court laps de temps, ce qui est impressionnant considérant que la vaste majorité des alertes des systèmes d’aide à la décision classique sont ignorées. Les alertes les plus fréquemment associées à un changement étaient celles en lien avec le dosage, indiquant quand même que les alertes les plus fréquentes, sur l’hypercapnie et l’usage de sédatifs, n’étaient peut-être pas si cliniquement utiles.

Globalement, il s’agit d’un article très intéressant offrant des données sur l’impact clinique d’un logiciel d’aide à la prescription utilisant le machine learning. Les données présentées sont encourageantes, les alertes générées semblent être beaucoup plus utiles et pertinentes que celles générées par un système classique basé sur des règles programmées.

Cependant, le site web du produit et les publications des auteurs, du moins celles que je peux retrouver, n’offrent aucun détail technique sur le fonctionnement du logiciel, sur des forces et ses limites, ainsi que sur ses biais. 5 jours avant la publication de cet article, une autre publication du même journal appelait à la transparence. Je cite ici les deux phrases finales de l’abstract de cet article:

Hiding algorithms for commercial exploitation is unethical, because there is no possibility to assess whether algorithms work as advertised or to monitor when and how algorithms are updated. Journals and funders should demand maximal transparency for publications on predictive algorithms, and clinical guidelines should only recommend publicly available algorithms.

Appliquer l’intelligence artificielle à la pharmacie d’établissement de santé

Vous avez pu constater dans un épisode du podcast Trait Pharmacien de l’APES que je m’intéresse aux applications de l’intelligence artificielle (IA) à la pharmacie d’établissement de santé et que je participe à des projets de recherche sur ce sujet. Malheureusement, malgré l’explosion de publications sur l’IA en soins de santé et en médecine, assez peu de publications examinent spécifiquement les applications en pharmacie ou mentionnent les impacts pour les pharmaciens. J’ai été très heureux de voir dans le numéro de mai de l’AJHP un article parlant de ce sujet. Je crois donc que le moment est opportun pour présenter ici une revue informelle des publications que je trouve pertinentes pour les pharmaciens.

D’abord: garder la tête froide

Avant toute chose, je crois qu’il est important de parler de l’effervescence qui entoure l’IA, et en particulier dans le milieu de la santé. Je crois qu’en tant que professionnels de la santé visant une pratique fondée sur les données probantes, il faut garder une approche scientifique et factuelle, et surtout ne pas se laisser influencer par l’effervescence, le hype qui tourne autour de la science de l’IA. Dans le contexte où l’apprentissage automatique (machine learning) (ML) et l’IA sont des sujets assez complexes, que c’est un domaine de recherche qui fait beaucoup parler à la fois dans la communauté scientifique et chez le grand public, et que beaucoup d’argent coule vers des initiatives en IA, il peut être facile de gonfler des promesses de résultats ou de tomber dans le mauvais réflexe qu’utiliser l’IA est nécessairement une bonne chose. Je vois souvent des logiciels ou des produits qui se vantent « d’utiliser l’IA » sans décrire clairement de quelle manière et sans présenter des données probantes sur l’apport de cette technologie au produit par rapport à d’autres approches. Je crois que ce genre d’affirmation devrait être évaluée avec scepticisme.

Un article de perspective du NEJM en 2017 devrait être lu par ceux qui s’intéressent à ce sujet. Je crois que le point crucial à retenir de cet article est cette phrase, dont le sens est très clair:

[…] even a perfectly calibrated prediction model may not translate into better clinical care.

L’approche générale à l’IA en soins de santé

Un bon premier article à lire pour développer ses connaissances est paru en 2019 dans le NEJM. Celui-ci présente des principes très généraux, sans aller dans les détails, et donne des exemples d’applications potentielles.

Je ne discuterai pas ici d’applications générales aux soins de santé, ni d’applications propres à des spécialités médicales, en particulier l’imagerie, puisque de nombreux articles de revue s’y consacrent, mais sachez que ces exemples sont nombreux.

L’IA appliquée à la pharmacie: analyse et prédiction d’ordonnances

En ce qui a trait aux publications applicables à la pharmacie, très peu de littérature présente des données concrètes et pas seulement des idées. La plupart des données publiées visent l’analyse et la prédiction d’ordonnances.

Un groupe se concentre sur le lien entre un médicament et sa posologie. Leur publication de 2014 ciblait un nombre limité de médicaments, cependant un article plus récent de leur part démontre une généralisation de leur technique. Ils utilisent les données de fréquence de chaque posologie (dose, voie et fréquence) prescrite pour un médicament afin de déterminer si une ordonnance est habituelle ou non. Ça me semble très intéressant, un logiciel développé à partir de cette approche pourrait donner à un pharmacien une rétroaction sur la posologie prescrite pour un médicament. Cette approche n’offre cependant pas de rétroaction sur le médicament lui-même en fonction du contexte du patient.

À propos de ce dernier point, les publications sur l’analyse du médicament par rapport à son contexte remontent jusqu’à 2008, où un projet de maîtrise au MIT cherchait à prédire la séquence d’ordonnances dans le contexte d’un patient afin d’offrir des suggestions lors de la prescription électronique. Cette publication est impressionnante. Sans réseaux de neurones et sans apprentissage profond, avec de l’analyse de motif séquentiel, ils ont réussi à prédire le prochain médicament (au niveau du nom générique seulement, cependant) avec 70,2% de succès en 20 essais.

Encore dans l’analyse de motif séquentiel, une autre étude a réussi à prédire le prochain médicament prescrit pour le diabète, donc parmi un nombre limité de possibilités avec environ 64% de succès en 3 essais.

Un groupe a utilisé une technique de traitement du langage, le Latent Dirichlet Allocation, permettant de modéliser des sujets de textes, pour analyser des séquences d’ordonnances. Ils ne se sont pas intéressés seulement aux médicaments mais ont analysé toutes les ordonnances. Ils ont démontré que cette technique permet de mieux prédire les ordonnances des 24 heures suivant l’admission, avec une aire sous la courbe ROC de 0.90, que simplement la déduction à partir des ordonnances pré-rédigées utilisées à l’admission, avec une aire sous la courbe ROC de 0.81.

Le même groupe a publié un article démontrant certaines limites aux données collectées dans le cadre de la pratique clinique: puisque celles-ci évoluent, on ne peut pas remontrer trop loin dans le passé, sinon le modèle tente d’apprendre à partir de pratiques qui ne sont plus idéales, et ceci fait baisser la qualité des prédictions. Ceci limite le volume de données disponibles lorsqu’on extrait des données de systèmes cliniques à des fins de ML.

Enfin, une autre publication a évalué un logiciel commercial offrant de l’aide à la décision appuyée sur du ML. J’ai déjà parlé de cet article dans un billet en 2017.

Vient maintenant le moment de parler d’un projet sur lequel je travaille directement visant également la prédiction d’ordonnances, mais cette fois au niveau du produit précis, et non simplement au niveau du générique, avec une approche qui combine l’analyse du langage par réseau de neurones (la technique word2vec) avec l’apprentissage profond. J’ai présenté nos premiers résultats à la conférence Machine Learning for Healthcare qui avait lieu à Ann Arbor en août 2019. Nous soumettrons un premier manuscrit pour publication sous peu.

Enfin, comme mentionné dans le podcast Trait Pharmacien, l’identification de comprimés (et j’imagine que ce serait applicable à bien des formes pharmaceutiques) en utilisant un réseau de neurones à convolutions démontre une efficacité prometteuse, bien que je n’ai pas connaissance de données publiées sur une application pratique de cette technologie en pharmacie.

L’IA dans les sujets connexes à la pratique de la pharmacie

Il existe également plusieurs publications sur les applications de l’IA dans des domaines qui touchent les pharmaciens sans nécessairement entrer dans l’analyse d’ordonnances comme tel. Mentionnons en particulier, sans que ce soit exhaustif, la pharmacovigilance et la surveillance de patients ou de médicaments précis (en particulier les antimicrobiens).

Pour ceux qui veulent pousser davantage: comment apprendre à créer un modèle d’apprentissage automatique ?

Pour bien comprendre les implications de l’IA et du ML, je crois qu’il est grandement préférable d’en faire soi-même, même si ce n’est qu’un petit projet. Heureusement, il est tout à fait possible d’apprendre les bases avec des livres et des cours en ligne gratuits ou peu coûteux. Le plus gros investissement à prévoir est du temps. Il faut évidemment avoir un intérêt pour les mathématiques (en particulier l’algèbre linéaire), les statistiques, et la programmation. Les techniques simples de ML peuvent être exécutées sur à peu près n’importe quel ordinateur moderne. Seule exception, pour se lancer dans les réseaux de neurones et l’apprentissage profond, il faut une machine avec une bonne quantité de mémoire vive et une carte graphique Nvidia récente.

Globalement, pour arriver à réaliser un projet d’intelligence artificielle, il faut:

Il existe un nombre impressionnant de tutoriels, de cours et de livres sur le sujet, la sélection que je vous présente est uniquement le cheminement que j’ai suivi moi-même pour y arriver. Toutes ces étapes ne sont définitivement pas obligatoires et même se recoupent un peu, l’objectif ici est simplement de partager un maximum de ressources pour ceux qui seraient intéressés à tenter l’expérience eux-mêmes.