Réduction du nombre d’alertes dans un système d’aide à la décision

Je vous parle aujourd’hui d’un article paru dans l’AJHP du mois d’avril, où des pharmaciens d’un centre universitaire de soins de santé situé au Texas décrivent leur intervention visant à améliorer la qualité des alertes générées par un système d’aide à la décision dans leur dossier clinique informatisé. On sait que les alertes générées par les systèmes disponibles commercialement sont beaucoup trop nombreuses, trop sensibles, fournissent peu d’informations pertinentes, et les quelques alertes cliniquement significatives sont noyées dans une marée d’alertes inconséquentielles. Ceci contribue à une désensibilisation aux alertes (alert fatigue).

L’institution à l’étude a procédé à l’implantation d’un dossier clinique informatisé commercial intégrant une banque de données d’aide à la décision en mai 2016. Afin d’améliorer la qualité des alertes proposées par défaut dans le système, un comité multidisciplinaire, incluant des pharmaciens, a été mis en place pour réviser les alertes et les optimiser. Les modifications ont commencé à être mises en place à partir de janvier 2017. L’étude décrit la quantité d’alertes et les taux d’actions sur les alertes de manière pré et post début des interventions du comité.

29 semaines ont été incluses dans la période pré et 52 dans la période post. Le nombre d’alertes générées à chaque semaine, de même que les taux d’acceptation d’alertes avec ou sans modification du traitement, ont été compilées. Les alertes ont été découpées en alertes d’interaction ou de duplication, et en alertes vues par les médecins ou les pharmaciens. L’analyse a été faite à la manière d’une série temporelle afin d’éliminer les effets d’autocorrélation entre la période pré et la période post.

En plus de la désactivation des alertes de duplication et interaction entre les médicaments d’une même ordonnance pré-établie, 802 alertes d’interactions médicamenteuses de sévérité modérée sur 875 ont été désactivées, certaines catégories d’alertes liées à la grossesse ont aussi été désactivées, ainsi que les alertes de duplication pour les ordonnances du même médicament dans diverses périodes de soins (ex: ordonnances intra-opératoires vs post-opératoires).

Le nombre médian d’alertes hebdomadaires est passé de 68 900 à 50 300, une différence statistiquement significative. Le taux d’acceptation d’alertes est passé de 11,8% en pré à 13,7% en post, et le taux de modifications de traitement est passé de 5% à 7,3%, des différences statistiquement significatives. Cependant, ces différences étaient dues à des augmentations des acceptations et modifications par les pharmaciens, et non par les médecins.

Je trouve cet article intéressant car il illustre bien comment s’y prendre pour mieux gérer les alertes à travers toute une institution. Je trouve cependant que toute cette situation est un peu surréelle. Les logiciels d’aide à la décision acquis par les établissements de santé devraient être performants et cliniquement utiles. On voit ici qu’un processus décisionnel lourd et impliquant une multitude de professionnels doit être mis en place pour gérer les alertes intempestives générées par un système commercial. Les coûts en temps et en ressources pour optimiser ce logiciel commercial doivent être assez élevés. Malgré la désactivation et l’optimisation de plusieurs alertes, en période post, on constate tout de même que plus de 85% des alertes étaient tout simplement ignorées. Je rappelle ici que certains hôpitaux ont décidé de tout simplement désactiver toutes les alertes de duplication, afin de réduire davantage le nombre d’alertes intempestives.

La démarche décrite dans cet article est louable et les résultats sont intéressants, mais le message clé à en tirer, je crois, est qu’il y a encore beaucoup de chemin à faire en ce qui a trait aux logiciels d’aide à la décision.

Données sur le suivi et l’enseignement au patient en 2018 dans les hôpitaux américains

Cet article, paru en juillet, poursuit la tradition annuelle du sondage de l’ASHP sur l’état de la pratique de la pharmacie d’établissement de santé aux États-Unis. Cette année, les données sur le suivi et l’enseignement au patient sont présentées. L’article a fait l’objet d’un épidose du podcast AJHP Voices.

Je parlerai uniquement ici des données concernant les technologies, mais gardez en tête que beaucoup plus de données sont disponibles dans l’article complet. La même méthode que d’habitude a été utilisée, avec un échantillonnage parmi l’ensemble des hôpitaux éligibles. Le taux de réponse était de 16,6% avec 811 hôpitaux qui ont répondu.

Tous les patients sont suivis par un pharmacien dans 33% des hôpitaux, et 47% utilisent une fonction d’analyse de données du dossier clinique informatisé pour identifier les patients à suivre. Les logiciels précis sont nommés dans l’article. Les plus gros hôpitaux étaient plus susceptibles d’utiliser un tel logiciel.

Pour la collecte des données nécessaires au suivi des patients, 75,2% des hôpitaux offrent à leurs pharmaciens une automatisation de la collecte dans le dossier clinique informatisé ou un logiciel de surveillance pour le suivi quotidien. Encore une fois, ceci était plus fréquent dans les plus gros hôpitaux.

Pour l’identification d’événements indésirables liés aux médicaments, 76,9% des hôpitaux ont un système d’alerte lors de la prescription d’un antidote, parmi d’autres stratégies.

Au sujet de la technologie d’assistance aux préparations magistrales, 16,4% des hôpitaux utilisent un logiciel de gestion des préparations, et ceci était plus fréquent dans les plus gros hôpitaux, avec 57,6% des hôpitaux de plus de 600 lits qui disposaient de cette technologie. Par rapport à 2017, on constate une augmentation du nombre d’hôpitaux utilisant la vérification du code-barre des ingrédients de préparation (26,9% à 31,6%), du nombre d’hôpitaux disposant d’un logiciel de gestion des préparations (12,8 à 16,4%), du nombre d’hôpitaux utilisant des photos ou des vidéos des préparations (12,5 à 14,1%), mais la proportion d’hôpitaux utilisant la gravimétrie est demeurée stable (5,5 à 5,4%). Toutes ces technologies étaient plus fréquentes dans les hôpitaux de plus grande taille. Ce qui me frappe particulièrement est que malgré tous ces chiffres, 59,9% des hôpitaux n’utilisaient aucune technologie pour les préparations stériles. Les barrières rapportées face à l’implantation de ces technologies sont listées, le coût étant l’obstacle le plus fréquent avec 77,8% des hôpitaux rapportant ce problème.

Parmi les données collectées et suivies par les département de pharmacie, on note des mesures de charge de travail et de productivité, les interventions cliniques des pharmaciens, des mesures d’inventaire, le temps de service des médicaments, le nombre de doses manquantes, et les erreurs de dispensation. On mesure aussi les niveaux d’utilisation des technologies, les contournements d’alertes de prescription électronique et des mesures d’utilisation des cabinets automatisés et des pompes intelligentes.

Parmi les données rapportées dans cet article, les choses que je souligne et qui sont aussi mentionnées dans la discussion sont les suivantes:

  • L’utilisation de fonctionnalités de collecte et d’analyse de données à partir du dossier clinique informatisé, pour le suivi quotidien des patients par des pharmaciens, est en place dans 75% des hôpitaux. On peut facilement s’imaginer comment ce genre de technologie peut améliorer l’efficience du pharmacien par rapport à une collecte manuelle, en particulier dans le contexte québécois où on doit lire des tonnes de documents manuscrits (souvent illisibles ou mal remplis) pour trouver l’information dont on a besoin.
  • L’utilisation de technologies d’assistance aux préparations magistrales, en particulier pour les préparations stériles, est en augmentation, malgré le fait que plus de la moitié des hôpitaux ne disposent d’aucune technologie, principalement en raison de leur coût élevé. Heureusement, les chiffres sont meilleurs pour les plus gros hôpitaux. Je continue de penser que les études cherchant à démontrer des bénéfices à ces technologies pourraient être meilleures, mais il demeure que je crois qu’elles deviendront incontournables à moyen terme.
  • Le suivi de mesures collectées à partir des systèmes informatiques utilisés par les pharmaciens et qui concernent les médicaments est en place dans la majorité des hôpitaux. Encore une fois, il est facile de voir comment l’obtention de métriques en temps réel peut aider les pharmaciens à optimiser leur travail et à documenter leur impact clinique.

Utiliser le machine learning pour détecter les erreurs de prescription

Au début de 2017, je vous parlais d’un article décrivant un logiciel commercial de détection d’anomalies de prescription par machine learning. Cet article démontrait que plus de 75% des alertes générées par le système étaient valides par rapport aux données disponibles dans le dossier électronique de l’hôpital à l’étude et que plus de la moitié était de valeur clinique élevée.

Le même logiciel a fait l’objet d’une nouvelle étude parue en août 2019. Cette nouvelle étude a été réalisée dans un hôpital israélien de soins tertiaires de 1800 lits, mais une seule unité de médecine interne de 38 lits a été incluse. Les données ont été collectées du 1er juillet 2016 au 30 avril 2018.

Le logiciel intègre les données du dossier clinique informatisé de l’hôpital ainsi que les motifs (patterns) présents dans les pratiques de prescription du centre pour générer un modèle local, qui ensuite sert à l’analyse prospective de nouvelles ordonnances. Une rétroaction est donnée soit en temps réel lors de la prescription, soit en différé.

Durant l’étude, 4533 admissions ont eu lieu, générant 78 017 ordonnances. 315 alertes ont été générées pour 282 ordonnances, ce que les auteurs qualifient de faible et m’apparaît même extrêmement faible pour une système d’aide à la décision, quand on connaît le nombre très élevé d’alertes habituellement générées par de tels systèmes. Les auteurs ont comparé ces chiffres à ceux d’un autre système d’aide à la décision en place dans le même centre. On constate que 37% des ordonnances génèrent une alerte dans le système habituel comparativement à 0,4% dans ce nouveau logiciel.

Les alertes générées en temps réel étaient à 47% des alertes en lien avec des analyses de laboratoire, avec la sous-catégorie la plus fréquente qui était une alerte sur l’usage de sédatifs chez les patients avec hypercapnie. 42% des alertes en temps réel étaient liées au dosage. Les alertes asynchrones étaient générées lorsque la condition d’un patient changeait. La catégorie la plus fréquence de ces alertes était aussi l’usage de sédatifs chez les patients avec hypercapnie, suivie de près par l’usage de chronotropes négatifs chez les patients avec bradycardie.

Les auteurs rapportent la validité et l’utilité clinique des alertes. Je n’aime pas la méthode avec laquelle ces chiffres ont été déterminés: les auteurs ont pris la peine de vérifier la réponse des cliniciens aux alertes, mais la détermination finale de si une alerte était valide ou utile revenait à une seule personne, un « champion clinique » auteur de l’étude. J’aurais aimé voir une analyse externe par plusieurs personnes, possiblement même à l’aveugle de la réponse des cliniciens. De façon assez peu surprenante, 85% des alertes ont été jugées cliniquement valides et 80% cliniquement utile.

Les chiffres sur la réponse des cliniciens aux alertes sont plus intéressants. Environ la moitié des alertes ont généré un changement sur l’ordonnance dans un court laps de temps, ce qui est impressionnant considérant que la vaste majorité des alertes des systèmes d’aide à la décision classique sont ignorées. Les alertes les plus fréquemment associées à un changement étaient celles en lien avec le dosage, indiquant quand même que les alertes les plus fréquentes, sur l’hypercapnie et l’usage de sédatifs, n’étaient peut-être pas si cliniquement utiles.

Globalement, il s’agit d’un article très intéressant offrant des données sur l’impact clinique d’un logiciel d’aide à la prescription utilisant le machine learning. Les données présentées sont encourageantes, les alertes générées semblent être beaucoup plus utiles et pertinentes que celles générées par un système classique basé sur des règles programmées.

Cependant, le site web du produit et les publications des auteurs, du moins celles que je peux retrouver, n’offrent aucun détail technique sur le fonctionnement du logiciel, sur des forces et ses limites, ainsi que sur ses biais. 5 jours avant la publication de cet article, une autre publication du même journal appelait à la transparence. Je cite ici les deux phrases finales de l’abstract de cet article:

Hiding algorithms for commercial exploitation is unethical, because there is no possibility to assess whether algorithms work as advertised or to monitor when and how algorithms are updated. Journals and funders should demand maximal transparency for publications on predictive algorithms, and clinical guidelines should only recommend publicly available algorithms.