Standards d’excellence de l’ASHP en sécurité des médicaments et en pratique pharmaceutique

Le numéro de novembre 2021 de l’AJHP contenait un article décrivant les nouveaux standards de l’ASHP pour qu’un centre soit certifié comme « centre d’excellence en sécurité des médicaments et en pratique pharmaceutique » (traduction libre de ma part). Plusieurs domaines sont abordés notamment la pratique clinique et la gestion des départements de pharmacie. Ici, je me concentrerai sur les aspects qui concernent l’informatique clinique appliquée à la pharmacie.

Dans le modèle d’organisation de l’informatique clinique aux États-Unis, il n’est pas rare que des pharmaciens et assistant-techniques ou techniciens en pharmacie travaillent dans d’autres départements que la pharmacie, notamment pour travailler sur les logiciels de dossier électronique et d’aide à la décision [je n’ai jamais réussi à trouver une bonne référence sur l’organisation de l’informatique clinique aux États-Unis, si jamais quelqu’un en trouve une, faites-moi signe !] La section 1.1.1 établit clairement que ce personnel devrait relever du département de pharmacie même si leur travail se déroule dans un autre département.

La section 5.2 du document décrit le travail de validation des ordonnances. Cette section décrit le modèle favorisé aux États-Unis de révision prospective (sauf quelques exceptions dont les situations d’urgence) de l’ensemble des ordonnances. La section est intéressante car elle présuppose en quelque sorte que la validation d’ordonnances se passe dans un logiciel de dossier électronique complet et décrit également des standards en matière de télépharmacie et de validation à distance.

Les sections 11 et 12 concernent directement l’informatique clinique, la technologie et l’automatisation. Fait intéressant, il est mentionné qu’un dossier électronique complet, ou un système de pharmacie distinct intégré au sein d’un continuum d’applications cliniques interfacées, sont tous deux des choix valables. Il est mentionné que les pharmaciens et le personnel de la pharmacie doivent maintenir leur compétence dans l’utilisation des outils informatiques liés à leur travail.

En ce qui a trait aux fonctionnalités avancées des systèmes cliniques, il est attendu que les pharmaciens participent à l’élaboration des lignes directrices et aux ensembles d’ordonnances (order sets) dans les logiciels de prescription, de même qu’à l’ensemble des décisions quand à la standardisation et à la configuration des systèmes touchant aux médicaments. Ils devraient aussi contribuer aux décisions entourant la configuration des systèmes d’aide à la décision.

Les données des systèmes cliniques devraient être disponibles pour les gestionnaires des départements de pharmacie à des fins d’analytique avancée et d’optimisation de la pratique.

La section 12 décrit les bonnes pratiques entourant les code-barres, les cabinets automatisés, et la technologie utilisée pour la préparation des médicament dont les logiciels d’assistance aux préparations stériles.

Je ne retranscrirai pas ici chacun des points mentionnés dans ce document, mais je pense que les pharmaciens travaillant en informatique clinique devraient définitivement le lire au complet car il offre une perspective sur ce qui est considéré comme « l’excellence » aux États-Unis, où les départements de pharmacie travaillent avec de la technologie d’automatisation et des systèmes cliniques avancés depuis plus de 10 ans. Il faut tout de même garder en tête que cet article est écrit avec la perspective américaine sur le rôle du pharmacien et dans le contexte où la pénurie de pharmaciens est beaucoup moins importante dans ce pays.

Prédiction d’interventions du pharmacien à l’aide de marqueurs du travail des prescripteurs

Une nouvelle publication décrivant l’utilisation de machine learning pour orienter l’évaluation des ordonnances par les pharmaciens, de la part d’auteurs américains, a été publiée en juillet 2021 dans JAMIA Open et est disponible en texte complet gratuitement sur PubMed Central. Ceci fait suite à des publications passées d’autres groupes sur le même sujet. Étrangement, il n’est pas clair dans les détails de la publications si des pharmaciens sont parmi les auteurs, mais le processus de travail des pharmaciens est très bien décrit, on peut donc assumer que des pharmaciens ont minimalement été consultés.

L’objectif de l’étude était d’élaborer un modèle de machine learning permettant d’identifier les ordonnances nécessitant une intervention de la part du pharmacien. L’étude a eu lieu dans 3 hôpitaux académiques américains totalisant 1600 lits. Un dossier électronique commercial était utilisé pour la prescription électronique et la vérification des ordonnances. Les données du dossier électronique de 2 semaines, du 10 au 24 juillet 2017, ont été extraites, comprenant environ 181 000 ordonnances en 36 500 « lots » (un lot étant un groupe d’ordonnances prescrites en même temps), pour 16 000 patients, par 2700 prescripteurs. 2054 de ces lots contenaient au moins une ordonnance requérant une intervention.

Les variables utilisées afin de prédire la nécessité d’intervention du pharmacien ont été construites sur la base des actions et des caractéristiques du prescripteur juste avant de prescrire, la théorie étant que la lourdeur des tâches et la fragmentation du travail du prescripteur avant de prescrire pourrait mener à davantage d’erreurs, et donc davantage d’interventions de la part du pharmacien. Les variables incluses étaient divisées en trois catégories:

  • Les mesures d’engagement envers les patients et le dossier électronique dans l’heure précédant la prescription (ex: nombre de patients consultés, nombre d’ordinateurs utilisés, nombre d’actions administratives effectuées, etc.)
  • Les caractéristiques des ordonnances incluses dans le lot (ex: nombre d’ordonnances, utilisation de order sets, nombre de represcriptions de médicaments, nombre d’ordonnances « stat », etc.)
  • Les données contextuelles (type de prescripteur, spécialité du prescripteur, moment de prescription, etc.)

Quatre modèles de machine learning ont été construits avec ces variables comme prédicteurs et l’intervention du pharmacien comme issue: deux modèles de régression logistique, le premier avec régularisation L1 et le second avec régularisation L2, une forêt aléatoire et un modèle avec boosting XGBoost. Les données ont été divisées aléatoirement en jeux d’entraînement, validation et test. Une stratégie de recherche de paramètres par grid search avec validation croisée avec a été utilisée pour déterminer les hyperparamètres des modèles. La technique SMOTE a été utilisée pour gérer le débalancement de classes (les ordonnances sans intervention étant plus fréquentes).

Le modèle XGBoost s’est avéré le plus performant. Cependant, l’aire sous la courbe précision-rappel était plutôt faible à 0,439, indiquant une performance modeste du modèle. Malgré tout, en analysant l’explicabilité du modèle, les auteurs ont pu identifier que les ordonnances de résidents, les nombre d’ordonnances de « réconciliations » (on comprend liées au bilan comparatif) et les ordonnances en grand nombre dans un même lot, étaient plus susceptibles de requérir une intervention, ce qui concorde avec ce que j’observe en pratique.

Il est dommage que les modèles développés par les auteurs étaient aussi peu performants. Néanmoins, l’approche des auteurs qui ciblait des marqueurs de la charge cognitive du prescripteur comme prédicteurs des erreurs dans les ordonnances est très intéressante. J’apprécie également le fait que les auteurs ont tenté de générer un modèle explicable et que leur processus d’élaboration du modèle était très clair; dans d’autres publications décrivant des modèles visant à prédire les erreurs de prescription, certains éléments peuvent être flous. J’espère voir davantage de publications sur ce sujet de la part de ce groupe.

Étude sur l’analyse d’ordonnances par machine learning pour cibler les interventions du pharmacien

Une première publication résolument orientée vers l’application de machine learning au travail du pharmacien en contexte hospitalier a été publiée par un groupe d’auteurs français en septembre dans le JAMIA. L’article commence avec une référence à To Err is Human, peut-être lisent-ils ce blogue… Un logiciel commercial combinant le machine learning à une aide à la décision classique basée sur des règles a été utilisé. L’objectif de l’étude était de décrire la performance de ce système en comparaison à celle d’un pharmacien.

L’étude a été réalisée dans un hôpital parisien de 592 lits. Dans cet hôpital, les pharmaciens ne révisent pas les ordonnances systématiquement pour tous les patients, mais plutôt uniquement pour certains départements, ce qui concorde avec la pratique française en général. Il est donc supposé que l’utilisation d’un logiciel permettant d’identifier les patients pour lesquels une intervention pharmaceutique est requise à l’aide d’un modèle de machine learning permettrait d’optimiser le travail du pharmacien en lui évitant de réviser des profils ne comportant pas de problèmes. Ceci rejoint les hypothèses qui sous-tendent les travaux que je coordonne moi-même dans ma pratique.

Le modèle de machine learning utilisé était un classificateur binaire prédisant l’intervention d’un pharmacien. Les données fournies en entrée au modèle étaient les données de laboratoires, les données démographiques, certaines données de l’histoire médicale et les paramètres physiologiques. En ce qui a trait aux données du profil pharmacologique, il est à noter que les ordonnances ou le profil pharmacologique eux-mêmes ne semblent pas avoir été utilisés. Plutôt, le résultat de l’analyse du profil par un logiciel d’aide à la décision basé sur des règles semble avoir été privilégié, en fournissant au modèle le statut de déclenchement de chaque alerte possible après l’analyse du profil. Les données exactes choisies de même que leur traitement sont relativement peu décrits, on imagine que ceci découle du fait que l’étude concerne un logiciel commercial. L’apprentissage a été fait de manière supervisée en utilisant la présence d’intervention du pharmacien (réduite à une variable binaire) comme sortie du modèle. Le modèle lui-même était une variante de boosting d’arbres de décision, donc un modèle relativement simple et transparent. Il est dommage que l’étude n’ait pas comparé d’approches plus simples (régression logistique) ni plus complexes (réseaux de neurones) pour voir si le choix de technique était le meilleur. Il n’y a pas eu non plus d’évaluation d’importance des données utilisées par le modèle qui aurait pu fournir des explications sur les prédictions. Au niveau temporel, le modèle semblait générer une prédiction à chaque fois qu’une nouvelle ordonnance était analysée, mais il ne semble pas que cette analyse se concentrait sur cette ordonnance précisément; le modèle n’indiquait donc pas au pharmacien exactement sur quoi devrait porter son intervention.

Le modèle a été entraîné à l’aide de 18 mois de données extraites des dossiers électroniques du centre, soit de janvier 2017 à août 2018. Le processus d’entraînement et de test est peu décrit. L’étude concerne une validation du modèle entraîné qui a été faite en comparaison avec l’opinion d’un seul pharmacien sur une période de 2 semaines. Seuls les problèmes identifiés par le pharmacien mais pas par le modèle ont été évalués par plus d’un clinicien. Des ordonnances ont été sélectionnées aléatoirement durant ces deux semaines et les interventions faites par le pharmacien ont été notées, puis comparées aux prédictions du modèle. Les résultats rapportés incluent l’aire sous la courbe ROC, ce qui n’est pas adéquat selon moi puisque la prévalence d’interventions était très faible à 3,6%, je me concentrerai donc uniquement sur l’aire sous la courbe précision-rappel (AUPR) et le score F1, des mesures plus représentatives en présence de débalancement de classes. Deux comparateurs non-machine learning ont été utilisés, ce qui est très bien, soit les alertes générés par le système d’aide à la décision basé sur les règles et un score basé sur des facteurs de risque du patient (âge, fonction rénale, potassium et INR).

3364 ordonnances pour 412 patients ont été évalués par le pharmacien. 211 interventions ont été recommandées par le pharmacien pour 174 patients. L’AUPR du modèle était de 0,75 et le score F1 de 0,74 en comparaison avec respectivement 0,56 et 0,61 pour les alertes d’aide à la décision et 0,56 et 0,64 pour le score basé sur les facteurs de risque, ce qui démontre une bonne performance du modèle, supérieure aux autres outils et assez proche de celle du pharmacien. Malheureusement, les interventions ainsi réalisées sont peu décrites, il est donc difficile de juger de l’impact clinique pour le patient. En particulier, je trouve que la performance du système d’aide à la décision dans cette étude était très élevée, avec une précision à 0,54 et un rappel à 0,69, indiquant relativement peu de faux positifs par rapport à ce que j’observe dans ma propre pratique, où une large proportion des alertes d’aide à la décision sont des faux positifs. Peut-être le système que j’utilise est-il peu performant ou celui utilisé dans l’étude était très performant. Il aurait été plus facile d’avoir confiance en ces chiffres si l’opinion de plus d’un pharmacien avait été obtenue. Néanmoins, je trouve positif de constater qu’un tel modèle, avec une approche simple, est capable d’avoir une aussi bonne performance. Ceci démontre bien qu’il y a une place pour des outils d’intelligence artificielle dans la pratique clinique du pharmacien.

Je trouve que la plus grosse lacune du modèle étudié dans cette étude est le fait qu’il s’agisse d’un apprentissage supervisé à partir des interventions passées de pharmaciens, dont l’utilisation pratique serait d’orienter ces mêmes interventions. Je vois mal comment ce modèle pourrait survivre à sa propre implantation. Il est bien connu que les modèles de machine learning utilisés pour prédire des interventions en soins de santé doivent constamment être réentraînés pour prendre en compte l’évolution de la pratique influençant ces interventions. Cependant, si l’intervention elle-même est utilisée comme cible dans un entraînement supervisé, et que le modèle est en même temps utilisé pour décider d’intervenir, le modèle se retrouve à utiliser ses propres prédictions pour se réentraîner, ce qui est évidemment délétère. J’aurais aimé voir une discussion de comment les auteurs prévoient gérer ce problème une fois leur modèle déployé.

Malgré cela, il s’agit définitivement d’un article pertinent et à connaître pour les pharmaciens s’intéressant au machine learning. Je suis très heureux de voir des applications pratiques en pharmacie hospitalière commencer à apparaître dans la littérature scientifique.