Prédiction d’interventions du pharmacien à l’aide de marqueurs du travail des prescripteurs

Une nouvelle publication décrivant l’utilisation de machine learning pour orienter l’évaluation des ordonnances par les pharmaciens, de la part d’auteurs américains, a été publiée en juillet 2021 dans JAMIA Open et est disponible en texte complet gratuitement sur PubMed Central. Ceci fait suite à des publications passées d’autres groupes sur le même sujet. Étrangement, il n’est pas clair dans les détails de la publications si des pharmaciens sont parmi les auteurs, mais le processus de travail des pharmaciens est très bien décrit, on peut donc assumer que des pharmaciens ont minimalement été consultés.

L’objectif de l’étude était d’élaborer un modèle de machine learning permettant d’identifier les ordonnances nécessitant une intervention de la part du pharmacien. L’étude a eu lieu dans 3 hôpitaux académiques américains totalisant 1600 lits. Un dossier électronique commercial était utilisé pour la prescription électronique et la vérification des ordonnances. Les données du dossier électronique de 2 semaines, du 10 au 24 juillet 2017, ont été extraites, comprenant environ 181 000 ordonnances en 36 500 « lots » (un lot étant un groupe d’ordonnances prescrites en même temps), pour 16 000 patients, par 2700 prescripteurs. 2054 de ces lots contenaient au moins une ordonnance requérant une intervention.

Les variables utilisées afin de prédire la nécessité d’intervention du pharmacien ont été construites sur la base des actions et des caractéristiques du prescripteur juste avant de prescrire, la théorie étant que la lourdeur des tâches et la fragmentation du travail du prescripteur avant de prescrire pourrait mener à davantage d’erreurs, et donc davantage d’interventions de la part du pharmacien. Les variables incluses étaient divisées en trois catégories:

  • Les mesures d’engagement envers les patients et le dossier électronique dans l’heure précédant la prescription (ex: nombre de patients consultés, nombre d’ordinateurs utilisés, nombre d’actions administratives effectuées, etc.)
  • Les caractéristiques des ordonnances incluses dans le lot (ex: nombre d’ordonnances, utilisation de order sets, nombre de represcriptions de médicaments, nombre d’ordonnances « stat », etc.)
  • Les données contextuelles (type de prescripteur, spécialité du prescripteur, moment de prescription, etc.)

Quatre modèles de machine learning ont été construits avec ces variables comme prédicteurs et l’intervention du pharmacien comme issue: deux modèles de régression logistique, le premier avec régularisation L1 et le second avec régularisation L2, une forêt aléatoire et un modèle avec boosting XGBoost. Les données ont été divisées aléatoirement en jeux d’entraînement, validation et test. Une stratégie de recherche de paramètres par grid search avec validation croisée avec a été utilisée pour déterminer les hyperparamètres des modèles. La technique SMOTE a été utilisée pour gérer le débalancement de classes (les ordonnances sans intervention étant plus fréquentes).

Le modèle XGBoost s’est avéré le plus performant. Cependant, l’aire sous la courbe précision-rappel était plutôt faible à 0,439, indiquant une performance modeste du modèle. Malgré tout, en analysant l’explicabilité du modèle, les auteurs ont pu identifier que les ordonnances de résidents, les nombre d’ordonnances de « réconciliations » (on comprend liées au bilan comparatif) et les ordonnances en grand nombre dans un même lot, étaient plus susceptibles de requérir une intervention, ce qui concorde avec ce que j’observe en pratique.

Il est dommage que les modèles développés par les auteurs étaient aussi peu performants. Néanmoins, l’approche des auteurs qui ciblait des marqueurs de la charge cognitive du prescripteur comme prédicteurs des erreurs dans les ordonnances est très intéressante. J’apprécie également le fait que les auteurs ont tenté de générer un modèle explicable et que leur processus d’élaboration du modèle était très clair; dans d’autres publications décrivant des modèles visant à prédire les erreurs de prescription, certains éléments peuvent être flous. J’espère voir davantage de publications sur ce sujet de la part de ce groupe.

Assistance aux préparations stériles intégrée au dossier électronique

Les logiciels d’assistance aux préparations stériles (appelés d’abord en anglais IV Workflow Software puis Technology-Assisted WorkFlow (TAWF), qui semble être le terme favorisé actuellement) font régulièrement l’objet de publications. Dans le numéro de juillet 2021 de l’AJHP, un article décrivait l’implantation d’une fonctionnalité d’assistance aux préparations intégrée au logiciel de dossier électronique déjà en place dans un centre, comparativement aux publications décrivant généralement des produits séparés et interfacés au dossier principal.

L’étude a été réalisée dans une institution américaine comportant 4 pharmacies desservant des cliniques d’infusion ambulatoires en oncologie. Un logiciel distinct du dossier électronique était déjà en place pour la vérification des préparations à l’aide de photos. Cependant, le dossier électronique lui même était utilisé pour la documentation des ingrédients et la traçabilité de la préparation, afin de supporter les processus de facturation. Une transition a été menée en 2019 vers un système de vérification des préparations avec photos intégrée au logiciel de dossier électronique. Les auteurs décrivent les avantages de cette transition: notamment la réduction du recours à la saisie manuelle d’information dans le système séparé (on comprend que le système était peu ou pas interfacé avec le dossier électronique) et une réduction de coût annuelle d’environ 36 000$ américains (on a donc une idée du coût annuel d’un tel système). Le nouveau système a requis l’installation de postes informatiques complets ainsi que des caméras dédiées à chaque hotte stérile plutôt que les tablettes précédemment utilisées. Des ajustements ont été nécessaires aux processus de travail et à la configuration des flux de travail de vérification des préparations dans le logiciel de dossier électronique. Il est intéressant de noter que la vérification des préparations pour les quatre pharmacies était réalisée à distance de manière centralisée dans une des quatre pharmacies. Une impression d’une étiquette finale était déclenchée par la vérification à distance, signalant que la préparation avait été vérifiée et pouvait être dispensée.

La transition semble s’être bien passée, requérant seulement 2 jours de support sur place. Cependant, des difficultés techniques ont été constatées avec la prise de photos requérant l’achat de composantes techniques additionnelles, en sus de difficultés liées au flux de travail de vérification qui ont nécessité des ajustements à la configuration des files de vérification.

Cette transition a été évaluée à l’aide d’un devis pré-post avec une période 3 mois avant l’implantation et 3 mois après l’implantation. Les durées des étapes de préparation ainsi que les taux de détection d’erreurs ont été comparées. 4188 préparations stériles ont été réalisées avant la transition et 3313 après. La durée entre l’impression initiale de l’étiquette de préparation et la complétion de la préparation était plus grande avec le système intégré (16,8 vs 19,3 minutes). La durée totale de la production jusqu’à la fin de la vérification était de 23,1 minutes avec le système séparé et 26,7 minutes avec le système intégré; cependant les auteurs ont noté une diminution des temps à chaque mois après la transition, on peut donc déduire qu’une période d’attente avant la réalisation de la période post aurait été préférable pour permettre aux habitudes de s’installer avec le nouveau système et ainsi refléter un peu mieux la performance en vie réelle. Les taux d’interception d’erreurs étaient de 0,72% avec le système externe et 0,88% avec le système intégré, ce que les auteurs ont jugé comparable.

Je trouve l’étude intéressante car elle démontre l’impact relativement mineur (essentiellement des enjeux techniques facilement surmontés) d’une transition d’un système externe à un système intégré. La gestion du changement liée à cette transition est bien décrite dans l’article. Bien que l’enjeu de la retranscription manuelle d’un système à l’autre ne soit pas abordé à fond dans l’article, il me semble que l’élimination de cette étape est un avantage majeur qui en soi justifie pleinement la transition vers le système intégré, dans l’optique du circuit du médicament en boucle fermée. Évidemment, ce genre d’avantage peut cependant devenir un frein à l’interopérabilité; on peut imaginer certains développeurs de dossiers électroniques refusant la mise en place d’interfaces vers des systèmes externes dans le but de forcer l’utilisation de leurs fonctionnalités intégrées. Il est dommage que l’article n’aborde pas les raisons de l’absence d’interface (impossibilité technique ? coûts ? manque de collaboration des fournisseurs ?).

Un modèle prédictif des ruptures d’approvisionnement

Le numéro de juillet 2021 de l’AJHP contenait un article décrivant le développement et l’évaluation d’un modèle prédictif des ruptures d’approvisionnement en médicaments.

Le contexte de réalisation de l’étude est un peu mal décrit, mais je crois comprendre que les auteurs sont des pharmaciens d’un centre universitaire américain situé en Caroline du Nord et qu’ils ont réalisé cette étude à partir de données disponibles publiquement et des données internes de leur institution.

Ils ont construit un jeu de données à partir des ruptures d’approvisionnement observées dans leur centre en 2016 et 2017 et ont catégorisé chaque médicament à l’aide d’une issue dichotomique soit la présence d’une rupture durant la période d’observation ou son absence. Ensuite, ils ont associé à chaque médicament des variables potentiellement prédictives d’une rupture identifiées à partir d’une revue de littérature. Ces données ont été extraites de diverses sources énumérées dans l’article. Cependant, certaines données n’ont pu être obtenues (par exemple les données relatives aux méthodes de fabrication du médicament) et ont donc été exclues.

Un modèle de régression logistique a été construit. Les variables ont d’abord été testées individuellement pour inclusion dans le modèle multivarié, cependant certaines variables ont été jugées prioritaires par les auteurs et ont été incluses peu importe leur effet dans le modèle univarié. Les autres variables ont été incluses dans le modèle multivarié selon la présence d’une corrélation dans le modèle univarié pour chacune. Le modèle a été testé à l’aide d’une validation croisée à 10 blocs (10-fold cross-validation), et la mesure de performance rapportée était la moyenne de performance sur le jeu de validation de chacun des 10 blocs. Les mesures de performance « classiques » d’un modèle prédictif dichotomique (aire sous la courbe ROC et mesures associées au tableau 2×2) ont été rapportées.

Les variables candidates identifiées à partir de la revue de littérature étaient d’abord ceux liées au manufacturier (équipement désuet, contamination des matières premières, etc.), ou liées aux catastrophes naturelles compromettant la fabrication ou le transport; celles-ci correspondent aux données exclues car non disponibles ou non prévisibles. Les données incluses étaient le nombre de manufacturiers, la disponibilité de formes par voie orale, injectable, ou les deux, la présence de génériques, la classe thérapeutique, le statut de drogue contrôlée selon les normes américaines, et le statut de médicament orphelin. On note que ce que les auteurs entendent par « médicament » est mal défini dans l’article, parlent-ils d’un produit précis (comme on pourrait imaginer en parlant de nombre de manufacturiers) ou d’une molécule (comme on pourrait imaginer en parlant de disponibilité par voie orale ou injectable) ? Ont-ils regroupé différents formats ou teneurs d’une même molécule (comme on aurait tendance à substituer de l’un à l’autre en cas de rupture) ?

1588 médicaments ont été inclus, dont 71 ont été exclus en raison de données manquantes. 1096 (72,2%) n’ont pas eu de ruptures, les autres en ont eu une (on voit ici un débalancement de classes, nous y reviendrons). Les classes thérapeutiques les plus fréquentes étaient « autre » (44,6%), suivi des agents cardiovasculaires (15%) et antimicrobiens (13,6%). Le nombre de manufacturiers moyen par médicament était de 4,9. Les facteurs significatifs associées à la présence de rupture en régression univariée étaient la voie intraveineuse seulement, les classes antimicrobien, analgésique, électrolyte, anesthésique ou cardiovasculaire et la présence uniquement de manufacturiers génériques. En régression multivariée, les facteurs associés aux ruptures étaient la voie intraveineuse seulement ou la présence à la fois de produits oraux et intraveineux, et les classes antimicrobien, analgésique, électrolyte, anesthésique ou cardiovasculaire.

Les auteurs affirment que la performance du modèle était bonne, avec une sensibilité de 0,71, une spécificité de 0,93, valeur prédictive positive de 0,80, et valeur prédictive négative de 0,90. L’aire sous la courbe ROC était 0,93 et l’exactitude 0,97.

L’objectif de cette étude est définitivement intéressant, car il serait très utile de pouvoir prédire à l’avance qu’un médicament sera en rupture de stock. Cependant, malgré les chiffres de performance qui apparaissent à prime abord satisfaisants, je ne crois pas que les auteurs aient réussi à atteindre réellement leur objectif ni à bien démontrer la performance de leur modèle. Gardons d’abord en tête que l’étude n’a porté que sur un jeu de données construit pour l’étude et n’a fait l’objet d’aucune évaluation en pratique réelle, et la littérature ne manque pas d’exemple de modèles prometteurs en théorie qui ont échoué en pratique pour une variété de raisons.

Au niveau méthodologique, on peut se demander pourquoi seulement la régression logistique a été testée. En effet, il s’agit d’un modèle simple et définitivement à inclure dans une liste de modèles à tester, et d’ailleurs offrant une performance surprenante en comparaison à certains modèles beaucoup plus complexes, mais il aurait été relativement facile de tenter plusieurs modèles à prédiction dichotomique et de comparer les résultats (arbres de décision, machine à vecteurs de support). Il est aussi dommage que seule la performance globale du modèle ait été rapportée. En effet, comme les médicaments sans rupture de stock étaient majoritaires dans les données, il est connu que les mesures comme l’aire sous la courbe ROC peuvent apparaître erronément élevées en raison d’une tendance à prédire la classe majoritaire. Une statistique comme l’aire sous la courbe précision-rappel aurait été préférable, ou au minimum des chiffres de performance découpés par classe avec ou sans rupture. Enfin, il est dommage que le code est les données ne soient pas disponibles, il est ainsi impossible d’évaluer de manière indépendante ce que les auteurs affirment, et il s’agit de données et de code que j’imagine relativement simples et faciles à sécuriser afin de les rendre partageables.

De façon plus générale, je trouve que la manière dont le modèle est conçu est problématique. Essentiellement, les auteurs arrivent à un modèle qui prédit si un médicament est à risque d’être en rupture de stock en fonction de ses caractéristiques « de base », sans tenir compte de sa chaîne logistique. Par exemple, une donnée est le nombre de manufacturiers plutôt que l’identité de ces manufacturiers. Donc, à travers le temps dans une utilisation pratique, ce modèle ne pourrait arriver à prédire avec succès une rupture pour un médicament que si des médicaments avec des caractéristiques de base similaires se sont retrouvés aussi en rupture. De plus, avec la stratégie de validation croisée sans égard au temps (il n’est pas mentionné précisément dans l’article quelle stratégie de division en blocs a été utilisée mais comme il s’agit de 10 blocs on peut assumer que c’est une stratégie avec division aléatoire des données sans égard au temps), on peut se retrouver avec des effets de contamination. Si par exemple durant une période, plusieurs médicaments du même manufacturier se sont retrouvés en rupture et que ceux-ci avaient des caractéristiques similaires (on peut imaginer par exemple plusieurs électrolytes intraveineux produits par le même manufacturier en rupture en même temps, ce que l’on a vécu à quelques reprises dans le passé), le modèle peut avoir été contaminé si des données de cette période se sont retrouvées à la fois dans les blocs d’entraînement et de validation, offrant ainsi une bonne performance de prédiction, alors qu’en réalité le modèle n’aurait jamais vu venir cette rupture.

Bref, c’est une étude avec un objectif intéressant, mais l’aspect expérimental comporte tellement de lacunes et de raccourcis méthodologiques que j’ai de la difficulté à croire que le modèle ainsi élaboré offrirait une performance satisfaisante en pratique.