Position de l’ASHP sur l’intelligence artificielle en pharmacie

L’AJHP a déjà publié deux articles intéressants sur les bases du machine learning et sur le potentiel de cette technologie pour assister le pharmacien en établissement de santé. En novembre 2020, ils présentaient un énoncé de position de l’ASHP sur le sujet, j’en ai parlé dans le passé.

Les points clés de cet énoncé de position sont les suivants:

  • Les pharmaciens devraient se questionner sur les tâches liées au médicament qui sont susceptibles de bénéficier de l’intelligence artificielle, sur la manière d’évaluer les modèles utilisés en pharmacie et sur les approches les plus susceptibles de déboucher sur des bénéfices.
  • Les pharmaciens devraient mettre en place des standards locaux et nationaux de validation des modèles d’intelligence artificielle impliqués dans le circuit du médicament, en fonction du niveau de risque et d’autonomie des modèles, en contrebalançant les risques de l’innovation avec la tolérance au risque en contexte clinique, et en s’assurant que le niveau d’interprétabilité des prédictions est en phase avec le contexte d’utilisation.
  • Les pharmaciens devraient être impliqués dans toutes les phases de développement et d’utilisation des modèles d’intelligence artificielle ciblant les médicaments. En particulier, ils devraient s’assurer que leur évaluation s’appuie sur les principes de la médecine fondée sur les preuves et que les données utilisées pour entraîner et appliquer les modèles correspondent bien à la pratique.
  • Les pharmaciens devraient être ouverts aux changements de pratique amenés par les outils s’appuyant sur l’intelligence artificielle, et devraient avoir un rôle central dans la recherche, le développement, la mise en pratique et l’amélioration des outils ciblant l’usage des médicaments. Dans le contexte des opérations en pharmacie, les outils permettant l’automatisation des tâches techniques et permettant aux pharmaciens d’utiliser au mieux leurs compétences cliniques devraient être favorisés.
  • La formation des pharmaciens devrait inclure les principes fondamentaux de la science des données et de l’intelligence artificielle, et des opportunités de développement dans ces domaines devraient être offertes pour les pharmaciens ayant un intérêt spécifique dans ce domaine.

Je trouve très positifs les points amenés dans cet énoncé de position; il est clair pour moi qu’il est nécessaire que certains pharmaciens développement une expertise leur permettant de comprendre à fond ces outils. Il me semble aussi essentiel que leur application au circuit du médicament dans les établissements de santé, de l’approvisionnement à la prescription à l’administration, implique des pharmaciens ayant une compréhension poussée de la manière dont ces logiciels fonctionnent et des données les alimentant. Le tout afin de s’assurer que leur utilisation clinique soit appuyée sur de la science de bonne qualité et avec une bonne compréhension de leur effet sur l’usage des médicaments; et que leur utilisation dans les opérations s’accompagne de bénéfices tangibles dans le fonctionnement des départements de pharmacie.

Notre présentation au workshop Machine Learning for Health de NeurIPS 2020

Le projet de recherche des résidentes en pharmacie au CHU Sainte-Justine en 2020 était l’évaluation en pratique du modèle de machine learning visant l’identification d’ordonnances et de profils pharmacologiques inhabituels que nous avons développé. J’ai déjà parlé de ce modèle ici, l’élaboration et l’évaluation de ce modèle ont été présentés à la conférence Machine Learning for Healthcare 2020 et au Symposium IA Montréal 2020.

Essentiellement, pour l’identification d’ordonnances atypiques, ce modèle a montré une concordance assez mauvaise avec l’opinion de pharmaciens. Cependant, pour l’identification de profils pharmacologiques atypiques, la performance était bien meilleure. Les pharmaciens qui ont participé au projet avaient une opinion positive du modèle. Je crois que les résultats de ce projet démontrent le potentiel d’outils basés sur l’intelligence artificielle pour aider le pharmacien dans sa pratique clinique.

Un abstract étendu du projet a été accepté au workshop Machine Learning for Health (ML4H) de NeurIPS 2020 qui aura lieu le vendredi 11 décembre. Le texte complet de l’abstract est disponible sur arXiv. Un manuscrit complet décrivant le projet est en cours de révision pour publication.

Un réseau de neurones pour la prédiction d’ordonnances

Le même groupe qui a récemment publié une évaluation de leur système de prédiction d’ordonnances a aussi publié, quelques mois auparavant, un autre article décrivant une approche différente pour arriver au même résultat. L’article est disponible en texte complet sur PubMed Central. Un article similaire (probablement une version préliminaire) découlant d’un congrès avait aussi été publiée en 2019. Alors que leur approche originale était basée sur des statistiques de cooccurrence, ils ont utilisé ici une approche de réseaux de neurones avec une comparaison à une régression logistique. L’objectif de l’étude était de comparer la performance de ce type de modèle pour prédire les ordonnances placées par les cliniciens par rapport aux ensembles d’ordonnances (order sets) (donc, comparer les ordonnances recommandées par le système à celles présentes dans les order sets réellement utilisés pour le patient), comme c’est l’habitude dans presque tous les articles de ce groupe.

Toujours comme d’habitude pour ce groupe, une base de données de l’Université Stanford a été utilisée pour entraîner le modèle. Dans la présente étude, cette base de données a aussi été utilisée pour l’évaluation présentée dans l’étude, plutôt qu’une évaluation séparée sur des données collectées prospectivement. C’est donc une limite de l’étude. Le jeu de données a été divisé en partitions d’entraînement, de validation et de test de manière adéquate en s’assurant que les patients étaient inclus dans une seule partition et que la séquence temporelle entre les partitions était respectée. En effet, les partitions de validation et de test doivent contenir des données chronologiquement générées après celles de la partition d’entraînement afin que les évolutions de pratiques normales qui influencent les données dans une utilisation réelle d’un modèle soient reflétées dans l’évaluation. Dans le cas où ce n’est pas fait, on apprend au modèle ce qui va arriver dans le futur et cela gonfle artificiellement les métriques de performance.

Plusieurs données cliniques des patients disponibles dans le dossier électronique du centre (les prescriptions, les analyses de laboratoires, les codes de diagnostic, etc.) ont été utilisées en entrée du modèle. Ces données ont été simplifiées en 4 représentations temporelles (dans la dernière journée, dans les 7 derniers jours, dans les 30 derniers jours et depuis toujours) avec un pré-traitement adéquat. La sortie du modèle était la prescription de chaque élément d’ordonnance dans la journée suivante. Seuls les éléments d’ordonnance prescrits au moins 256 fois dans le jeu de données ont été inclus, pour une possibilité de 1639 possibilités incluses sur un total de 14914, mais représentant tout de même plus de 90% des ordonnances. Les auteurs ont aussi évalué la performance de prédiction de order sets entiers et pas seulement d’ordonnances individuelles (610 possibilités).

Un échantillon de données provenant de 57 624 patients a été utilisé pour l’entraînement. Les résultats incluent les aires sous la courbe ROC, mais il n’est pas très clair comment cet indicateur a été calculé puisque l’on est clairement dans une prédiction multi-classe et plusieurs façons de calculer cette mesure existent dans ce contexte. Les auteurs présentent la précision moyenne plutôt que l’aire sous la courbe précision-rappel, mais ce n’est pas trop clair pourquoi ils ne présentent pas les deux. La précision moyenne de la régression logistique était 0,176 et celle du réseau de neurones était 0,240. Dans le contexte de prédiction des order sets, la précision moyenne de la régression logistique était 0,118 alors que celle du réseau de neurones était 0,311.

L’article est bien écrit et le développement et l’évaluation du modèle suivent des pratiques adéquates. En particulier, la façon dont le jeu de données d’entraînement et d’évaluation du modèle a été divisé est excellente, ce qui n’est pas toujours le cas dans ce genre d’article. Malheureusement, cela demeure une évaluation sur une seule base de données de recherche sans évaluation prospective sur de nouvelles données, tel que réalisé dans l’autre étude. De plus, la performance est loin d’être spectaculaire.

Bref, c’est une étude intéressante et bien construite, mais il reste encore beaucoup de chemin à faire. Je suis encouragé de voir de la nouvelle littérature sur des applications concrètes d’intelligence artificielle dans des domaines touchant le travail du pharmacien.