Ce texte, rédigé par des membres du secrétariat du GTIC, résume l’article suivant :

Perlman-Arrow S, Loo N, Bobrovitz N, Yan T, Arora RK. A real-world evaluation of the implementation of NLP technology in abstract screening of a systematic review. Res Synth Methods. Le 25 mai 2023. doi : https://doi.org/10.1002/jrsm.1636.

Les résultats ou les conclusions contenus dans l’étude ne reflètent pas nécessairement les points de vue de tous les membres du GTIC.

Selon les résultats d’une étude financée par le GTIC publiés dans la revue Research Synthesis Methods, l’adoption d’un outil de traitement automatique du langage naturel (TLN) pour analyser des résumés en vue d’une véritable analyse systématique sur la prévalence du SRAS-CoV-2 était à la fois faisable et bénéfique en situation concrète. L’outil d’analyse de résumés assisté par TLN contenait des recommandations sur l’inclusion des textes, la mise en surbrillance des mots-clés et des indices contextuels visuels. L’évaluation de l’amélioration de la qualité du dépistage avec ou sans l’outil a permis de déterminer les changements à la vitesse d’analyse des résumés et la satisfaction des utilisateurs. Ceux-ci ont donné des commentaires positifs sur l’outil dans l’ensemble et lui ont attribué un score de satisfaction moyen de 4,2 sur 5. Cette étude était dirigée par le Dr Rahul Arora de l’Université de Calgary, qui fait partie de SeroTracker.

Faits saillants

  • L’outil améliorait l’efficacité puisqu’il réduisait de 45,9 % la durée d’analyse par résumé et abaissait de 8,3 % à 3,6% le taux de conflit interévaluateur.
  • Lorsqu’un analyste humain de résumés était remplacé par les votes de l’outil de TLN, la durée du processus d’analyse de résumés diminuait de 70 %, la remémoration et la précision étant semblables.
  • Les statistiques sommaires des estimations de séroprévalence étaient semblables avec ou sans l’outil.
  • La fonction de recommandation d’inclusion de l’outil était souvent utilisée, et les analyseurs l’ont votée comme la plus utile (note moyenne de 4,7 sur 5), tandis que la mise en surbrillance des mots-clés a été classée comme la moins utile.

L’évaluation en contexte réel confirme pleinement l’efficacité de l’outil de TLN pour le dépistage de résumés lors d’analyses systématiques, car celui-ci permet de gagner beaucoup de temps sans perdre en précision.