📖
IA générative en médecine générale : attentes des professionnels et évaluation de modèles de langue sur le raisonnement diagnostique
Sofiane Djillali Sid-Ahmed, Josselin Corvellec

IA générative en médecine générale : attentes des professionnels et évaluation de modèles de langue sur le raisonnement diagnostique

Science & Mathematics Published 2024 Verification Pending

Overview & Synopsis

L'Intelligence Artificielle générative est en pleine expansion et la santé est un champ privilégié pour ses applications. Les attentes des médecins généralistes autour de ces technologies semblent mal cernées. Les travaux d'évaluation produits par ces mêmes médecins sont peu nombreux. Notre travail tente de répondre à cette double problématique. D'une part, nous avons réalisé une enquête auprès des médecins généralistes quant à leurs utilisations et attentes vis-à-vis de l’IA générative. D'autre part, nous avons testés des grands modèles de langues sur leur capacité à produire un raisonnement diagnostique de qualité. Un questionnaire a été diffusé auprès des médecins généralistes de la région Pays de La Loire durant l'été 2024. En parallèle, nous avons élaboré une banque de cas clinique qui ont été soumis à différents LLM (GPT-4, Llama3 et BioMistral) afin de les évaluer sur le raisonnement diagnostique. Nos résultats montrent une utilisation encore limitée des outils d'IA générative en pratique courante par les médecins généralistes. Les médecins interrogés attendent surtout de l'IA générative une aide quant aux tâches administratives et à l'analyse de données. Ils sont également demandeurs de formation sur le sujet. L'évaluation des réponses des modèles de langue, quant à elle, a montré une excellente performance de ces derniers sur la capacité à produire un raisonnement de qualité. Les modèles les plus grands semblent meilleurs que les autres. Nous avons aussi montré que les modèles étaient plus performants en anglais par rapport au français. D'autres travaux seront nécessaires afin d’évaluer les modèles de langue dans des situations se rapprochant plus de la pratique réelle. Notre méthodologie d'évaluation pourra être réutilisée pour d'autres travaux.

Indexed from repository: HAL Open Science (hal.science)
Loading document from verified source...
Keyboard Shortcuts: ← / → for pages • + / - for zoom • 0 to fit width Powered by Mozilla PDF.js v3.11

Document Information

Document Title IA générative en médecine générale : attentes des professionnels et évaluation de modèles de langue sur le raisonnement diagnostique
Author / Organization Sofiane Djillali Sid-Ahmed, Josselin Corvellec
Subject & Discipline Multidisciplinary Academic Open Research
Categories Science & Mathematics
Publication Year 2024
License / Rights Open Access / Creative Commons
Resource Verification Listed PDF (Verification Pending)
Original Host Website HAL Open Science (hal.science)
File Format application/pdf (Portable Document Format)
Language EN
Catalog ID DOC-252528
Original Source Link Visit Source Page on hal.science »