Opacité : Comme les synthèses de la connaissance et plus particulièrement les revues systématiques sont utilisées pour guider la prise de décisions, notamment en santé, il est important de s’assurer de la qualité des processus utilisés dans la synthèse. La majorité des outils qui utilisent l’IA pour faire des synthèses ne rendent pas leur modèle public et même si un modèle était accessible publiquement, la nature de « boîte noire » des modèles d'apprentissage profond et des réseaux de neurones rendrait les résultats difficilement explicables. Ces modèles, bien que puissants, prennent des décisions à travers des processus très complexes et non linéaires, qui échappent souvent à toute forme d'interprétation claire.
Par conséquent, même en ayant accès au modèle, la transparence sur les mécanismes de prise de décision reste limitée, empêchant une vérification complète et une reproduction des résultats.
Biais : Les outils d'IA peuvent introduire des biais, souvent hérités des données sur lesquelles ils sont formés. Si les ensembles de données sont incomplets, erronés ou biaisés (par exemple, en raison de biais historiques ou démographiques), les modèles d'IA risquent de produire des résultats faussés. Ces biais peuvent affecter la validité des conclusions tirées d'une synthèse. La performance des modèles dépend ainsi de la qualité, de la diversité et de la représentativité des données utilisées pour l'entraînement.
Il est donc fortement conseillé d'avoir une compréhension approfondie de la méthodologie utilisée avant d'intégrer des outils d'IA.
Contextualisation et analyse critique : Bien que l'IA soit capable d'analyser des volumes massifs de données et d'en extraire des tendances ou des corrélations, elle demeure limitée dans sa capacité à contextualiser les résultats et à fournir une analyse critique approfondie si l’on compare au travail de chercheurs humains.
Cette capacité à contextualiser est essentielle pour interpréter correctement les résultats et en tirer des conclusions pertinentes.