Studie: Kann KI bei der Erstellung systematischer Übersichtsarbeiten helfen?

Können Werkzeuge der künstlichen Intelligenz (KI), insbesondere große Sprachmodelle (Large Language Models - LLMs) wie Generative Pretrained Transformer (GPT), bei der Erstellung systematischer Übersichtsarbeiten helfen? Ein Team aus Freiburg hat dazu eine systematische Recherche publiziert.

Die Wissenschaftler:innen fanden dazu 37 relevante Artikel, in denen LLMs getestet wurden, um bei verschiedenen Teilen des systematischen Überprüfungsprozesses zu helfen. Umfasst waren die Suche nach Literatur (41 % der Studien), Auswahl relevanter Studien (38 %) und Extraktion wichtiger Informationen aus diesen Studien (30 %). GPT war das am häufigsten verwendete LLM und kam in 89 % der Studien vor. 57 % der Untersuchungen konzentrierten sich darauf zu testen, ob diese KI-Tools im Kontext der Erstellung systematischer Übersichtsarbeiten tatsächlich wie beabsichtigt funktionieren.

Die Ergebnisse waren gemischt: Etwa die Hälfte der Studien fand LLMs vielversprechend, ein Viertel war neutral, und ein Fünftel fand sie nicht vielversprechend. LLMs haben zwar das Potenzial, den Prozess der systematischen Überprüfung effizienter zu machen, es fehlt aber noch an vollständig getesteten und validierten Anwendungen. Die zunehmende Zahl von Studien in diesem Bereich deutet allerdings darauf hin, dass diese KI-Tools bei der Erstellung systematischer Übersichtsarbeiten zunehmend an Bedeutung gewinnen.

Lieberum JL, Töws M, Metzendorf MI, Heilmeyer F, Siemens W, Haverkamp C, Böhringer D, Meerpohl JJ, Eisele-Metzger A (2025) Large language models for conducting systematic reviews: on the rise, but not yet ready for use – a scoping review. Journal of Clinical Epidemiology 181. https://www.sciencedirect.com/science/article/pii/S0895435625000794.