Editorial: Sind KI-basierte Prognosemodelle Fit-For-Purpose?

Prognosemodelle haben das Ziel, zukünftige Gesundheitsentwicklungen (z. B. Tod, Risiko eines bestimmten Krankheitsverlaufs) von Patient*innen vorherzusagen. Dabei gewinnen zunehmend KI-basierte Verfahren an Bedeutung. KI-basierte Prognosemodelle haben in den letzten Jahren einen großen Hype erzeugt und versprechen, die medizinische Versorgung zu revolutionieren. Doch basierend auf den entwickelten Modellen allein lässt sich nicht abschließend beurteilen, ob sie auch in der Praxis tauglich sind. Gegenüber klassischen Verfahren haben KI-basierte Methoden den Vorteil, weniger Annahmen an die Daten zu stellen. So können mit ihnen auch unstrukturierte Datentypen wie Text- und Bilddaten ausgewertet und komplexere Zusammenhänge abgebildet werden. Allerdings sind die Ergebnisse häufig schwieriger zu interpretieren und nachzuvollziehen. Damit KI-basierte Prognosemodelle vertrauenswürdig sind, müssen diese zudem vielfältige methodische Anforderungen erfüllen (1).

Eine Grundvoraussetzung für ein aussagekräftiges Modell ist, dass die Daten, von denen das Modell ursprünglich „gelernt“ hat (Trainingsdaten), repräsentativ und von ausreichender Qualität sind. Unzureichende Repräsentativität, fehlende Werte oder Messfehler können systematische Verzerrungen in den Daten verursachen und erhebliche Konsequenzen für die Vorhersagegüte eines Modells haben. Im schlimmsten Fall kann dies gar zur systematischen Benachteiligung von Personengruppen führen, wie z.B. für bestimmte Altersgruppen. Ein weiteres Problem ist das sogenannte Overfitting (Deutsch: Überanpassung). Hierunter versteht man, dass ein Modell zu stark auf die Trainingsdaten angepasst ist und dadurch seine Übertragbarkeit auf andere Daten mitunter stark reduziert wird. Ein solch überangepasstes Modell ist für klinische Anwendungen in einem anderen Kontext unbrauchbar. Um diese Aspekte aufzudecken, sind Validierungen von Prognosemodellen unerlässlich (2).

Prognosemodelle sollten daher immer validiert werden, bevor sie in der Praxis verwendet werden. Validierung bedeutet, die Vorhersagegüte eines Modells auf bisher unbekannten Daten zu überprüfen und dessen Generalisierbarkeit zu evaluieren. In einer Validierung werden die Modell-Vorhersagen (z. B. Risiko zu sterben) für andere Daten als den initialen Trainingsdaten berechnet. Dafür müssen die notwendigen Informationen zum Modell verfügbar sein, um es „nachzubauen“. Transparentes Berichten von Prognosemodellen ist daher von hoher Bedeutung. Studien zeigen jedoch, dass die Berichterstattung von Prognosemodellen häufig unzureichend ist (3).

Weiterhin muss ein Modell mit „passenden“ Daten validiert werden (Validierungsdaten), wobei man zwischen interner und externer Validierung unterscheidet. Die interne Validierung verwendet einen Datensatz aus der gleichen Population wie der Trainingsdatensatz, während die externe Validierung einen neuen Datensatz verwendet, der zeitlich und/oder räumlich von der ursprünglichen Population verschieden sein kann. Während eine interne Validierung häufig direkt bei der Entwicklung eines Modells vorgenommen wird, mangelt es häufig an der externen Validierung (4). Ohne eine solche kann die Eignung eines Prognosemodells jedoch nicht ausreichend eingeschätzt werden. Eine zusätzlich prospektive Validierung in Form einer klinischen Studie ist besonders wertvoll, da sie die Anwendbarkeit des Modells in der Praxis besser einschätzt. Ein Vergleich des Behandlungserfolgs unter Berücksichtigung der Modellvorhersagen mit dem aktuellen Standard ohne Modellvorhersage bietet dabei den größten Erkenntnisgewinn, um den tatsächlichen Mehrwert einer Modell-Vorhersage zu quantifizieren.

Aktuell werden Prognosemodelle jedoch häufig nicht extern validiert und nur selten in vergleichenden Studien untersucht. Viele der entwickelten Prognosemodelle weisen zudem Mängel hinsichtlich Entwicklungsmethodik, Transparenz und Reproduzierbarkeit auf (3,5-6). Aus diesem Grund ist ihre Tauglichkeit für die Praxis oftmals unklar.

Maxi Schulz, MSc — Wissenschaftliche Mitarbeiterin am Institut für Medizinische Statistik der Universitätsmedizin Göttingen 

Prof. Dr. Tim Mathes — Professor am Institut für Medizinische Statistik der Universitätsmedizin Göttingen 

 

Referenzen

  1. Maarten van Smeden et al. “Critical appraisal of artificial intelligence-based prediction models for cardiovascular disease”. In: European heart journal 43.31 (2022), S. 2921–2930. doi: 10.1093/eurheartj/ehac238.
  2. Chava L. Ramspek et al. “External validation of prognostic models: what,why, how, when and where?” In: Clinical kidney journal 14.1 (2021), S. 49–58. doi: 10.1093/ckj/sfaa188.
  3. Gary S. Collins et al. “A systematic review finds prediction models for chronic kidney disease were poorly reported and often developed using inappropriate methods”. In: Journal of clinical epidemiology 66.3 (2013), S. 268–277. doi: 10.1016/j.jclinepi.2012.06.020.
  4. George C M Siontis et al. “External validation of new risk prediction models is infrequent and reveals worse prognostic discrimination”. In: Journal of clinical epidemiology 68.1 (2015), S. 25-34. doi: 10.1016/j.jclinepi.2014.09.007.
  5. Walter Bouwmeester et al. “Reporting and methods in clinical prediction research: a systematic review”. In: PLoS medicine 9.5 (2012), S. 1–12. doi: 10.1371/journal.pmed.1001221.
  6. Laure Wynants et al. “Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal”. In: BMJ (Clinical research ed.) 369 (2020), S. m1328. doi: 10.1136/bmj.m1328.