Editorial: Sind KI-basierte Prognosemodelle Fit-For-Purpose?
Prognosemodelle haben das Ziel, zukünftige Gesundheitsentwicklungen (z. B. Tod, Risiko eines bestimmten Krankheitsverlaufs) von Patient*innen vorherzusagen. Dabei gewinnen zunehmend KI-basierte Verfahren an Bedeutung. KI-basierte Prognosemodelle haben in den letzten Jahren einen großen Hype erzeugt und versprechen, die medizinische Versorgung zu revolutionieren. Doch basierend auf den entwickelten Modellen allein lässt sich nicht abschließend beurteilen, ob sie auch in der Praxis tauglich sind. Gegenüber klassischen Verfahren haben KI-basierte Methoden den Vorteil, weniger Annahmen an die Daten zu stellen. So können mit ihnen auch unstrukturierte Datentypen wie Text- und Bilddaten ausgewertet und komplexere Zusammenhänge abgebildet werden. Allerdings sind die Ergebnisse häufig schwieriger zu interpretieren und nachzuvollziehen. Damit KI-basierte Prognosemodelle vertrauenswürdig sind, müssen diese zudem vielfältige methodische Anforderungen erfüllen (1).
Eine Grundvoraussetzung für ein aussagekräftiges Modell ist, dass die Daten, von denen das Modell ursprünglich „gelernt“ hat (Trainingsdaten), repräsentativ und von ausreichender Qualität sind. Unzureichende Repräsentativität, fehlende Werte oder Messfehler können systematische Verzerrungen in den Daten verursachen und erhebliche Konsequenzen für die Vorhersagegüte eines Modells haben. Im schlimmsten Fall kann dies gar zur systematischen Benachteiligung von Personengruppen führen, wie z.B. für bestimmte Altersgruppen. Ein weiteres Problem ist das sogenannte Overfitting (Deutsch: Überanpassung). Hierunter versteht man, dass ein Modell zu stark auf die Trainingsdaten angepasst ist und dadurch seine Übertragbarkeit auf andere Daten mitunter stark reduziert wird. Ein solch überangepasstes Modell ist für klinische Anwendungen in einem anderen Kontext unbrauchbar. Um diese Aspekte aufzudecken, sind Validierungen von Prognosemodellen unerlässlich (2).
Prognosemodelle sollten daher immer validiert werden, bevor sie in der Praxis verwendet werden. Validierung bedeutet, die Vorhersagegüte eines Modells auf bisher unbekannten Daten zu überprüfen und dessen Generalisierbarkeit zu evaluieren. In einer Validierung werden die Modell-Vorhersagen (z. B. Risiko zu sterben) für andere Daten als den initialen Trainingsdaten berechnet. Dafür müssen die notwendigen Informationen zum Modell verfügbar sein, um es „nachzubauen“. Transparentes Berichten von Prognosemodellen ist daher von hoher Bedeutung. Studien zeigen jedoch, dass die Berichterstattung von Prognosemodellen häufig unzureichend ist (3).
Weiterhin muss ein Modell mit „passenden“ Daten validiert werden (Validierungsdaten), wobei man zwischen interner und externer Validierung unterscheidet. Die interne Validierung verwendet einen Datensatz aus der gleichen Population wie der Trainingsdatensatz, während die externe Validierung einen neuen Datensatz verwendet, der zeitlich und/oder räumlich von der ursprünglichen Population verschieden sein kann. Während eine interne Validierung häufig direkt bei der Entwicklung eines Modells vorgenommen wird, mangelt es häufig an der externen Validierung (4). Ohne eine solche kann die Eignung eines Prognosemodells jedoch nicht ausreichend eingeschätzt werden. Eine zusätzlich prospektive Validierung in Form einer klinischen Studie ist besonders wertvoll, da sie die Anwendbarkeit des Modells in der Praxis besser einschätzt. Ein Vergleich des Behandlungserfolgs unter Berücksichtigung der Modellvorhersagen mit dem aktuellen Standard ohne Modellvorhersage bietet dabei den größten Erkenntnisgewinn, um den tatsächlichen Mehrwert einer Modell-Vorhersage zu quantifizieren.
Aktuell werden Prognosemodelle jedoch häufig nicht extern validiert und nur selten in vergleichenden Studien untersucht. Viele der entwickelten Prognosemodelle weisen zudem Mängel hinsichtlich Entwicklungsmethodik, Transparenz und Reproduzierbarkeit auf (3,5-6). Aus diesem Grund ist ihre Tauglichkeit für die Praxis oftmals unklar.
Maxi Schulz, MSc — Wissenschaftliche Mitarbeiterin am Institut für Medizinische Statistik der Universitätsmedizin Göttingen
Prof. Dr. Tim Mathes — Professor am Institut für Medizinische Statistik der Universitätsmedizin Göttingen
Referenzen
Maarten van Smeden et al. “Critical appraisal of artificial intelligence-based prediction models for cardiovascular disease”. In: European heart journal 43.31 (2022), S. 2921–2930. doi: 10.1093/eurheartj/ehac238.
Chava L. Ramspek et al. “External validation of prognostic models: what,why, how, when and where?” In: Clinical kidney journal 14.1 (2021), S. 49–58. doi: 10.1093/ckj/sfaa188.
Gary S. Collins et al. “A systematic review finds prediction models for chronic kidney disease were poorly reported and often developed using inappropriate methods”. In: Journal of clinical epidemiology 66.3 (2013), S. 268–277. doi: 10.1016/j.jclinepi.2012.06.020.
George C M Siontis et al. “External validation of new risk prediction models is infrequent and reveals worse prognostic discrimination”. In: Journal of clinical epidemiology 68.1 (2015), S. 25-34. doi: 10.1016/j.jclinepi.2014.09.007.
Walter Bouwmeester et al. “Reporting and methods in clinical prediction research: a systematic review”. In: PLoS medicine 9.5 (2012), S. 1–12. doi: 10.1371/journal.pmed.1001221.
Laure Wynants et al. “Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal”. In: BMJ (Clinical research ed.) 369 (2020), S. m1328. doi: 10.1136/bmj.m1328.
Digitale Interventionen bei generalisierten Angststörungen
Generalisierte Angststörungen (GA), die bei etwa 5% aller Menschen auftreten, zeichnen sich durch ausgeprägte Ängste und Sorgen aus und führen zu psychischen und körperlichen Symptomen. Zur Behandlung werden neben klassischer Psycho- und Pharmakotherapie zunehmend auch Digitale Interventionen (DI) eingesetzt, die Inhalte und Techniken in Form von Text oder Audio-/Videodateien vermitteln. Ein aktueller HTA-Bericht des Instituts für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), untersuchte den Nutzen digitaler Anwendungen zur Behandlung von GA bei Jugendlichen und Erwachsenen. Betroffene profitieren laut Bericht kurzfristig (durchschnittlich 3 Monate) von DI basierend auf kognitiver Verhaltenstherapie – Evidenz zu langfristigen Effekten fehlt allerdings.
Der HTA-Bericht basierte auf 23 randomisiert kontrollierten Studien zu digitalen Interventionen (DI) mit verschiedenen Behandlungsansätzen. DI auf Basis kognitiver Verhaltenstherapie zeigen positive Effekte auf Symptomatik, Lebensqualität und Alltagsfunktionen. Kombinationen mit Cognitive Bias Modification bieten Vorteile bei generalisierten Angststörungen, nicht aber bei der Symptomverbesserung. Die Evidenz weist ein hohes Verzerrungspotenzial auf (bedingt durch fehlende Verblindung bei subjektiver Endpunkterhebung, methodische Mängel wie unzureichende Angaben zu Baseline-Charakteristika und Abweichungen von Studienprotokollen, unzureichend beschriebene Verdeckung der Gruppenzuteilung sowie finanzielle Interessenkonflikte in einigen Studien), was die Ergebnissicherheit erheblich einschränkt. Unerwünschte Ereignisse sind bisher nicht untersucht und Schlussfolgerungen zur Kosteneffektivität konnten aufgrund mangelhafter Studienlage nicht gezogen werden. Auch fehlt es an Langzeitdaten über 2-3 Monate hinaus, Vergleichsanalysen mit Face-to-Face-Psychotherapie oder Pharmakotherapie sowie Studien zu Jugendlichen ab 14 Jahren. Bei nachgewiesener Wirksamkeit können DI den Zugang zu Gesundheitsleistungen verbessern und die Patient*innenautonomie stärken, allerdings nur bei zielgruppengerechter Gestaltung und entsprechender Implementierung begleitender Maßnahmen. Eine hohe Bedeutung kommt dabei einer persönlichen und individualisierten Beratung zum digitalen Angebot zu. Jedoch stuft entsprechendes Gesundheitspersonal das eigene Wissen bezüglich der DI als unzureichend ein. Dies unterstreicht die Notwendigkeit weiterer und transparenter Informationen, einschließlich rechtlicher Aspekte, um die Integration von DI im Gesundheitswesen zu erleichtern und deren Potenzial vollständig auszuschöpfen.
Der Bericht schlussfolgert, dass digitale Interventionen basierend auf kognitiver Verhaltenstherapie kurzfristig die Symptomatik reduzieren und die Lebensqualität verbessern können. Für den Behandlungserfolg sind eine zielgruppengerechte Gestaltung und transparente Informationen essenziell. Der nachgewiesene kurzfristige Nutzen sollte mittels Langzeitstudien und Untersuchungen zu unerwünschten Ereignissen sowie Vergleichen mit etablierten Therapieformen weiter evaluiert werden. JP
IQWiG/DE 2024: Generalisierte Angststörung. Helfen Apps Betroffenen bei der Bewältigung ihrer Erkrankung?. HTA-Bericht im Auftrag des IQWiG. IQWiG-Berichte – Nr. 1851. https://www.iqwig.de/download/ht22-02_generalisierte-angststoerung_hta-bericht_v1-0.pdf.
Schwellenwerte in gesundheitsökonomischen Evaluationen und Erstattungsentscheidungen
Im Gesundheitswesen sehen sich Entscheidungsträger gezwungen, begrenzte Ressourcen optimal einzusetzen, weshalb sich verschiedene Methoden der gesundheitsökonomischen Evaluation zur Messung und zum Vergleich der Effizienz etabliert haben. Etwa dient der ICER-Schwellenwert als Orientierungsgröße, ob eine Intervention ein angemessenes Verhältnis von Kosten und Nutzen aufweist. In Österreich spielen gesundheitsökonomische Evaluationen bei Erstattungsentscheidungen bisher eine untergeordnete Rolle und es wurde noch kein Schwellenwert definiert. Das Austrian Institute for Health Technology Assessment (AIHTA) untersuchte in einem rezenten Bericht die Nutzung von Schwellenwerten und Kriterien für die Allokation von Gesundheitsressourcen in verschiedenen Ländern, mit Fokus auf die Implikationen für das österreichische Gesundheitssystem. Während viele Länder bereits Schwellenwerte bei Erstattungsentscheidungen anwenden, steht Österreich noch am Anfang.
Der ICER-Schwellenwert (Inkrementeller Kosten-Effektivitäts-Verhältnis-Schwellenwert), basierend auf dem Konzept der Opportunitätskosten und gesellschaftlicher Zahlungsbereitschaft, dient als zentraler Referenzwert zur Bewertung des Kosten-Nutzen-Verhältnisses medizinischer Interventionen. Eine Analyse von Fachliteratur, Leitlinien und Expert*innenwissen identifizierte 24 Länder, die Schwellenwerte für Ressourcenallokation und in Erstattungsentscheidungen nutzen. Davon nutzen sieben Länder explizite und 17 implizite Schwellenwerte, die zwischen 4.000 und 50.000 Euro pro qualitätskorrigiertem Lebensjahr (QALY) variieren und im Durchschnitt bei 28.500 Euro liegen. Die Schwellenwerte werden mithilfe unterschiedlicher methodischer Ansätze ermittelt, darunter empirische Methoden, BIP-basierte Kalkulationen, gesellschaftliche Zahlungsbereitschaft und Effizienzgrenzen. Eine empirische Analyse zeigte eine schwache, umgekehrt U-förmige Beziehung zwischen gesunder Lebenserwartung und Schwellenwerten. Zudem nutzen 15 Länder zusätzliche Modifikatoren, die z. B. den Schweregrad oder seltene Erkrankungen berücksichtigen.
Für Österreich sieht der Bericht Entwicklungsbedarf: Obwohl gesetzliche Grundlagen Wirtschaftlichkeitskriterien vorsehen, mangelt es an konkreten Schwellenwerten und definierten Effizienzkonzepten. Das AIHTA empfiehlt die Entwicklung gesundheitsökonomischer Leitlinien, den Aufbau von Bewertungsmethoden und die Harmonisierung der Terminologie. Die Einführung von Schwellenwerten könnte die Transparenz und Effizienz steigern, muss aber an den österreichischen Kontext angepasst werden. Für eine erfolgreiche Umsetzung sind daher begleitende Maßnahmen wie methodische Forschung, Expertise-Aufbau und die Entwicklung transparenter Entscheidungsprozesse erforderlich. Die konkrete Ausgestaltung erfordert letztlich eine politische Entscheidung, die verschiedene methodische Optionen und deren Implikationen sorgfältig abwägen muss. CS
AIHTA/AT 2024: Schwellenwerte in gesundheitsökonomischen Evaluationen und Erstattungsentscheidungen. HTA-Projektbericht 163. https://eprints.aihta.at/1549/.
Erstattungsmodelle und Preisgestaltung digitaler Gesundheitsanwendungen und Telemonitoring-Anwendungen
Digitale Gesundheitsanwendungen (DiGA) sind Softwareanwendungen, die im Sinne der Europäischen Medizinprodukteverordnung als Medizinprodukte zugelassen sind, und die Patient*innen etwa bei der Behandlung von Erkrankungen oder dem Ausgleich von Beeinträchtigungen unterstützen können. Im internationalen Kontext gewinnen DiGA für öffentliche Zahler zunehmend an Bedeutung. Das AIHTA untersuchte in einem Rapid Scoping Review verschiedene Modelle zur Kostenerstattung und Preisgestaltung von digitalen Gesundheits- und Telemonitoring-Anwendungen sowie deren Vor- und Nachteile in Hinblick auf eine Implementierung in die Regelversorgung.
In der Literatur werden unterschiedliche Modelle zur Preisfindung und Erstattung von DiGA beschrieben. Einige Modelle sind auf nationaler Ebene (Deutschland, Belgien, Frankreich) bereits implementiert. Deutschland führte das DiGA Fast-Track-Verfahren ein, bei dem DiGA nach einem dreimonatigen Prüfverfahren vorläufig oder dauerhaft in das DiGA-Verzeichnis aufgenommen werden können. Hersteller können den Erstattungspreis im ersten Jahr frei festlegen; anschließend erfolgen Preisverhandlungen auf Basis definierter Höchstpreise und Schwellenwerte. Ab 2026 sollen mindestens 20% des Erstattungspreises an Erfolgskennzahlen gekoppelt sein. In Belgien erfolgt die Erstattung im Rahmen von Versorgungspfaden durch gebündelte Zahlungen an Gesundheitsdienstleister. Frankreich nutzt Modelle wie das PECAN-Verfahren mit fixen Preisen für innovative Produkte in den ersten zwölf Monaten. In anderen Ländern, wie Großbritannien, erfolgt die Erstattung häufig regional oder ist abhängig von der Versicherungsart. Das britische NICE hat einen Evidenzstandard entwickelt, der den erforderlichen Evidenzgrad für die Erstattungsfähigkeit mit dem Nutzen-Risiko-Verhältnis und den Kosten verknüpft. Eine gesundheitsökonomische Analyse ist hier verpflichtend für die Preisgestaltung.
Zur Preisfindung und Erstattung von DiGA kommen verschiedene Modelle zum Einsatz, darunter pay for performance (Erstattung gekoppelt an klinische Endpunkte), value-based pricing (basierend auf wahrgenommenem Wert), usage-based pricing (abhängig von Nutzung), reference-based pricing (orientiert an Vergleichspreisen), sowie Ansätze wie user experience basiertes Pricing, cost-based Pricing, analog-equivalent Pricing, einmalige oder periodische Abgeltungen oder Managed Entry Agreements. Alle Modelle haben Vor- und Nachteile, darunter Herausforderungen wie die Diskrepanz zwischen Preis und klinischem Nutzen, die Definition geeigneter Erfolgskriterien, Datenschutzfragen und die technische Umsetzung der Erfolgsmessung. Zudem erfordert die kontinuierliche Weiterentwicklung flexible und anpassungsfähige Preismodelle.
Die Evidenz deutet darauf hin, dass performance-basierte und wertorientierte Preismodelle den größten langfristigen (systemischen) Nutzen bieten, auch wenn ihre Implementierung komplexer ist. Diese Modelle schaffen Anreize für das Erreichen patient*innenrelevanter Ergebnisse und können zu einer besseren Ressourcenallokation im öffentlichen Gesundheitswesen und generellen Kosteneinsparungen führen. Langfristig könnte die Refundierung innerhalb von Behandlungspfaden mit integrierten DiGAs (mittels gebündelter Zahlungen), im Vergleich zu isolierten Refundierungen, vorteilhaft sein. JM
AIHTA/AT 2024: Erstattungsmodelle und Preisgestaltung digitaler Gesundheitsanwendungen und Telemonitoring-Anwendungen – Rapid Scoping Review. AIHTA-Informationsdienst Nr.:016.
Telehealth in Diabetes: EU-Mapping und systematische Auswertung organisatorischer Aspekte
Die Zahl der Patient*innen mit Diabetes mellitus steigt in Europa kontinuierlich an – Typ-2-Diabetes-Mellitus (T2DM) macht mit etwa 90 % den Hauptanteil aus. Regelmäßige ärztliche Kontrollen, eine ausgewogene Ernährung, regelmäßige körperliche Aktivität sowie Gewichtsmanagement bilden die Grundlage für ein erfolgreiches Management von T2DM. In diesem Zusammenhang gewinnen telemedizinische Interventionen sowohl für das Selbstmanagement als auch bei der Behandlung von Menschen mit Diabetes an Bedeutung. Im Rahmen des ASSESS-DHT-Forschungsprojekts, das sich mit der Bedeutung einer verstärkten Einführung vertrauenswürdiger und wirksamer digitaler Gesundheitstechnologien (DHTs) in Europa befasst, untersuchte das AIHTA telemedizinische Programme und organisatorische Rahmenbedingungen in der Diabetesversorgung in zehn europäischen Ländern.
Die Studie basierte auf einer Online-Umfrage, die über die International Diabetes Federation Europe (IDFE) durchgeführt wurde sowie auf einem Scoping Review, der fünf Datenbanken nach Publikationen durchsuchte und einen AIHTA-Bericht aus 2022 aktualisierte. Die Analyse identifizierte 24 verschiedene DHTs, die sich in drei Hauptkategorien unterteilen lassen: Behandlungsunterstützung, Verhaltensmodifikation und unterstützende Versorgung. Diese DHTs reichen von Systemen zum Datenaustausch zwischen Gesundheitsdienstleistern und Patient*innen bis hin zu innovativen Lösungen wie App-basierter Ernährungsberatung. Je nach Zielsetzung der Anwendungen waren unterschiedliche Gesundheitsfachkräfte beteiligt, was den Trend hin zu einer multiprofessionellen Patient*innenversorgung unterstreicht. Von den 24 DHTs werden derzeit nur fünf in Europa erstattet. Die bewerteten Endpunkte umfassten Lebensqualität, psychische Gesundheit, Inanspruchnahme von Gesundheitsleistungen, Akzeptanz und Zufriedenheit sowie Selbstmanagement-Fähigkeiten. Zudem zeigte sich, dass patient*innenberichtete Outcomes häufig zur Evaluation herangezogen wurden, während organisatorische Outcomes in den Untersuchungen unterrepräsentiert waren. Die Therapieadhärenz variierte erheblich, hauptsächlich aufgrund von Interessensverlust und technischen Problemen. Die Analyse der organisatorischen Auswirkungen der DHTs zeigte verkürzte Krankenhausaufenthalte und geringere Gesundheitskosten für Patient*innen. Gleichzeitig stieg jedoch die Arbeitsbelastung für Ärzt*innen durch zusätzliche Telemonitoring-Aufgaben. Mehrere Studien deuteten auf eine positive Akzeptanz der DHTs bei Patient*innen und Gesundheitsdienstleistern hin.
Die Einführung telemedizinischer Programme für die Diabetesversorgung erfordert eine sorgfältige Planung und Berücksichtigung mehrerer Faktoren. Ein entscheidender Punkt ist das Vergütungsmodell: Um die Akzeptanz und Nutzung solcher Angebote zu fördern, könnte es sinnvoll sein, diese in bestehende Versorgungsprogramme zu integrieren, anstatt sie separat zu vergüten. Aufgrund der schwankenden Therapieadhärenz und der bestehenden Barrieren ist es zudem notwendig, die Adhärenz, die Erfahrungen der Patient*innen und die technische Funktionsfähigkeit digitaler Technologien kontinuierlich zu überwachen. YH
AIHTA/AT 2024: ASSESS-DHT: Telehealth in Diabetes – EU-Mapping und systematische Auswertung organisatorischer Aspekte. HTA-Projektbericht 161. https://eprints.aihta.at/1555/.
ASSESS-DHT: Development & harmonisation of methodologies for assessing digital health technologies in Europe. https://assess-dht.eu.