Künstliche Intelligenz verändert die Medizintechnik grundlegend – von der Diagnostik bis zur Therapieplanung. Mit den neuen Möglichkeiten kommen aber auch neue Herausforderungen hinzu.
Beispielsweise rückt die Usability weiter ins Zentrum der Gestaltung. Da KI-Systeme durch Menschen schwieriger zu verstehen sind, müssen User Interfaces das kompensieren. Hersteller von KI-gestützten Medizinprodukten müssen daher transparente, nachvollziehbare und zuverlässige Systeme entwickeln, die sowohl den regulatorischen Anforderungen als auch den Bedürfnissen der Nutzenden gerecht werden.
Genau da gibt der Entwurf der FDA-Leitlinie „Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations“ (2025 Draft) Herstellern Orientierung. Grund genug, die Leitlinie einmal genauer unter die Lupe zu nehmen.
In diesem Artikel analysieren wir, welche Anforderungen sich aus dem Entwurf ableiten lassen und welche praktischen Implikationen diese für Hersteller hat. Unser Fokus liegt dabei auf der Usability und dem User Interface (UI).
Dieser Artikel ist Teil unserer Serie „KI & Usability in Medizinprodukten“, in der wir die wichtigsten KI-Richtlinien untersuchen und ihre Auswirkungen auf die Usability von Medizinprodukten beleuchten. Jeder Teil der Serie widmet sich einer spezifischen regulatorischen Leitlinie. Die gesammelten Erkenntnisse fassen wir zusätzlich in einem umfassenden Überblick zusammen (wird noch veröffentlicht).
Legen wir los!
Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations
Die FDA, als eine der führenden Regulierungsbehörden im Bereich der Medizintechnik, hat in den letzten Jahren verstärkt Richtlinien für den sicheren und effektiven Einsatz von Künstlicher Intelligenz (KI) in Medizinprodukten entworfen. Der im Januar 2025 veröffentlichte „Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations“-Entwurf zielt darauf ab, klare Empfehlungen für Hersteller von KI-gestützten Medizinprodukten zu geben.
Das zentrale Thema dieser neuen Leitlinie ist die regulatorische Einreichung („Marketing Submission“) für KI-gestützte Medizinprodukte (z.B. 510(k), De Novo und PMA). Die FDA legt detaillierte Anforderungen fest, welche Dokumentation Hersteller bereitstellen müssen, um die Sicherheit, Leistung und Usability ihrer KI-Modelle nachzuweisen.
Dabei wird ein Lebenszyklus-Ansatz verfolgt, der sicherstellt, dass Hersteller nicht nur die Entwicklung, sondern auch die langfristige Überwachung und kontinuierliche Verbesserung ihrer KI-Systeme berücksichtigen.
Hier finden Sie das vollständige, 64-seitige Dokument: Artificial Intelligence-Enabled Device Software Functions 2025 Draft
Implikationen für die Usability von Medizinprodukten
Im Folgenden werden die Abschnitte der FDA-Leitlinie „Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations“ hervorgehoben, die spezifische Anforderungen an die Usability und die Mensch-KI-Interaktion in Medizinprodukten definieren.
1. Nutzerzentrierte Transparenz und Erklärbarkeit der KI
Originalzitate:
„A comprehensive approach to transparency and bias is particularly important for AI-enabled devices, which can be hard for users to understand due to the opacity of many models and model reliance on data correlations that may not map directly to biologically plausible mechanisms of action.“
„While sponsors of devices that do not have a critical task may not need to submit a human factors validation testing report, they may choose to use the process outlined in the Human Factors Guidance, or another approach of their choosing to evaluate usability, to test their device design, and support the efficacy of risk controls.“
Klassische Medizinprodukte müssen sicherstellen, dass die Bedienung funktional verständlich ist. Sie müssen aber nicht die zugrundeliegenden Algorithmen erklären. Für KI-Produkte sieht das die FDA anders. In dem Entwurf werden explizit Transparenzmechanismen gefordert, damit Nutzende nachvollziehen können, wie die KI zu einer Entscheidung kommt.
Implikationen für Usability und UI:
- Es wird gefordert, dass KI-Outputs klar verständlich sind. Idealerweise mit einer Option für die Nutzenden noch weitere Kontextinformationen abzurufen.
- UIs sollen Visualisierungsstrategien für KI-Entscheidungen beinhalten (z.B. Wahrscheinlichkeitswerte, Unsicherheitsbereiche etc.). Damit soll klar kommuniziert werden, wie verlässlich ein Ergebnis ist.
- Es wird empfohlen, sogenannte „Model Cards“ zu integrieren. Dabei handelt es sich um eine Art Beipackzettel für KI-Produkte, der u.a. Informationen zu den Trainingsdaten und Limitierungen enthält.
- Es werden Usability-Tests für die Validierung der Verständlichkeit der Outputs und der Transparenzmaßnahmen empfohlen.
- Es wird empfohlen, dass der Prozess zum Design des User Interfaces einem holistischen Ansatz folgt: vom Nutzungskontext über die Identifikation der Aufgaben bis hin zur eigentlichen Gestaltung.
2. Dynamische Entscheidungsfindung und Kontrolle der Ergebnisse
Originalzitate:
„It is important to know how robust the device output is due to potential variations in the measurement system (e.g., whether repeated tests by users will generate significantly different device output due to operator difference and signal variation).“
„Together, performance validation and human factors validation (or an evaluation of usability as appropriate) help provide FDA with information to understand how the device may be used and perform under real world circumstances.“
Klassische Medizinprodukte haben oft vordefinierte Algorithmen. Sie liefern bei gleichen Eingangsdaten deterministisch das gleiche Ergebnis. Die Richtlinie stellt fest, dass das für KI-Produkte nicht im gleichen Umfang gelten muss.
Sie spricht die Robustheit und die Reproduzierbarkeit von KI-Modellen direkt an und fordert, je nach Gerät, Nachweisstudien. Auch auf die Usability und das User Interface hat das Auswirkungen.
Implikationen für Usability und UI:
- Nutzende müssen verstehen, welche Ergebnisse dynamisch KI generiert sind und welche nicht.
- Nutzende sollen verstehen, wie die KI zum Einsatz kommt, um auf die Ergebnisse zu kommen (z.B. über die angesprochenen Model Cards).
- Es wird gefordert, dass Hersteller nachweisen, dass die Benutzer in der Lage sind, mit dem Gerät wie vorgesehen zu interagieren und es zu verstehen.
- Es wird angesprochen, dass die Kontrolle der Ergebnisse für Nutzende schwierig sein kann (siehe auch Transparenz im ersten Punkt). Daher kann es auch hier ein Nachweis erforderlich werden. Das gilt insbesondere für lernende Modelle oder Updates.
3. Nutzende und KI bilden ein Team
Originalzitat:
„The intended use and clinical workflow of AI-enabled devices span a continuum of decision-making roles from more autonomous systems to supportive (aid) tools that assist specific users, but rely on the human to interpret the AI outputs and ultimately make clinical decisions.“
Der Entwurf verweist in diesem Punkt auf die Good Machine Learning Practice: Guiding Principles. Die GMLP haben wir bereits in unserer Serie besprochen. Das Original finden Sie hier. In der GMLP werden der Nutzende zusammen mit der KI als „KI-Team“ gesehen, die eine Aufgabe gemeinsam bewältigen.
Implikationen für Usability und UI (übernommen aus unserem GMLP Artikel):
- Die Validierung der Usability verlagert sich vom UI-Design auf die Kollaboration zwischen Mensch und KI. Regulierungsbehörden erwarten zukünftig von Herstellern, dass sie bewerten, wie gut Nutzende KI-Ergebnisse in realen Arbeitsabläufen verstehen und mit ihnen interagieren.
- Neue Usability-Metriken werden erforderlich. Neben den traditionellen Effektivitäts- und Effizienzmetriken muss nun auch das Vertrauen in KI-Entscheidungen, die Interpretierbarkeit von Modellergebnissen und die Effizienz der Entscheidungsfindung zwischen Mensch und KI berücksichtigt werden.
- Fehlervermeidungsstrategien müssen auf ihre Usability getestet werden – der Fokus der Regulierungsbehörden erstreckt sich über die KI-Genauigkeit hinaus darauf, wie Nutzende Fehler beheben und wie KI-Designs Automatisierungsmüdigkeit und übermäßiges Vertrauen minimieren.
4. Neue Herausforderungen bei Risikokontrolle
Wir haben bereits in Punkt 1 geschrieben, dass Nutzende Probleme haben könnten, die Funktionsweise von KI zu verstehen. Hieraus ergeben sich neue Risiken, die kontrolliert werden müssen.
Originalzitat:
„One aspect of risk management that can be particularly important for AI-enabled devices is the management of risks that are related to understanding information that is necessary to use or interpret the device, including risks related to lack of information or unclear information. Misunderstood, misused, or unavailable information can impact the safe and effective use of a device.“
Implikationen für Usability und UI:
- Die neuen Risiken müssen umfassend in der Risikoanalyse betrachtet werden. Die Richtlinie hebt hierbei an verschiedenen Stellen die Mensch-KI-Interaktion und das Verständnis der Nutzenden hervor.
- Für die Überprüfung von damit zusammenhängenden Kontrollmaßnahmen werden Usability-Evaluationen empfohlen. In Anhang D „Usability Evaluation Considerations“ beziehen sich diese Betrachtungen auch explizit auf Produkte, die keinen Human Factors Validation Testing Report benötigen (siehe Zitat in Abschnitt 2).
Diskussion: Usability als entscheidender Faktor für KI-gestützte Medizinprodukte
Die FDA-Leitlinie „Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations“ verdeutlicht, dass Usability nicht nur ein Qualitätsmerkmal, sondern ein regulatorischer Schlüsselfaktor für KI-gestützte Medizinprodukte wird. Während Usability in klassischen Medizinprodukten vor allem die sichere und effiziente Bedienung betrifft, stellt die FDA nun neue Anforderungen an die Transparenz, Interpretierbarkeit und Mensch-KI-Kollaboration.
Ein zentraler Punkt ist die Forderung nach einer nachvollziehbaren KI. Nutzer müssen nicht nur verstehen, wie sie mit dem System interagieren, sondern auch, wie die KI zu ihren Ergebnissen kommt. Dies bedeutet, dass Hersteller neue UI-Konzepte entwickeln müssen, die KI-Outputs erklärbar machen. Dazu gehören etwa visuelle Transparenzmechanismen wie Model Cards, Unsicherheitsanzeigen oder alternative Entscheidungswege.
Ein weiteres Schlüsselthema ist die Mensch-KI-Zusammenarbeit. Die FDA betont, dass KI-Systeme nicht isoliert betrachtet werden können, sondern als Teil eines Teams aus Mensch und Maschine. Dies erfordert neue Usability-Validierungen, die nicht nur das UI, sondern die gesamte Interaktion und Entscheidungsfindung zwischen Nutzer und KI bewerten. Besonders für lernende Modelle und adaptive Algorithmen bedeutet dies, dass Hersteller nachweisen müssen, dass Nutzende Veränderungen in der KI verstehen und damit sicher umgehen können.
Auch das Risikomanagement für Usability-Probleme gewinnt an Bedeutung. Die FDA fordert explizit, dass Missverständnisse oder fehlende Informationen als Risiken bewertet und adressiert werden. Hersteller müssen sicherstellen, dass Nutzende die KI richtig interpretieren, Fehler erkennen und angemessen reagieren können. Usability-Tests werden damit wichtiger.
Noch handelt es sich um einen Regulierungsentwurf, sodass sich Anforderungen weiterentwickeln können. Doch die Richtung ist klar: Usability wird künftig ein fester Bestandteil der regulatorischen Bewertung von KI-gestützten Medizinprodukten sein. Unternehmen sollten sich daher frühzeitig darauf einstellen und sicherstellen, dass ihre Systeme nicht nur leistungsfähig, sondern auch transparent, verständlich und sicher nutzbar sind.
Wie geht es weiter?
- Hier geht es zum ersten Teil der Serie: KI & Usability in Medizinprodukten – Teil 1: Good Machine Learning Practice for Medical Device Development – Guiding Principles (IMDRF)
- Melden Sie sich für unseren Newsletter an, um eine Benachrichtigung zu erhalten, sobald ein neuer Teil erscheint.
- Brauchen Sie Unterstützung bei der Integration von Usability oder User Interface Design in Ihr (KI-basiertes) Medizinprodukt? Kontaktieren Sie uns – wir helfen Ihnen gerne weiter!
