In diesem Artikel schauen wir uns das Dokuments genau an und analysieren, welche Anforderungen sich daraus an die Usability und die Mensch-KI-Interaktion von Medizinprodukten ableiten lassen.
Dieser Artikel ist Teil unserer Serie „KI & Usability in Medizinprodukten“, in der wir die wichtigsten AI-Richtlinien untersuchen, die Implikationen für die Usability von Medizinprodukten haben. Jeder Teil der Serie bietet tiefe Einblicke in ein Dokument. Zusätzlich führen wir die Erkenntnisse in einem Gesamtüberblick zusammen (wird noch veröffentlicht).
Los geht’s.
Good Machine Learning Practice for Medical Device Development: Guiding Principles
🔗 Hier finden Sie das vollständige Dokument: IMDRF GMLP 2024 Draft
🔗 Die zu Grunde liegenden KI/ML Guidelines finden sie hier: FDA & MHRA GMLP 2021
Implikationen für die Usability von Medizinprodukten
Prinzip 1 – The device’s intended use/intended purpose is well understood, and multidisciplinary expertise is leveraged throughout the total product life cycle:
Implikationen für die Usability:
- Usability muss von Anfang an integriert werden – die Zulassungsbehörden erwarten, dass sich KI-basierte Geräte nahtlos in die realen klinischen Arbeitsabläufe einfügen, d.h. Usability darf nicht erst im Nachhinein berücksichtigt werden.
- Die Dokumentation für die Zulassung muss aufzeigen, wie Nutzende im Laufe der Zeit mit der KI interagieren. Um das sicherzustellen, muss die Validierung der Usability beispielsweise sowohl ein anfängliches Training als auch die spätere Nutzung umfassen.
- Multidisziplinäre Zusammenarbeit wird zu einer regulatorischen Erwartung – Human Factors, KI-Entwickler und klinische Teams müssen zusammenarbeiten, um sicherzustellen, dass der intended use mit einer hohen Usability in realen Situationen erreicht wird.
Prinzip 2 – Good software engineering, medical device design, and security practices are implemented:
Implikationen für die Usability:
- Die Usability wird explizit als grundlegende Anforderung genannt – die Regulierungsbehörden erwarten, dass die Usability dokumentiert und in die Entwicklung von KI-Anwendungen integriert wird.
- Cybersicherheit im Zusammenhang mit Benutzerfreundlichkeit rückt stärker in den Fokus – Mechanismen zur Fehlervermeidung wie intuitive Authentifizierung, Warnmeldungsdesign und Fallbackstrategien gewinnen an Bedeutung.
- Die Post-Market-Surveillance von KI-basierten Medizinprodukten setzt einen Fokus auf die Usability. Hersteller müssen nachverfolgen, wie Nutzende mit KI interagieren, wenn Software-Updates oder Modeländerungen stattfinden, um sicherzustellen, dass eine hohe Usability erhalten bleibt.
Prinzip 7 – Performance is assessed with a focus on the human-AI team in the intended use environment:
Implikationen für die Usability:
- Die Validierung der Usability verlagert sich vom UI-Design auf die Kollaboration zwischen Mensch und KI. Regulierungsbehörden erwarten zukünftig von Herstellern, dass sie bewerten, wie gut Nutzende KI-Ergebnisse in realen Arbeitsabläufen verstehen und mit ihnen interagieren.
- Neue Usability-Metriken werden erforderlich. Neben den traditionellen Effektivitäts- und Effizienzmetriken muss nun auch das Vertrauen in KI-Entscheidungen, die Interpretierbarkeit von Modellergebnissen und die Effizienz der Entscheidungsfindung zwischen Mensch und KI berücksichtigt werden.
- Fehlervermeidungsstrategien müssen auf ihre Usability getestet werden – der Fokus der Regulierungsbehörden erstreckt sich über die KI-Genauigkeit hinaus darauf, wie Nutzende Fehler beheben und wie KI-Designs Automatisierungsmüdigkeit und übermäßiges Vertrauen minimieren.
- „User error“ vs. „use error“ – eine Inkonsistenz? In dem Draft taucht der Begriff „user error“ auf, während sich die etablierte Terminologie normalerweise auf „use error“ bezieht (ein Fehler, der aufgrund des Systemdesigns und nicht aufgrund von Benutzerfehlern auftritt). Wenn diese Formulierung beabsichtigt ist, könnte sie eine Verlagerung des regulatorischen Schwerpunkts von der Systemgestaltung allein auf die Verantwortung der Nutzer bedeuten. Vermutlich handelt es sich jedoch eher um ein Versehen und eine Klarstellung in der endgültigen Fassung könnte erforderlich sein.
Prinzip 9 – Users are provided clear, essential information:
Implikationen für die Usability:
- Der geforderte Fokus auf die Selbstbeschreibungsfähigkeit von KI erfordert einen hohen Anspruch an die Usability/UX: Hersteller müssen sicherstellen, dass KI-generierte Ergebnisse intuitiv, klinisch relevant und für eine klare Entscheidungsfindung strukturiert sind.
- Schlecht konzipierte KI-Ausgaben könnten als Usability-Fehler eingestuft werden, was zu einer Ablehnung durch die Regulierungsbehörden oder zu höheren Compliance-Hürden führen könnte.
- KI-Updates müssen den Benutzern effektiv kommuniziert werden. Damit geht die Bewertung der Usability erneut über das initiale Training hinaus. Nutzende müssen verstehen, wie sich KI-Modelle weiterentwickeln und welche Auswirkungen das auf ihren Arbeitsablauf haben kann.
Diskussion: Usability als zentrales Element der KI-Regulierung
Ein wesentlicher Teil ist die starke Betonung der Mensch-KI-Zusammenarbeit. Usability-Bewertungen werden daher voraussichtlich über das User Interface hinausgehen und untersuchen müssen, wie Nutzende KI-Outputs interpretieren, Vertrauen in KI-gestützte Entscheidungen aufbauen und mit Fehlern umgehen. Die Regulierungsbehörden betonen zudem die Selbstbeschreibungsfähigkeit von KI als eine zentrale Anforderung. Das bedeutet, dass unklare oder zu komplexe KI-Ausgaben ein regulatorisches Risiko darstellen könnten.
Da es sich noch um einen Entwurf handelt, können sich die endgültigen regulatorischen Anforderungen ändern bzw. weiterentwickeln. Dennoch sollten Unternehmen, die KI-basierte Medizinprodukte entwickeln, bereits jetzt mit der Umsetzung dieser Prinzipien beginnen, um zukünftige Compliance-Herausforderungen zu vermeiden.
Wie geht es weiter?
-
📩 Melden Sie sich für unseren Newsletter an, um eine Benachrichtigung zu erhalten, sobald ein neuer Teil erscheint.
-
🤝 Brauchen Sie Unterstützung bei der Integration von Usability oder User Interface Design in Ihr (KI-basiertes) Medizinprodukt? Kontaktieren Sie uns – wir helfen Ihnen gerne weiter!
