Eine erfolgreiche Durchführung der Human Factors Validation, auch bekannt als Human Factors Validation Study, ist für die meisten Medizinprodukte ein unverzichtbarer Schritt auf dem Weg zur Zulassung gemäß den Richtlinien der FDA (U.S. Food and Drug Administration).
Um sicherzustellen, dass dieser Prozess reibungslos verläuft, ist es ratsam, sich frühzeitig mit allen notwendigen Bestandteilen vertraut zu machen.
Im ersten Teil dieser Artikelreihe haben wir bereits ausführlich das Guidance Dokument „Applying Human Factors and Usability Engineering to Medical Devices“ der FDA besprochen und wertvolle Hinweise geliefert.
Sie befinden sich nun im zweiten Teil unserer Artikelreihe, in dem wir die Schlüsselaspekte der Human Factors Validation detailliert zusammenfassen.
Falls Sie den ersten Teil noch nicht gelesen haben, empfehlen wir Ihnen, dies zu tun, um ein umfassendes Verständnis des Themas zu erlangen. Sie finden den Artikel unter diesem Link.
Wir wünschen Ihnen eine informative Lektüre!
Und wie setzen Sie alles um? Hilfestellung: Applying Human Factors
Um die Anforderungen der FDA gezielt umsetzen zu können, liefert diese immer wieder Guidance Dokumente, die wichtige Hilfestellung leisten und ein besseres Verständnis dafür schaffen, wie die Umsetzung gelingt.
Eine besonders wichtige Hilfestellung ist „Applying Human Factors and Usability Engineering to Medical Devices”. In Kapitel 8 finden Sie alle Anmerkungen zum Human Factors Validation Testing.
Im Folgenden haben wir Ihnen die weiteren Inhalte zusammengefasst. Die Inhalte aus Kapitel 8.1 bis 8.1.4 finden Sie im ersten Artikel dieser Reihe. Hier beginnen wir mit Kapitel 8.1.5 des Guidance Dokuments: Der Datenerhebung.
Datenerhebung:
In der Human Factors Validierungs-Testung sollten sowohl beobachtbare Daten als auch Wissen und subjektive Erfahrungen der Testteilnehmer erfasst werden.
Beobachtbare Daten: Diese umfassen die Leistung der Teilnehmer bei kritischen Aufgaben und Szenarien, eventuell auftretende Nutzungsfelder und -fehler sowie „Beinahe-Unfälle“, bei denen Teilnehmer beinahe Fehler gemacht hätten, diese aber rechtzeitig korrigieren konnten. Diese Daten werden während des Tests aufgenommen und später in Interviews mit den Teilnehmern besprochen.
Wissensaufgaben-Daten: Da nicht alle kritischen Aufgaben durch Beobachtung bewertet werden können (zum Beispiel das Verständnis von Kontraindikationen oder Warnhinweisen), sollten diese durch Befragung der Teilnehmer erfasst werden. Die Fragen sollten offen und neutral formuliert sein.
Interview-Daten: Nach der Testdurchführung sollten Interviews mit den Teilnehmern geführt werden, um ihre subjektiven Einschätzungen und Perspektiven zu erfassen. Diese können Aufschluss über Nutzungsschwierigkeiten, Verständnisprobleme und andere relevante Aspekte geben, die während des Tests nicht offensichtlich waren. Die Fragen sollten offen und neutral formuliert sein und sowohl allgemeine Eindrücke als auch spezifische Erfahrungen zu den kritischen Aufgaben oder Szenarien abdecken.
Zusammengefasst sollte die Datensammlung im Human Factors Validation Test sowohl Beobachtungen der Teilnehmerleistung als auch direkte Befragungen und Interviews umfassen, um ein umfassendes Bild von der Benutzerfreundlichkeit und Sicherheit des Geräts zu erhalten.
(Source: Applying Human Factors and Usability Engineering to Medical Devices, Kapitel 8.1.5)
Auswertung der Daten:
Die Analyse der Resultate aus den Human Factors Validierungstests sollte qualitativ erfolgen, um zu evaluieren, ob Anpassungen im Gerätedesign, der Kennzeichnung oder der Nutzerschulung notwendig sind, um die Risiken, die mit der Nutzung des Geräts verbunden sind, auf ein akzeptables Maß zu reduzieren.
Hierfür ist es erforderlich, die während des Tests gesammelten Beobachtungs- und Wissensdaten zusammen mit den Interviewdaten zu bündeln und gründlich auszuwerten. Ziel ist es, die Wurzeln für aufgetretene Nutzungsfehler oder Schwierigkeiten zu identifizieren.
Die erkannten Ursachen müssen anschließend im Hinblick auf die verbundenen Risiken analysiert werden, um das Potenzial für mögliche Schäden zu bestimmen und die Dringlichkeit weiterer Risikomanagement-Maßnahmen festzulegen.
Abhängig vom Umfang der umgesetzten Risikomanagementstrategien könnte eine Wiederholung der Tests erforderlich sein. Bereiche der Benutzeroberfläche, die zu Nutzungsfehlern oder kritischen Problemen geführt haben, sollten durch gezielte Risikomanagementmaßnahmen adressiert werden.
Hierbei kann es hilfreich sein, zusätzliche vorläufige Analysen und Bewertungen durchzuführen, um die Modifikationen zu verfeinern und abzuschließen.
Danach sollte ein weiterer Human Factors Validierungstest für die angepassten Elemente der Benutzeroberfläche erfolgen, um den Erfolg der Risikomanagementmaßnahmen bei der Risikoreduktion zu überprüfen und sicherzustellen, dass keine neuen unakzeptablen Risiken entstanden sind.
(Source: Applying Human Factors and Usability Engineering to Medical Devices, Kapitel 8.1.6)
Bewertung des Restrisikos:
Ein Restrisiko bleibt bei jedem Gerät bestehen, auch bei optimal gestaltetem User Interface. Nach der Human Factors Validierung müssen alle verbleibenden Risiken genau analysiert werden, um zu prüfen, ob sie minimiert oder beseitigt werden können.
Echte Restrisiken sind solche, die nicht mehr praktikabel reduziert oder eliminiert werden können. Ergebnisse, die ernsthafte Nutzungssfehler aufzeigen, sind in Vor-Markt-Einreichungen nur dann akzeptabel, wenn nachgewiesen wird, dass eine weitere Reduktion nicht möglich ist und die Vorteile des Geräts die verbleibenden Risiken überwiegen.
Die Analyse sollte klären, wie die Fehler oder Probleme in Verbindung mit der Benutzeroberfläche entstanden sind und ob Designänderungen möglich und wirksam wären.
Schwere Nutzungsfehler und Probleme mit hohem Restrisiko müssen im Human Factors Validierungsbericht beschrieben werden.
Planungen, bekannte Designmängel in zukünftigen Geräteversionen zu beheben, sind nicht akzeptabel. Das Auffinden schwerwiegender Fehler könnte zudem auf eine unzureichende Analyse und Modifikation der Benutzeroberfläche während der Entwicklungsphase hindeuten.
(Source: Applying Human Factors and Usability Engineering to Medical Devices, Kapitel 8.1.7)
Human Factors Validation Testing für Medizinprodukte, die bereits auf dem Markt sind, aber angepasst wurden
Bei der Überprüfung von Human Factors bei modifizierten, bereits auf dem Markt befindlichen Geräten, muss die Risikoanalyse alle veränderten Aspekte des Geräts und alle davon betroffenen Elemente umfassen, einschließlich der Benutzerinteraktionen, die direkt oder indirekt durch die Änderungen beeinflusst wurden.
Je nach den Ergebnissen der Risikoanalyse kann eine zusätzliche Human Factors Validierung notwendig sein. Dabei sollten sich die Tests auf gefährliche Nutzungsszenarien und kritische Aufgaben konzentrieren, können aber auf die durch die Designänderungen beeinflussten Bereiche beschränkt sein.
Wenn ein Gerät als Reaktion auf nutzungsbezogene Probleme modifiziert wird, sollte die Human Factors Validierung das überarbeitete Design bewerten und dabei auch direkt die Nutzer nach ihrem Vergleich des neuen mit dem alten Design fragen. Dies dient dazu, die Effektivität der Änderungen besser beurteilen zu können und weitere potenzielle Schwierigkeiten oder notwendige Modifikationen zu identifizieren.
Effektiver ist die Bewertung jedoch, wenn sie auch direkt den Vergleich des Benutzers zwischen dem modifizierten und dem vorherigen Design einbezieht. Die Testleiter sollten die bekannten Probleme erklären und dann dem Teilnehmer sowohl die vorherige als auch die neue oder modifizierte Version der Benutzeroberfläche zeigen.
Anschließend sollten die Teilnehmer Fragen wie die folgenden beantworten:
- „Glauben Sie, dass das neue Design besser ist als das alte? Bitte erzählen Sie mir, inwiefern das neue [besser/schlechter] ist als das alte.“
- „Wie effektiv glauben Sie, werden diese Änderungen sein, um das Auftreten des Benutzungsfehlers zu verhindern? Bitte erzählen Sie mir, warum Sie denken, dass es [funktionieren/nicht funktionieren] wird.“
- „Könnten diese Änderungen irgendwelche anderen Benutzungsschwierigkeiten verursachen? Welche Arten von Schwierigkeiten?“
- „Sind diese Änderungen ausreichend oder ist weitere Modifikation nötig? Wie sollte es modifiziert werden?“
(Source: Applying Human Factors and Usability Engineering to Medical Devices, Kapitel 8.2)
Testing durch echte Nutzung:
Tests durch die echte Nutzung sind für Geräte notwendig, deren Nutzung oder Umgebung besonders komplex ist und die nicht vollständig in simulierten Tests abgebildet werden können. Beispiele sind Prothesen oder Programmiergeräte für Hörhilfen.
Solche Tests sollten auf vorherige simulierten Nutzungstests folgen, um eine grundlegende Sicherheit und korrekte Gestaltung des Geräts sicherzustellen. Sie folgen den gleichen Richtlinien wie simulierten Human-Factors-Tests, benötigen jedoch möglicherweise eine Investigational Device Exemption (IDE), wenn sie für die Sicherheits- und Wirksamkeitsbewertung des Geräts benötigt werden. Wie das im Detail aussieht, erfahren Sie auf der Seite der FDA selbst.
Auch hier gilt: Die Testteilnehmer und -umgebungen sollten repräsentativ sein, und die Tests sollten so durchgeführt werden, dass sie die Interaktion der Benutzer mit dem Gerät so wenig wie möglich beeinflussen.
Tests durch eine echte Nutzung können auch Teil klinischer Studien sein, aber die Bedingungen und Überwachungsniveaus in solchen Studien können sich von denen im realen Gebrauch unterscheiden.
Selbstberichte der Benutzer sollten, wenn möglich, durch Beobachtungsdaten ergänzt werden, um ein vollständiges Bild der Gerätenutzung zu erhalten. Absprachen mit internen Ethikkomitees sind notwendig, um spezifische Sicherheits- und Datenschutzmaßnahmen für die Testteilnehmer festzulegen.
(Source: Applying Human Factors and Usability Engineering to Medical Devices, Kapitel 8.3)
Die richtige Dokumentation Ihrer Human Factors Validation:
Was in eine vollständige Dokumentation gehört, wie diese von der FDA geprüft wird und wie Sie die Anforderungen an die Dokumentation Ihres Human Factors Engineerings effizient erfüllen, erfahren Sie in unserem Artikel „Deep Dive: Human Factors Report“.
Fazit
Wir fassen zusammen:
Die sorgfältige Sammlung von beobachtbaren Daten, Wissensaufgaben-Daten sowie Interview-Daten ermöglicht ein tiefgreifendes Verständnis der Benutzerinteraktion und der damit verbundenen Risiken.
Die qualitative Analyse dieser Daten ist entscheidend, um notwendige Anpassungen im Design, der Kennzeichnung oder der Nutzerschulung vorzunehmen und die Risiken auf ein akzeptables Maß zu reduzieren.
Bei Geräten, die bereits auf dem Markt sind, aber modifiziert wurden, ist eine erneute Risikoanalyse und gegebenenfalls eine weitere Human Factors Validation erforderlich, wobei die durch die Designänderungen beeinflussten Bereiche im Fokus stehen sollten.
Tests durch echte Nutzung sind in besonders komplexen Anwendungsbereichen notwendig und sollten auf vorherige simulierte Tests folgen. Eine korrekte und umfassende Dokumentation aller durchgeführten Tests und Analysen ist unerlässlich, da sie für die FDA-Prüfung von zentraler Bedeutung ist.
Sie brauchen Hilfe bei der Planung, Durchführung und Dokumentation Ihrer Human Factors Validation? Melden Sie sich gerne über unser Kontaktformular. Wir freuen uns auf Sie.
