Sie sind verantwortlich für die Zulassung eines Medizinprodukts? Dann müssen Sie nachweisen, dass Ihr Produkt ohne inakzeptable Risiken verwendet werden kann. In vielen Fällen passiert dieser Nachweis durch eine summative Evaluation (EU) bzw. eine Human Factors Validation (USA).
Doch wie bereitet man sich bestmöglich darauf vor? Genau darum geht es in diesem Artikel. Wir erklären Ihnen die einzelnen Punkte der Vorbereitung ausführlich. Zusätzlich finden Sie am Ende des Artikels eine kompakte Checkliste zum Download. So können Sie sicherstellen, dass Sie auch im Alltag nichts vergessen.
Bevor wir richtig loslegen, möchten wir aber eine der wichtigsten Fragen beantworten.
Sind Sie überhaupt bereit für eine summative Evaluation / Human Factors Validation?
Wir erleben es in der Praxis immer wieder: der Zeitplan ruft nach der summativen Evaluation oder Human Factors Validation zur Usability-Validierung, aber das Produkt ist nicht bereit. Die Folgen sind Stress bei allen Beteiligten und oftmals die Entscheidung, die Studie trotzdem durchzuführen. Für gewöhnlich schlägt diese fehl und damit gehen ungeplante Kosten und noch mehr Zeitverzug einher.
Was muss also passiert sein, damit die summative Evaluation / Human Factors Validation durchgeführt werden kann? Hier sind die wichtigsten Punkte:
- Sie sollten mindestens eine, besser mehrere formative Nutzerstudien durchgeführt haben. Vor allem für Neuentwicklungen gilt: Die Validierungsstudie scheitert in der Praxis immer wieder an einem schlechten User Interface. Nutzende machen damit Fehler, die das Entwicklungsteam nicht für möglich gehalten hat. Testen Sie daher formativ mit den vorgesehenen Nutzergruppen.
- Sie sollten auch die Instructions for Use (IFU), die Labels sowie das Training formativ mit Nutzenden getestet haben. Auch hier kommt es in der Praxis immer wieder zu Problemen. Wir haben es schon unzählige Male erlebt, dass Nutzende an der der IFU verzweifeln oder die Trainings nicht verstehen. Stellen Sie sicher, dass Sie hier ebenfalls formativ mit den Nutzergruppen testen und verbessern.
- Sie haben formativ mit den richtigen Nutzergruppen getestet. Wir haben es bereits in den beiden vorherigen Punkten integriert, aber hier noch mal explizit. Durch die Fähigkeiten und Einschränkungen Ihrer Zielgruppen entstehen in der Praxis oft nutzungsbezogene Risiken. Diese zeigen sich oft in einer formativen Studie und können so kontrolliert werden.
- Sie sollten alle formativen Studien auf der Use-Related Risk Analysis (URRA) aufgebaut haben. Die URRA ist in den USA (FDA) sowieso erforderlich. Wir empfehlen sie aber auch für die EU. Wenn Sie die URRA auch bereits für die formativen Studien genutzt haben, dann haben Sie Ihr Produkt bestmöglich auf die summative Evaluation / Human Factors Validation vorbereitet.
Sie merken es, wir halten formative Nutzerstudien für äußert wichtig. Um es noch einmal anders zu sagen: wir haben noch kein Produkt erlebt, das ohne vorherige formative Studie die Validierungsstudie erfolgreich abgeschlossen hat.
Sie haben alle Punkte oben abgehakt? Perfekt! Dann sind Sie jetzt bereit für die eigentliche Vorbereitung.
Planen Sie die Validierungsstudie für den richtigen Markt?
Die Prozesse für die summative Evaluation (EU) sowie die Human Factors Validation (USA) sind sehr ähnlich. Es gibt aber auch Unterschiede. Ein Beispiel ist, dass Sie für die FDA eine formative Evaluation nachweisen müssen (das muss allerdings keine Nutzerstudie sein). Für die EU gilt das nicht.
Auch für die Durchführung der Usability-Validierungsstudie gibt es unterschiedliche Regeln. Daher ist es wichtig, sich über die geplante Zulassungsstrategie zu informieren – und darauf aufbauend die richtige Studie zu planen:
- Möchten Sie Ihr Produkt erstmal nur in den USA zulassen, dann fordert die FDA die Durchführung der Human Factors Validation mit Teilnehmenden, die in den USA leben. Theoretisch gibt es Ausnahmefälle, praktisch ist eine Studie in den USA oft die beste Lösung.
- Möchten Sie erstmal nur in der EU zulassen, dann gibt es keine entsprechende Forderung. Hier ist unsere Empfehlung in der EU zu testen, da die oft Kosten deutlich niedriger sind als in den USA. Auch Testungen in anderen Ländern sind theoretisch zulässig, hier kann es aber zu Diskussionen bezüglich der Vergleichbarkeit kommen.
- Wenn Sie eine Doppelzulassung nach MDR und FDA anstreben, dann empfiehlt es sich, die Validierungsstudie direkt in den USA durchzuführen und die Studie für die EU zu nutzen. Andersrum funktioniert das meist nicht.
Gibt es spezielle Guidance-Dokumente für Ihr Produkt?
Für Produkte, die nach MDR zugelassen werden sollen, können MDCG-Guidance-Dokumente zusätzliche Hinweise für die Planung und Durchführung der Validierungsstudie enthalten. Diese Leitlinien konkretisieren bestimmte Anforderungen der Verordnung – etwa bei Produkttypen oder Risikoklassen. Eine Liste aller erschienenen MDCG Guidance Dokumente finden Sie hier.
Für Produkte, die unter FDA-Regularien fallen, sind stattdessen die Human Factors Guidance und ggf. weitere spezifische FDA-Dokumente maßgeblich. Ein guter Startpunkt für die Recherche finden Sie hier. Je nach Produkt können die Anforderungen an die Human Factors Validation Studie deutlich umfangreicher werden oder andersrum keine Validierungsstudie erforderlich sein.
Prüfen Sie daher frühzeitig, welche Leitlinien für Ihren Fall zutreffen, und integrieren Sie deren Anforderungen in Ihre Vorbereitung.
Haben Sie alle risikobezogenen Faktoren Ihres Produkts definiert?
Bevor Sie mit der summativen Evaluation oder der Human Factors Validation starten, sollten alle sicherheitsrelevanten Aspekte Ihres Produkts dokumentiert und überprüft sein. Dazu zählen insbesondere:
- die vollständige Use Specification einschließlich der vorgesehenen Nutzergruppen
- alle User Interface-Merkmale, die sicherheitsrelevant sind
- eine strukturierte Liste potenzieller Use Errors
- die Definition der Hazard-Related Use Scenarios (EU) / der kritischen Aufgaben (Critical Tasks, USA)
Die Hazard-Related Use Scenarios bzw. die critical Tasks bilden dabei genau die sicherheitskritischen Situationen, die Sie in der Validierungsstudie testen müssen. In den USA basiert die Identifikation der critical Tasks auf der verpflichtenden Use-Related Risk Analysis (URRA). In der EU ist eine URRA nicht vorgeschrieben, aber wird von uns stark empfohlen.
Für die MDR-Zulassung (EU) sollten Sie im Hinterkopf behalten, dass die summative Evaluation auch eine Möglichkeit ist, weitere Risk Mitigations zu validieren, bei denen Sie die IFU oder das Labeling als risikominimierende Maßnahme benannt haben. Auch diese müssen entsprechend in die Validierungsstudie integriert werden.
Liegt ihr Produkt inkl. IFU, Labelings und Schulung/Training in der finalen Form vor?
Für die summative Evaluation / Human Factors Validation müssen das Produkt inkl. der IFU und den Labels in der finalen Form vorliegen. Risikorelevante Änderungen sind dann – ohne ein erneutes Durchführen der Validierung – nicht mehr möglich. Man spricht man hierbei vom „Product Equivalent Device“ bzw. der Nullserie.
Auch die Schulung / das Training, wenn vorhanden, sollte die finale Form haben. Für die Validierungsstudie dürfen Sie beides aber auch weglassen, nicht aber ausführlicher gestalten, als dies im späteren Einsatz der Fall wäre.
Ist Ihre Testumgebung geeignet und bereit?
Für eine belastbare summative Evaluation bzw. Human Factors Validation ist eine realitätsnahe Testumgebung entscheidend. Wie diese konkret aussieht, hängt stark von Ihrem Produkt und den vorgesehenen Nutzungsbedingungen ab.
Denken Sie insbesondere an folgende Punkte:
- Equipment: Neben ihrem Product Equivalent Device inkl. Verpackung, Anleitungen, Schulungen/Trainings und Labeling müssen auch alle weiteren (Verbrauchs-)Materialien, Geräte und ggf. Test-Dummies vorhanden und einsatzbereit sein, die für die realitätsnahe Simulation erforderlich sind.
- Realistische räumliche Umgebung: Es müssen typische Bedingungen der realen Nutzung abgebildet werden – etwa Lichtverhältnisse, Lärmpegel, Stressfaktoren oder ergonomische Anforderungen. Welche Umgebungsbedingungen genau Sie abbilden müssen hängt auch mit Ihrer Risikobetrachtung zusammen, so dass hier eine sorgsame Abwägung wichtig ist.
- Technik zur Aufzeichnung: Kameras, Mikrofone, Speichermedien sowie ggf. Streaming-Infrastruktur müssen verfügbar, getestet und gut positioniert sein, um den Testverlauf vollständig zu dokumentieren. Die Aufnahme ist keine Forderung, macht die Durchführung für die Moderatoren der Tests jedoch deutlich einfacher und Probleme später leichter nachvollziehbar.
- Weitere Räume für Beobachter / Training etc: Idealerweise gibt es separate Räume oder Bereiche z.B. für die Beobachtung, die Testvorbereitung oder das Training. Ob weitere Räume benötigt werden hängt jedoch davon ab, ob Zuschauer beim Tests dabei sein möchten und ob ein Training notwendig ist.
Rekrutierung Teil 1: Entsprechen die Teilnehmenden Ihrer vorgesehenen Zielgruppen?
Die Teilnehmenden Ihrer summativen Evaluation bzw. Human Factors Validation müssen genau zu den Intended User Groups passen, die Sie zuvor in Ihrer Use Specification definiert haben. Nur dann sind die Ergebnisse der Validierungsstudie methodisch belastbar und regulatorisch sicher verwendbar.
Ein detaillierter Leitfaden („Screener“) hilft dabei, potenzielle Teilnehmende im Vorfeld gezielt auszuwählen – z. B. anhand von Beruf, Erfahrung, klinischem Setting oder individuellen Fähigkeiten. Achten Sie dabei auch auf eine repräsentative Verteilung der Teilnehmenden – etwa im Hinblick auf Alter, Geschlecht, Erfahrung oder andere relevante Merkmale.
Rekrutierung Teil 2: Planen Sie die Durchführung mit ausreichend Teilnehmenden?
Die Anzahl der Teilnehmenden ist ein zentraler Faktor für die regulatorische Akzeptanz Ihrer summativen Evaluation bzw. Human Factors Validation. Sie stellt sicher, dass die Ergebnisse aussagekräftig, belastbar und nachvollziehbar sind.
Für eine Summative Evaluation im Rahmen der MDR gilt in der Praxis häufig die Faustregel: Mindestens 15 Teilnehmende insgesamt – aufgeteilt auf alle relevanten Nutzergruppen.
Diese Zahl kann je nach Komplexität des Produkts, Anzahl der Nutzergruppen oder Risikoklasse nach oben oder unten angepasst werden. In Einzelfällen kann also auch eine kleinere Gruppe gerechtfertigt sein – wenn die Argumentation entsprechend stichhaltig dokumentiert ist.
Für eine Human Factors Validation nach FDA-Guidance sind die Anforderungen strenger: mindestens 15 Teilnehmende pro Nutzergruppe. Das bedeutet, dass Sie bei zwei Nutzergruppen mit mindestens 30 Personen testen müssen. Was eine Nutzergruppe ist, hängt dabei stark von den Charakteristiken der Personen und deren Aufgaben ab. So kann bei Produkten, die für Laien gedacht sind, auch eine sehr granuläre Aufteilung gefordert sein nach verschiedenen Altersgruppen oder Vorerkrankungen. Im Zweifelsfall empfehlen wir Ihnen eine FDA-Pre-Submission durchzuführen, bei der Sie die geplante Testung inklusive Nutzergruppen einmal vorab besprechen.
Beachten Sie auch, dass Sie mit Überrekrutierungen planen sollten um Ausfälle z.B. wegen Krankheit zu kompensieren. Wir rechnen mit ca. 20-30% Ausfall und rekrutieren entsprechend mehr Personen.
Haben Sie den Ablauf inkl. des Test Protocols und Moderationsleitfadens vorbereitet?
Eine summative Evaluation / Human Factors Validation sollte einem festen Ablauf folgen. Typischerweise ist festgelegt, wer was wann macht und welche Materialien dafür auf welche Art zur Verfügung gestellt werden. Das Ziel ist klar: alle Personen sollen den Ablauf auf die gleiche Art und Weise durchlaufen. All diese Punkte finden sich für gewöhnlich im Test Protocol wieder.
Zusätzlich sollten sogenannte knowledge Tasks integriert werden. Dabei handelt es sich um gezielte Verständnisfragen zu sicherheitsrelevanten Informationen aus der IFU, dem Label oder Warnhinweisen. Die FDA erwartet diese Aufgaben als festen Bestandteil der Human Factors Validation. In der MDR ist dies nicht ausdrücklich vorgeschrieben, kann aber genutzt werden, um Risk Mitigations zu validieren sowie um Verständnislücken aufzudecken und die spätere Einteilung und Ursachenanalyse von Use Errors zu unterstützen.
Um eine möglichst hohe Standardisierung zu erhalten fertigen wir zusätzlich einen Moderationsleitfaden an. Dieser enthält kleinteilige Anweisungen an den Moderator. Beispielsweise eine ausformulierte Aufgabe, die den Nutzenden vorgelesen wird. Wir dokumentieren in diesem Ablauf typischerweise auch weitere Punkte, die für den korrekten Ablauf wichtig sind. Beispielsweise das Unterschreiben einer Geheimhaltung- und Datenschutzvereinbarung.
Haben Sie – falls notwendig – die Nutzenden richtig geschult?
Wenn Ihr Produkt ein Training oder eine Schulung erfordert, sollte auch dieser Schritt realitätsnah in der summativen Evaluation bzw. Human Factors Validation abgebildet werden. Konkret bedeutet das, dass Sie auf die gleichen Materialien zurückgreifen, die auch nach der Zulassung vorhanden sind und die Nutzenden auf die gleiche Art und Weise vorbereitet werden. Wie bereits beschrieben dürfen Sie aber auch weniger schulen, nie jedoch mehr.
Ebenso wichtig ist der zeitliche Abstand zwischen Schulung und Anwendung. Nach einer Schulung vergessen Nutzerinnen und Nutzer erfahrungsgemäß einen Teil des Gelernten – dieser Effekt muss in der Studienplanung berücksichtigt werden.
Für MDR-konforme Studien gibt es hierzu keine festen Vorgaben, ein angemessener Abstand wird jedoch empfohlen. Die FDA hingegen erwartet explizit einen sogenannten „Decay Period“ – also einen realistischen Zeitraum zwischen Training und Anwendung, der sich am realen Nutzungskontext orientiert. Dieser Abstand kann je nach Produkt mehrere Stunden, einen Tag oder sogar mehrere Wochen betragen.
Werden Schulung und Anwendung in der Studie unmittelbar nacheinander durchgeführt, obwohl im Alltag ein längerer Zeitraum dazwischenliegt, ist das aus regulatorischer Sicht nicht zulässig – und gefährdet die Aussagekraft der gesamten Validierung.
Verfügen Sie über das richtige Personal für die Durchführung?
Für eine valide und regulatorisch anerkannte summative Evaluation bzw. Human Factors Validation ist entscheidend, dass das beteiligte Personal sowohl unabhängig als auch qualifiziert ist.
Die Durchführung darf nicht durch Personen erfolgen, die an der Entwicklung des Produkts beteiligt waren – weder direkt noch indirekt. Eine fehlende Trennung zwischen Entwicklung und Evaluation kann die Neutralität der Ergebnisse gefährden und zu Rückfragen durch Benannte Stellen oder die FDA führen.
Zudem muss das Moderationsteam fachlich geeignet sein. Die Studienleitung sollte über nachweisliche Erfahrung im Usability Engineering für Medizinprodukte verfügen und mit den Anforderungen aus IEC 62366-1 (EU) bzw. der Human Factors Guidance der FDA (USA) vertraut sein. Auch die Dokumentation und Analyse der Ergebnisse erfordert methodische Kompetenz.
Für MDR-Zulassungen ist zusätzlich eine „für die Einhaltung der Regulierungsvorschriften verantwortliche Person“ gemäß Artikel 15 MDR zu benennen. Diese trägt die Gesamtverantwortung für die Einhaltung regulatorischer Anforderungen – auch im Hinblick auf die Usability-Evaluation.
Haben Sie den richtigen Partner für die Durchführung gefunden?
Für die umfassende Bewertung der Usability Ihres Medizinprodukts empfiehlt sich die Zusammenarbeit mit einem spezialisierten Dienstleister. Ein kompetenter Partner unterstützt Sie bei der Planung, Durchführung und Auswertung der Studie, verfügt über das notwendige Equipment sowie geeignete Räumlichkeiten und kennt sowohl die Anforderungen nach IEC 62366-1 (EU) als auch die FDA-Vorgaben für die Human Factors Validation (USA).
Achten Sie darauf, dass der Partner Erfahrung mit den Zielmärkten hat. Case Studies und Testimonials helfen bei der Auswahl. Ein erstes Kennenlerngespräch gibt Ihnen Aufschluss über Arbeitsweise, Kommunikationsstil und die Passung zur eigenen Unternehmenskultur. Ein guter Partner kann Sie zudem dabei unterstützen, viele Punkte dieser Checkliste teilweise oder sogar vollständig umzusetzen.
Haben Sie einen Testlauf geplant, durchgeführt und den Ablauf ggf. angepasst?
Die Vorbereitung steht? Dann ist es Zeit für die Generalprobe. Dabei wird die Studie mit einer kleinen Anzahl von Teilnehmenden (meist 1–2 Personen) vollständig durchlaufen.
Dieser Testlauf dient dazu, Ablauffehler, Verständnisprobleme oder technische Schwierigkeiten frühzeitig zu erkennen – und ggf. vor der eigentlichen Testreihe noch Anpassungen vorzunehmen. Besonders kritisch sind dabei:
- Unklare Aufgabenstellungen oder fehlende Materialien
- Logistikfehler (z. B. falsche Reihenfolge, vergessene Formulare)
- Probleme bei Training, Einverständniserklärung oder Aufzeichnung
In der Praxis führen wir Testläufe ein bis zwei Tage vor Studienbeginn durch, um genug Zeit für eventuelle Korrekturen zu haben. Läuft der Test reibungslos, können diese ersten Teilnehmenden direkt in die reguläre Studie übernommen werden. Treten jedoch Unstimmigkeiten auf, bleibt genug Spielraum, um nachzusteuern.
Ein geplanter und dokumentierter Testlauf ist kein Pflichtbestandteil der Validierung, wird aber von uns dringend empfohlen – als letzte Absicherung vor dem Start.
Möchten Sie wissen, wann Sie welchen Schritt erledigen müssen?
In diesem Artikel haben Sie erfahren, worauf es bei der Vorbereitung einer summativen Evaluation bzw. Human Factors Validation ankommt. Eine große Herausforderung in der Praxis ist neben dem „Was“ oft auch das „Wann“:
- Wie planen Sie die Timeline – vom ersten Check der Dokumente bis zur Einreichung?
- Welche Schritte brauchen wie viel Zeit – inklusive Testvorbereitung, Recruiting, Durchführung, Analyse und Dokumentation?
- Was sind typische Engpässe in der Praxis und wie können sie vermieden werden?
Antworten auf genau diese Fragen erhalten Sie in unserem kompakten Webinar: Your Perfect Timeline for Summative Evaluations & Human Factors Validation Testings
Fazit & Download der Checkliste
Eine erfolgreiche summative Evaluation bzw. Human Factors Validation beginnt lange vor dem ersten Test – mit klaren Prozessen, vollständiger Dokumentation, realistischen Rahmenbedingungen und einem professionellen Team.
Diese Punkte dieses Artikels helfen Ihnen, alle entscheidenden Vorbereitungen systematisch zu durchlaufen – unabhängig davon, ob Sie eine Zulassung in der EU oder den USA anstreben. Für die tägliche Praxis haben wir den Artikel in eine kompakte Checkliste (engl.) überführt. Diese können Sie sich hier herunterladen.
Um direkt loszulegen, vereinbaren Sie ein Strategiegespräch mit unserem Team. Wir unterstützen Sie gerne auf dem Weg zur erfolgreichen Zulassung.
