Ob Sie auf eine Summative Evaluation gemäß IEC 62366-1 (für die MDR in Europa) oder einen Human Factors Validation Test nach den Anforderungen der FDA hinarbeiten – der Weg dorthin ist komplex. Und er beginnt früher, als viele denken.
Immer wieder treffen wir in Projekten auf Teams, die erst spät im Entwicklungsprozess bemerken: „Wir brauchen doch noch eine Usability-Validierung!“ Was folgt, ist oft Hektik, Koordinationschaos und das Risiko, dass regulatorische Anforderungen nicht erfüllt werden.
Dabei gibt es typische Warnzeichen, die früh erkennen lassen: Unsere Planung läuft aus dem Ruder.
Hier sind fünf dieser Anzeichen – und was Sie tun können, um gegenzusteuern.
1. Es gibt keine durchdachte Zeitplanung für die Validierung
Klingt banal, ist aber leider Alltag: Die Usability-Validierung wird im Projektplan irgendwo zwischen „Verifikation“ und „Einreichung“ eingezeichnet – ohne klare Abhängigkeiten und im schlimmsten Fall ohne klare Verantwortlichkeiten.
Dabei ist eine strukturierte Zeitplanung entscheidend. Die Verfügbarkeit des testfähigen Produkts inkl. IFU und Training, die Rekrutierung, interne Abstimmungen, Freigaben: All das braucht Vorlauf. Auch fehlen regelmäßig Zeiten für die Durchführung der Residual Risk Analysis. Dabei gibt es kaum eine summative Evaluation oder eine Human Factors Validation, die ganz ohne Use Errors zu Ende geht.
Unser Tipp: Beziehen Sie die Summative Evaluation / Human Factors Validation früh in Ihre Meilensteinplanung ein – und legen Sie klare Verantwortlichkeiten fest.
2. Die Dokumentation ist nicht aktuell – besonders die use-related risks
Sowohl MDR als auch FDA erwarten, dass die Inhalte der Usability-Validierung aus der Risikoanalyse abgeleitet sind. Ohne definierte hazard-related use scenarios oder einer dedizierten use-related risk analysis (URRA) fehlt Ihrem Test die Basis – und im schlimmsten Fall wird er von Behörden nicht anerkannt.
Das bedeutet: Ihre Risikoanalyse muss aktuell, nachvollziehbar und inhaltlich abgestimmt auf das geplante Testprotokoll sein. Wer das erst kurz vor dem Test realisiert, steht enorm unter Zeitdruck – vor allem, weil meist mehrere Personen / Abteilungen beteiligt sind.
Unser Tipp: Halten Sie Risikoanalyse, Use Specification und geplante Aufgaben für den Test von Anfang an synchron. Planen Sie alternativ für die Aktualisierung ausreichend Zeit ein.
3. Die Rekrutierung ist nicht als Priorität eingeplant
Teilnehmende für Usability-Studien zu rekrutieren, ist meist zeitkritischer als gedacht – vor allem bei Produkten für Healthcare Professionals. Wer sich erst nach der Freigabe des Testprotokolls Gedanken über die Rekrutierungskanäle und das Screening macht, verliert oft Wochen. Im schlimmsten Fall muss eine geplante Studie – mit gemieteten Räumen etc. verschoben werden.
In den USA und Europa kann zusätzlich ein Ethikvotum notwendig sein, wenn durch die Studie die Gefahr besteht, dass Teilnehmende gefährdet werden. Auch das muss vorbereitet und eingereicht werden. Anschließend beginnt die Wartezeit und ggf. eine Korrektur. Das dauert zusätzlich.
Unser Tipp: Planen Sie die Rekrutierung nicht als letzten Schritt – sondern als eine der ersten operativen Aufgaben bei Usability-Studien (unabhängig ob formativ oder für die Validierung).
4. Der Produkt-Release ist fix – aber das testfähige Produkt ist noch nicht bereit
„Wir releasen im Oktober – die Usability-Validierung machen wir im August.“ Klingt gut. Funktioniert aber nur, wenn zu diesem Zeitpunkt das fertige Produkt (product-equivalent device) inkl. der IFU sowie ggf. der Trainings verfügbar ist.
In der Realität verzögert sich die Produktentwicklung regelmäßig – und damit auch die Bereitstellung eines validierbaren Produkts. Vor allem bei Embedded Devices müssen viele verschiedene Bestandteile gleichzeitig fertig sein, dass hier extrem viel schiefgehen kann. Uns begegnet ebenfalls häufig eine schnell zusammengeschriebene schlechte IFU. Das führt eigentlich immer zum gleichen Ergebnis: die Teilnehmenden kommen nicht zurecht und die Validierungsstudie muss erneut durchgeführt werden.
Unser Tipp: Stimmen Sie die Produktentwicklung, das IFU-Design, die Trainingsgestaltung und den Zeitplan für die Validierung eng aufeinander ab – und bauen Sie Puffer ein.
5. Es ist kein abschließender Testlauf (Dry Run) geplant
Besonders dann, wenn formative Tests gefehlt haben oder das Design zuletzt stark verändert wurde, ist ein Dry Run oder eine „Pre-Summative“ extrem hilfreich.
Dabei werden die geplanten hazard-related use Scenarios mit Teilnehmenden aus den verschiedenen Zielgruppen inkl. Training quasi als Generalprobe durchgeführt. So können Fehlerquellen vor der tatsächlichen Validierungsstudie erkannt und beseitigt werden.
Ein fehlender Dry Run erhöht das Risiko, dass die Validierung fehlschlägt oder Daten nicht verwertbar sind.
Unser Tipp: Planen Sie bewusst einen Probelauf ein – es ist oft die letzte Chance zur Korrektur, bevor es ernst wird.
Fazit: Früh planen statt später scheitern
Eine erfolgreiche Summative Evaluation oder Human Factors Validation ist kein Zufall – sie ist das Ergebnis guter Vorbereitung. Wenn Sie eines oder mehrere dieser Anzeichen bei sich erkennen, ist jetzt der richtige Zeitpunkt, gegenzusteuern.
Um Ihnen hier tiefergehende Informationen bereitstellen zu können, haben wir ein Webinar entwickelt:
„Your Perfect Timeline for Summative Evaluations & Human Factors Validation Testings“
In dieser kompakten Session erfahren Sie, worauf Sie in der Zeitplanung für die Summative Evaluation / Human Factors Validation achten sollten. Zusätzlich zeigen wir Ihnen typische Zeitdauern, die wir für die einzelnen Phasen der Planung und Durchführung ansetzen.
