Sie befinden sich bereits in der Planung Ihrer summativen Usability Evaluation nach IVDR und wollen sicherstellen, diese auch zielstrebig hinter sich zu bringen und das am besten ohne wichtige Schritte zu versäumen? Sie wollen einen Überblick über die Schritte, die Sie zur erfolgreichen Durchführung der summativen Evaluation für Ihr IVD laut IVDR brauchen?
Eventuell sehen Sie sich auch durch das Inkrafttreten der IVDR mit neuen Herausforderungen bezüglich der Herstellung Ihres IVDs konfrontiert und wollen das nun indirekt geforderte Usability Engineering mit der summativen Usability Evaluation zum ersten Mal abschließen. Dann sind Sie in diesem Artikel genau richtig, denn hier bekommen Sie nicht nur eine Checkliste zum Download, sondern auch wichtige Erläuterungen zu den einzelnen Unterpunkten in diesem Text.
Aber auch für Hersteller mit Erfahrung bei der abschließenden Usability Bewertung bietet dieser Artikel einen Mehrwert: Sie bekommen hier alle wichtigen Handlungen im Zuge der summativen Usability Evaluation nach IVDR auf einen Blick. So stellen Sie auch für zukünftige summative Evaluationen ein pragmatisches Vorgehen sicher.
In dieser Checkliste finden Sie alles, was Sie vor, während und nach der summativen Usability Evaluation nach IVDR beachten müssen. Wir haben Ihnen die einzelnen Punkte übersichtlich aufgestellt und jeden einzelnen erläutert. Am Ende dieses Beitrages finden Sie Ihr „Cheatsheet“, also die Checkliste in Reinform, ohne Erläuterungen zum Download. So können Sie sicherstellen, dass nichts vergessen geht.
1: Sie sind richtig vorbereitet?
Planen Sie den richtigen Prozess?
Entwickeln Sie ein neues Produkt für den Markt, müssen Sie den kompletten Usability Engineering Prozess nach IEC 62366-1 durchlaufen. Bei einem Bestandsprodukt (Legacy Produkt) können Sie einen stark verkürzten Prozess durchlaufen, der sich nur auf die Risikobewertung der Usability des Produkts bezieht. Der vereinfachte Prozess heißt: User Interface of Unknown Provenance. In diesem Artikel geht es uns allerdings um den Fall, der den ganzen Prozess voraussetzt.
Haben Sie den richtigen Partner für die Durchführung gefunden?
Die summative Usability Evaluation Ihres IVDs gehen Sie am besten mit einem Partner an, der Sie pragmatisch ans Ziel bringt und mit dem die Zusammenarbeit professionell und angenehm verläuft.
Achten Sie darauf, dass Ihr Partner das nötige Equipment und die nötigen Räumlichkeiten bereitstellen kann. Außerdem ist es besonders wichtig, dass er sich auf den Medical-Markt spezialisiert hat. Hier können Ihnen Case Studies und Testimonials Auskunft über die Spezialisierung des Dienstleisters und die Qualität der Dienstleistung geben.
Ein erstes Kennenlerngespräch kann Ihnen einen guten Eindruck darüber verschaffen, wie der jeweilige Partner vorgeht und ob es auch zwischenmenschlich passt.
Sie haben alle wichtigen Faktoren rund um Ihr IVD definiert?
Checken Sie an dieser Stelle auch, ob alle risikobezogenen Aspekte Ihres IVDs klar definiert und benannt wurden. Wenn Sie den gesamten Usability Engineering Prozess nach IEC 62366-1 bereits durchlaufen haben, haben Sie die folgenden Faktoren Ihres IVDs schon definiert. Besonders wichtig für die summative Evaluation nach IVDR sind:
- Die Use Specification inkl. der richtigen Nutzergruppen
- Alle Charakteristiken des User Interface, die mit dessen Sicherheit zusammenhängen
- Die Auflistung aller potenziellen Nutzungsfehler
- Sie haben die kritischen Aufgaben definiert.
- Wir empfehlen stark, eine Use-Related-Risk-Analyse durchzuführen. Hier kann es helfen, formative Usability-Testdurchläufe mit Ihrem IVD durchlaufen zu haben. Diese tragen nämlich dazu bei, weitere Use Errors und damit Hazard-Related Use Scenarios zu identifizieren!
Gibt es spezielle MDCG Guidance Dokumente für Ihr IVD?
MDCG Guidance Dokumente liefern Ihnen ganz klare Umsetzungsanforderungen für Ihr spezifisches IVD. Allen Tätigkeiten zur summativen Evaluation sollte also eine Recherche vorangehen, ob es ein auf Ihren Fall zutreffendes Guidance Dokument gibt. Eine Liste aller erschienenen MDCG Guidance Dokumente finden Sie hier.
Müssen Sie für Ihre summative Evaluation Proben von echten Menschen entnehmen, oder kann ein simulated Use stattfinden?
Noch nicht zugelassene IVDs dürfen nicht an echten Menschen angewendet werden. Ist eine summative Usability Evaluation allerdings nicht ohne eine Probenentnahme von echten Nutzern möglich, dann benötigen Sie:
- Die Zustimmung der Bundesbehörde.
- Die Zustimmung einer Ethikkommission.
- Eine Patientenversicherung für jeden teilnehmenden Nutzer.
Das alles bedeutet einen relativ großen Aufwand für Sie. Entsprechend ist es sinnvoll, zu überlegen, ob eine realistische Bewertung der Usability Ihres Produkts auch ohne Probenentnahme möglich ist und wenn ja, wie.
2. Ist Ihr Produkt bereit für die summative Evaluation?
Liegt Ihr Produkt in Nullserie oder als Product Equivalent Device vor?
In der summativen Evaluation testen Sie mit dem Product Equivalent Device oder der Nullserie. Entsprechend muss Ihr Produkt also vorliegen.
Liegen Ihre IFUs und Anleitungen in finaler Form vor?
Die Instructions for Use, kurz IFUs, oder Anleitungen und Schulungen, die Ihre Nutzer für die Nutzung Ihres IVDs brauchen, sind ebenfalls Teil der summativen Evaluation. Entsprechend werden diese mitgetestet. Die IFUs, Anleitungen, Schulungen, aber auch Verpackung und Labeling werden als Teil Ihres Produkts gesehen.
Änderungen daran sind nach Zulassung des Produkts erst erlaubt, wenn die neuen Versionen der Anleitungen ebenfalls eine summative Studie durchlaufen.
Sie sollten also sicherstellen, dass IFUs, Anleitungen und Schulungen fertiggestellt sind und vom Nutzer auch fehlerfrei verstanden werden können. Das ist vor allem für die Laienanwendung eines IVDs wichtig. Hier hilft Ihnen formatives Usability Testing der Instructions.
3. Ihr Produkt ist auf die Anforderungen der summativen Evaluation vorbereitet?
Haben Sie nachgewiesen, dass das User Interface Ihres IVDs sicher ist?
Das User Interface umfasst nach IEC 62366-1 folgende Elemente:
„Das USER INTERFACE beinhaltet alle Elemente des MEDIZINPRODUKTS, mit denen der USER interagiert, wobei sowohl physikalische Aspekte des MEDIZINPRODUKTS einbezogen sind, als auch visuelle, auditive und taktile Anzeigen, und ist nicht auf Software-Schnittstellen begrenzt.“ (source: IEC 62366-1:2021-08)
Um sicher zu wissen, dass all diese Elemente ohne inakzeptable Risiken funktionieren, sollten Sie bereits formative Usability-Tests durchlaufen haben.
Werden die von der IVDR festgelegten Leistungsanforderungen erfüllt?
Erst wenn Ihr IVD keine oder nur akzeptable nutzungsbezogene Risiken aufweist, haben Sie die in Anhang I der IVDR festgelegten Leistungsanforderungen erfüllt. Auch hier kann formatives Testen Ihnen Klarheit darüber geben, ob Ihr IVD schon alle Anforderungen erfüllt.
Sie haben nachgewiesen, dass Ihre IFUs und dem Produkt beigefügten Anweisungen leicht verständlich sind?
Alle dem Produkt beigefügten Angaben und Anweisungen müssen für die vorgesehenen Anwender leicht verständlich und fehlerfrei interpretierbar sein.
Sie haben die sichere und fehlerfreie Anwendung über alle Bedienphasen nachgewiesen?
Ihr formatives Testen hat ergeben, dass Ihre Nutzergruppe Ihr Produkt sicher und fehlerfrei bedienen kann. Dazu gehört bei IVDs neben der eigentlichen Verwendung natürlich auch die Interpretation der Ergebnisse.
Sie haben alle nutzungsbezogenen Risiken Ihres IVDs minimiert?
Am besten machen Sie das in iterativen formativen Usability-Tests. Zu den nutzungsbezogenen Risiken zählen:
- Die IVDR fordert die Verringerung der Risiken durch ergonomische Merkmale:
„sie verringern so weit wie möglich die Risiken aufgrund ergonomischer Merkmale des Produkts und der Umgebung, in der das Produkt verwendet werden soll (auf die Sicherheit des Patienten ausgerichtete Produktauslegung)“ (source: IVDR:2017 – Anhang I, Kapitel 1, 5 a)
- Die Verringerung der Risiken durch die Berücksichtigung der Fähigkeiten der vorgesehenen Nutzer:
„sie berücksichtigen die technischen Kenntnisse, die Erfahrung, die Aus- und Weiterbildung, gegebenenfalls die Anwendungsumgebung sowie die gesundheitliche und körperliche Verfassung der vorgesehenen Anwender (auf Laien, Fachleute, Behinderte oder sonstige Anwender ausgerichtete Produktauslegung)“ (source: IVDR:2017 – Anhang I, Kapitel 1, 5 b)
4. Sie haben die richtigen Nutzer rekrutiert und davon ausreichend?
Die rekrutierten Nutzer entsprechen Ihrer Intended User Group?
Die Nutzer für Ihre summative Studie müssen der Intended User Group, also der von Ihnen im Vorfeld definierten Nutzergruppe, entsprechen. Hier kann ein Leitfaden helfen, der die potenziellen Teilnehmer bei der Rekrutierung nach den richtigen Kriterien screent.
Die rekrutierten Nutzer sind ein repräsentativer Schnitt der jeweiligen Gruppe?
Hier sollten Sie nach einer realistischen Altersverteilung (oder nach der Verteilung von anderen Merkmalen) schauen. Um vernünftig argumentieren zu können, sollten es mindestens 15 Personen pro Nutzergruppe sein. In manchen Fällen können mehr Teilnehmer jedoch sinnvoll sein, um besser argumentieren zu können.
Sie haben an Überrekrutierungen gedacht?
Planen Sie ausreichend Überrekrutierungen ein, um potenzielle Ausfälle bei Teilnehmern kompensieren zu können. Sonst kann es zu langwierigen Nachrekrutierungen kommen, die die Fertigstellung der summativen Studie herauszögern.
5. Sie haben die Usability-Labore richtig vorbereitet?
Das richtige Equipment ist vorhanden und vorbereitet?
Checken Sie im Vorfeld, ob das Equipment für die summative Evaluation vorhanden ist. Kann die Probenentnahme simuliert werden, brauchen Sie gegebenenfalls einen passenden Testdummy für Ihren speziellen Fall.
Sind die richtigen Räumlichkeiten für die Tests vorhanden?
Haben Sie die passenden UX-Labore schon gefunden? Oder haben Sie gegebenenfalls die richtigen Räumlichkeiten bereits angemietet? Achten Sie bei der Auswahl der Räumlichkeiten darauf, dass sie den späteren Bedingungen so gut wie möglich entsprechen.
Die Räumlichkeiten müssen es Ihnen erlauben, die spätere Nutzungsumgebung Ihres IVDs mit allen wichtigen äußeren Faktoren abzubilden. Ist es an dem Ort laut oder heiß oder besonders stressig? Dann müssen Sie hierauf besonders achten.
Sie haben die Vollständigkeit des Equipments für die Aufzeichnungen und den Stream geprüft?
Zweck der summativen Evaluation ist der objektive Nachweis, dass durch die Nutzung Ihres Produkts keine inakzeptablen Risiken auftreten. Diesen objektiven Nachweis erbringen Sie am leichtesten über die Beobachtung der tatsächlichen Handlungsausführung.
Für den Nachweis sind die Aufzeichnungen der Tests sehr wichtig für Ihre summative Usability Evaluation. Checken Sie deshalb, dass Sie genug Kameras und SD Karten haben. Auch Ersatz-Akkus sowie Ersatz-Speichermedien sind sehr wichtig. Sie wollen den Test live streamen? Dann sollten Sie auch hierfür das Equipment überprüfen und gegebenenfalls fehlendes Equipment nachkaufen.
Sie haben den richtigen Ort für die richtige Behörde gewählt?
Der Human Factors Engineering Prozess der FDA setzt voraus, dass die Tests für die summative Usability Evaluation in den USA stattfinden müssen.
Wenn Sie Ihr IVD nicht nur nach IVDR, sondern auch nach der FDA zulassen wollen, dann sollten Sie in den USA testen. Ihre summative Evaluation kann dann auch in Europa anerkannt werden. Andersherum ist das leider nicht möglich.
6. Falls notwendig: Haben Sie Ihre Nutzer richtig geschult?
Sie haben nach Ihren IFUs und Trainings geschult?
Für die Schulung Ihrer Nutzer dürfen Sie nur das Material benutzen, das auch nach Zulassung Ihres IVDs zur Verfügung stehen wird.
Sie haben an einen realistischen Zeitabstand zwischen Schulung und Nutzung gedacht?
Nach einer Schulung fangen Nutzer an, Inhalte zu vergessen. Es wird gefordert, dass Sie einen realistischen Zeitabstand zwischen der Schulung und der Nutzung einhalten. Realistisch bedeutet in diesem Zusammenhang: So wie der Abstand in der Praxis vermutlich wäre.
7. Sie verfügen über das geeignete Personal für die Durchführung der summativen Usability Evaluation?
Die Durchführenden sind keine an der Entwicklung Ihres Produkts beteiligten Personen?
Die Tests dürfen von keinen Personen durchgeführt werden, die an der Entwicklung beteiligt gewesen sind.
Sie haben ausreichend Usability Researcher für Ihre Studie?
Es ist wichtig, dass die Studie von ausgebildeten Usability Researchern durchgeführt wird, um keine Verzerrung der Ergebnisse zu riskieren. Achten Sie bei den Researchern auf den Nachweis der Qualifikation im Medical Bereich für Usability Engineering. Sie haben ausreichend davon für Ihre Studie? Sehr gut.
Sie haben eine „Für die Einhaltung der Regulierungsvorschriften verantwortliche Person“ benannt?
In Artikel 15 der IVDR werden Kriterien an eine „für die Einhaltung der Regulierungsvorschriften verantwortliche Person“ gestellt. Sie müssen eine solche Person in Ihrem Unternehmen benennen und sicherstellen, dass die Anforderungen der IVDR hier eingehalten werden. Neben anderen Aufgaben ist diese Person dafür verantwortlich, „die Konformität der Produkte in angemessener Weise gemäß dem Qualitätsmanagementsystem geprüft wird, in dessen Rahmen die Produkte hergestellt werden, bevor ein Produkt freigegeben wird“. (IVDR-2017: Artikel 15 a))
8. Die Durchführung der summativen Evaluation ist gemäß der IVDR?
Sie haben realistische Nutzungsbedingungen geschaffen?
Wie bereits in Unterpunkt 5 erwähnt, müssen Sie eine realistische Nutzungsumgebung schaffen, in der getestet wird.
Sie vermeiden Nachfragen während der Durchführung?
Realistische Nutzungsbedingungen heißt in diesem Falle auch eine Nutzung ohne persönliche Anleitungen und Hilfestellungen.
Die sicherheitskritischen Nutzungsfehler (Hazard Related Use Scenarios) werden getestet?
Sie erinnern sich an die sicherheitskritischen Nutzungsfehler aus Unterpunkt 1? Diese werden in der summativen Evaluation getestet. Stellen Sie sicher, diese vollständig oder entsprechend Ihrer gewählten Begründung in Ihrem Usability Engineering File abzubilden für die Tests.
Bei IVDs zur Selbstanwendung: Sie haben nachgewiesen, dass die Nutzer alle Ergebnisse Ihres IVDs fehlerfrei deuten können?
Hierfür können Sie Karten präparieren, die Testergebnisse Ihres IVDs zeigen. Die Nutzer können diese dann in der summativen Evaluation interpretieren. Wenn sich die Interpretationen der Laiennutzer mit denen der Experten decken, haben Sie beweisen, dass auch Laien die Ergebnisse Ihres IVDs fehlerfrei deuten können.
Sie bedenken, dass auch Knowledge Tasks abgefragt werden müssen?
Während Ihrer summativen Evaluation wird nicht nur die Nutzung Ihres IVDs durch die Nutzer getestet. Sie müssen auch testen, ob die Nutzer die Informationen und Handlungsanweisungen der IFUs verstanden haben. Darf Ihr IVD nur bis zu einer gewissen Raumtemperatur benutzt werden? Dann könnten Sie die Nutzer eine Frage dazu beantworten lassen. Diese muss dann mit Hilfe der IFUs beantwortet werden.
Sie denken an die Post-hoc Interviews, also die Nachbefragungen nach der Nutzung?
Diese Nachbefragungen zu Use Errors sind besonders wichtig, da sie die Grundlage für die Root Cause Analysis bilden, die in Ihrer Nachbereitung der Studie besonders wichtig wird.
9. Sie haben die Nachbereitung und die Datenauswertung gemacht?
Sie haben die Daten Ihrer summativen Usability Evaluation erhoben und möchten sie auswerten?
Ihr Ziel ist es, zu zeigen, dass die Nutzung Ihres IVDs nur mit einem akzeptablen Risiko einhergeht. Sie schauen also auf die während der Studie gemachten Fehler und Nutzungsschwierigkeiten. Sie achten auf Close Calls, Use Difficulties, Use Errors und Misuses.
Sie gehen die Daten Teilnehmer für Teilnehmer durch und dokumentieren die aufgetretenen Ereignisse. Am Ende bewerten Sie über alle Teilnehmer hinweg, wie viele Teilnehmer ohne einen Fehler einen bestimmten Nutzungsschritt ausführen konnten.
Nach Ihrer Auswertung haben Sie klare Prozentsätze, die zeigen, welcher Anteil der Nutzer welche Nutzungsschritte richtig ausführen konnte!
Sie haben eine Root Cause Analysis gemacht?
Hier kommen die Daten Ihrer in Punkt 8 erwähnten Post-hoc Interviews zum Einsatz. Es darf keine Fehlnutzung und kein falscher Nutzungsschritt, der zu einer Hazardous Situation führen kann, passieren, dessen Gründe Sie nicht mit Hilfe der Root Cause Analysis erklären können.
Sie haben einen Summative Report erstellt?
Der summative Report beinhaltet die Ergebnisse Ihrer Studie. Hier sind auch die Nutzungsfehler aufgestellt, samt deren Schwere der Folgen.
Sie haben Ihre Auswertung auf Vollständigkeit geprüft?
Sie sind sich sicher, keine Daten vergessen zu haben?
Sie reichen den Report über Ihre summative Usability Evaluation gemeinsam mit dem Usability Engineering File ein, das den kompletten Usability Engineering Prozess beschreibt.
Sie haben die sichere Nutzung Ihres IVDs nachgewiesen?
Ihr Produkt hat in der summativen Evaluation klar bewiesen, dass die in Punkt 1 angesprochenen Kriterien für eine sichere Nutzung Ihres IVDs eingehalten werden konnten? Herzlichen Glückwunsch, damit haben Sie bewiesen, dass die Usability Ihres Produkts keine inakzeptablen Risiken für die angestrebte Nutzergruppe birgt!
Die Checklist zum Download
Hier finden Sie unsere Checkliste noch einmal ohne die Erläuterungen zum Download. Als praktisches PDF.
Fazit
Mit der richtigen Planung und Herangehensweise ist die summative Evaluation nach den Vorgaben der IVDR bezwingbar. Halten Sie diese Checkliste stets parat und gehen Sie so Schritt für Schritt möglichst effizient Ihrem Ziel entgegen.
Sie haben noch Fragen? Wir helfen Ihnen gerne dabei, Ihr IVD auf die summative Evaluation vorzubereiten und diese dann gemeinsam durchzuführen. Wir nehmen Ihnen gerne die Sorge über die Einhaltung der Anforderungen ab. Hier erfahren Sie, wie eine summative Usability Evaluation bei uns abläuft.
Um Ihren konkreten Fall zu betrachten und Ihren individuellen Herausforderungen gerecht zu werden, bieten wir Ihnen ein kostenloses Strategiegespräch an.
Wir freuen uns auf Sie. Nutzen Sie einfach unser Kontaktformular, um mit uns in Verbindung zu treten.
