Table of Content
Sie sind verantwortlich für die Zulassung eines Medizinprodukts? Dann kommen Sie um die summative Evaluation nicht drumherum. Mit diesem Artikel sind Sie bestens vorbereitet.
In diesem Artikel und der angehängten Checkliste finden Sie alles, was Sie vor, während und nach der summativen Usability Evaluation beachten müssen. Wir haben Ihnen die einzelnen Punkte erläutert. Am Ende dieses Beitrages finden Sie Ihr „Cheatsheet“, also die Checkliste in Reinform, ohne Erläuterungen zum Download. So können Sie sicherstellen, dass nichts vergessen geht.
Viel Spaß beim Lesen!
Die richtige Vorbereitung
Planen Sie den richtigen Prozess?
Entwickeln Sie ein neues Produkt für den EU-Markt, müssen Sie den kompletten Usability Engineering Prozess nach IEC 62366-1 durchlaufen. Bei einem Bestandsprodukt (Legacy Device) können Sie den stark verkürzten Prozess durchlaufen, der sich nur auf die Risikobewertung der Usability des Produkts bezieht, den User Interface of Unknown Provenance Prozess. Der richtige Partner für die Durchführung sollte hier bereits auf einen festen Prozess zurückgreifen, der Sie zielsicher durch die summative Evaluation bringt.
Haben Sie den richtigen Partner für die Durchführung gefunden?
Für eine umfassende Bewertung der Benutzerfreundlichkeit Ihres Medizinprodukts empfehlen wir die Zusammenarbeit mit einem Partner. Ein Partner, der Sie effektiv unterstützt und eine professionelle und angenehme Zusammenarbeit gewährleistet, ist dabei entscheidend und spart Zeit und Kosten. Stellen Sie sicher, dass der Partner über das erforderliche Equipment und angemessene Räumlichkeiten verfügt. Spezialisierung im medizinischen Bereich ist von besonderer Bedeutung. Case Studies und Testimonials können Aufschluss über die Fachkenntnisse und die Qualität der Dienstleistung geben.
Ein initiales Gespräch ermöglicht es Ihnen, den Partner näher kennenzulernen und festzustellen, ob die Arbeitsweise und die zwischenmenschliche Chemie passen.
Der richtige Partner hilft Ihnen übrigens auch, die meisten dieser Punkte auf dieser Checkliste teilweise oder vollständig abzuhaken!
Sie haben alle wichtigen Faktoren rund um Ihr Medizinprodukt definiert?
Checken Sie an dieser Stelle auch, ob alle risikobezogenen Aspekte Ihres Produkts klar definiert und benannt wurden. Wenn Ihr Produkt zukünftig den gesamten Usability Engineering Prozess nach IEC 62366-1 durchlaufen hat, haben Sie dadurch die folgenden Faktoren schon definiert.
Besonders wichtig für die summative Evaluation nach sind:
- Die Use Specification inkl. der richtigen Nutzergruppen
- Alle Charakteristiken des User Interface, die mit dessen Sicherheit zusammenhängen
- Die Auflistung aller potenziellen Nutzungsfehler
- Sie haben die kritischen Aufgaben definiert.
- Wir empfehlen stark, eine Use-Related-Risk-Analyse durchzuführen. Hier kann es helfen, formative Usability-Testdurchläufe mit Ihrem Medizinprodukt durchlaufen zu haben. Diese tragen nämlich dazu bei, weitere Use Errors und damit Hazard-Related Use Scenarios zu identifizieren! Identifizieren Sie diese nicht und treten diese dann in der summativen Evaluation selbst zum ersten Mal auf, ist Ihre Zulassung ernsthaft in Gefahr.
Gibt es spezielle MDCG Guidance Dokumente für Ihr Produkt?
MDCG Guidance Dokumente liefern Ihnen ganz klare Umsetzungsanforderungen für Ihr spezifisches Medizinprodukt oder IVD. Allen Tätigkeiten zur summativen Evaluation sollte also eine Recherche vorangehen, ob es ein auf Ihren Fall zutreffendes Guidance Dokument gibt. Eine Liste aller erschienenen MDCG Guidance Dokumente finden Sie hier.
Ihr Produkt ist auf die Anforderungen der summativen Evaluation vorbereitet?
Haben Sie sichergestellt, dass das User Interface sicher ist?
Um sicher zu wissen, dass all diese Elemente ohne inakzeptable Risiken funktionieren, sollten Sie bereits formative Usability-Tests durchlaufen haben. Aus unserer Erfahrung sollten Sie mindestens 1 bis 3 formative Tests mit Ihrem Produkt durchlaufen. Wir haben es noch nie erlebt, dass ein Produkt ohne vorangegangene formative Tests die summative Evaluation besteht.
Werden die von der MDR festgelegten Leistungsanforderungen erfüllt?
Die Erfüllung der Leistungsanforderungen gemäß Anhang I der MDR ist erst dann gewährleistet, wenn Ihr Medizinprodukt keine oder nur akzeptable nutzungsbezogene Risiken aufweist. Formatives Testen kann Ihnen helfen festzustellen, ob Ihr Produkt bereits alle erforderlichen Anforderungen erfüllt.
Sie haben sichergestellt, dass Ihre IFUs und dem Produkt beigefügten Anweisungen leicht verständlich sind?
Alle dem Produkt beigefügten Angaben und Anweisungen müssen für die vorgesehenen Anwender leicht verständlich und fehlerfrei interpretierbar sein.
Sie haben die sichere und fehlerfreie Anwendung über alle Bedienphasen sichergestellt?
Ihr formatives Testen hat ergeben, dass Ihre Nutzergruppe Ihr Produkt sicher und fehlerfrei bedienen kann.
Sie haben alle nutzungsbezogenen Risiken Ihres Medizinprodukts minimiert?
Auch hier gilt: Am besten machen Sie das in iterativen formativen Usability-Tests. Zu den nutzungsbezogenen Risiken zählen:
- Die Verringerung der Risiken durch ergonomische Merkmale
- Die Verringerung der Risiken durch die Berücksichtigung der Fähigkeiten der vorgesehenen Nutzer
Sie haben die richtigen Nutzer rekrutiert (und davon ausreichend)?
Entsprechen die ausgewählten Nutzer Ihrer vorgesehenen Nutzergruppe?
Die Nutzer für Ihre summative Studie müssen der von Ihnen im Voraus definierten Intended User Group entsprechen. Ein Leitfaden kann dabei helfen, potenzielle Teilnehmer anhand der richtigen Kriterien zu screenen.
Sind die ausgewählten Nutzer repräsentativ für ihre jeweilige Gruppe?
Es ist wichtig, eine realistische Altersverteilung (oder Verteilung anderer relevanter Merkmale) sicherzustellen. Um eine fundierte Argumentation zu ermöglichen, sollten mindestens 15 Personen pro Nutzergruppe einbezogen werden. In einigen Fällen können jedoch mehr Teilnehmer sinnvoll sein, um eine stärkere Argumentationsgrundlage zu schaffen.
Haben Sie Überrekrutierungen berücksichtigt?
Planen Sie ausreichend Überrekrutierungen ein, um mögliche Ausfälle bei den Teilnehmern auszugleichen. Andernfalls könnten Verzögerungen bei der Fertigstellung der summative Studie durch nachträgliche Rekrutierungen entstehen.
Sie haben die Usability-Labore richtig vorbereitet?
Ist das erforderliche Equipment vorhanden und einsatzbereit?
Vor Beginn der summativen Evaluation ist es wichtig zu überprüfen, ob das benötigte Equipment vorhanden ist. Möglicherweise müssen spezielle Vorrichtungen besorgt oder passende Testdummies für Ihren speziellen Anwendungsfall bereitgestellt werden.
Sind die geeigneten Räumlichkeiten für die Tests verfügbar?
Stehen die geeigneten UX-Labore zur Verfügung oder wurden passende Räumlichkeiten angemietet? Bei der Auswahl der Testumgebung ist darauf zu achten, dass sie den späteren Nutzungsbedingungen möglichst genau entspricht. Die Räumlichkeiten sollten es ermöglichen, alle relevanten äußeren Einflüsse der späteren Nutzungsumgebung Ihres Medizinprodukts oder IVDs abzubilden, wie beispielsweise Lärm, Hitze oder Stress.
Wurde die Vollständigkeit des Equipments für Aufzeichnungen und Streaming überprüft?
Die summative Evaluation zielt darauf ab, objektiv nachzuweisen, dass die Nutzung Ihres Produkts keine inakzeptablen Risiken birgt. Dieser Nachweis wird am besten durch die Beobachtung der tatsächlichen Handlungen erbracht. Für eine erfolgreiche Evaluation sind Aufzeichnungen der Tests mehr als hilfreich. Daher sollten ausreichend Kameras, SD-Karten, Ersatzakkus und Speichermedien vorhanden sein. Wenn ein Live-Streaming geplant ist, muss auch hierfür entsprechendes Equipment überprüft und gegebenenfalls ergänzt werden.
Wurde der richtige Standort für die entsprechende Behörde ausgewählt?
Für den Human Factors Engineering Prozess der FDA müssen die Tests für die Human Factors Validation, also das Äquivalent zur summativen Usability Evaluation in den USA durchgeführt werden. Wenn eine Zulassung sowohl nach MDR als auch nach FDA angestrebt wird, sollten die Tests in den USA durchgeführt werden, da eine in den USA durchgeführte summative Evaluation auch in Europa anerkannt werden kann. Der umgekehrte Fall ist leider nicht möglich.
Falls notwendig: Haben Sie Ihre Nutzer richtig geschult?
Sie haben nach Ihren IFUs und Trainings geschult?
Für die Schulung Ihrer Nutzer dürfen Sie nur das Material benutzen, das auch nach Zulassung Ihres Medizinprodukts oder IVDs zur Verfügung stehen wird. Zudem dürfen Sie die IFUs und Trainings nur so präsentieren, wie diese auch später zum Einsatz kommen werden.
Sie haben an einen realistischen Zeitabstand zwischen Schulung und Nutzung gedacht?
Nach einer Schulung neigen Nutzer dazu, Inhalte zu vergessen. Es wird empfohlen, einen zeitlichen Abstand zwischen der Schulung und der eigentlichen Nutzung einzuhalten, der realistisch ist und dem wahrscheinlichen zeitlichen Abstand in der praktischen Anwendung entspricht.
Sie verfügen über das geeignete Personal für die Durchführung der summativen Usability Evaluation?
Die Durchführenden sind keine an der Entwicklung Ihres Produkts beteiligten Personen?
Die Tests dürfen von keinen Personen durchgeführt werden, die an der Entwicklung beteiligt gewesen sind. Ein Missachten hat langwierige Diskussionen mit der Benannten Stelle zur Folge, die die Zulassung gefährden oder verzögern werden.
Sie haben ausreichend qualifizierte Usability Researcher für Ihre Studie?
Die Durchführung der Studie durch qualifizierte Usability-Forscher ist entscheidend, um eine Verzerrung der Ergebnisse zu vermeiden. Achten Sie darauf, dass die Studienleiter nachweisen können, dass sie über die erforderlichen Qualifikationen im Bereich des Medizinwesens für Usability-Engineering verfügen.
Sie haben eine „Für die Einhaltung der Regulierungsvorschriften verantwortliche Person“ benannt?
In Artikel 15 der MDR werden Kriterien an eine „für die Einhaltung der Regulierungsvorschriften verantwortliche Person“ gestellt. Sie müssen eine solche Person in Ihrem Unternehmen benennen und sicherstellen, dass die Anforderungen der MDR hier eingehalten werden. Neben anderen Aufgaben ist diese Person dafür verantwortlich, „die Konformität der Produkte in angemessener Weise gemäß dem Qualitätsmanagementsystem geprüft wird, in dessen Rahmen die Produkte hergestellt werden, bevor ein Produkt freigegeben wird“. (MDR-2017: Artikel 15 a))
Ist Ihr Produkt bereit für die summative Evaluation?
Liegt Ihr Produkt in Nullserie oder als Product Equivalent Device vor?
In der summativen Evaluation testen Sie mit dem Product Equivalent Device oder der Nullserie. Entsprechend muss Ihr Produkt also vorliegen.
Liegen Ihre IFUs und Anleitungen in finaler Form vor?
Die Instructions for Use sowie Anleitungen und Schulungen für die Nutzung Ihres IVDs, sind wesentliche Bestandteile der summativen Evaluation. Daher werden sie ebenfalls getestet. IFUs, Anleitungen, Schulungen, Verpackung und Labeling werden als integrale Bestandteile Ihres Produkts betrachtet.
Es ist wichtig sicherzustellen, dass IFUs, Anleitungen und Schulungen vollständig und verständlich sind, insbesondere für Laien, die das Produkt verwenden. Formatives Usability Testing der Anleitungen kann dabei hilfreich sein, sicherzustellen, dass sie fehlerfrei verstanden werden können.
Die Durchführung der summativen Evaluation ist gemäß der MDR?
Haben Sie angemessene Nutzungsbedingungen geschaffen?
Wie bereits erwähnt, ist es wichtig, eine realistische Nutzungsumgebung für die Tests zu schaffen.
Vermeiden Sie während der Durchführung eigenes Nachfragen?
Realistische Nutzungsbedingungen bedeuten in diesem Fall, dass die Nutzung ohne persönliche Anleitungen oder Hilfestellungen erfolgt.
Werden sicherheitskritische Nutzungsfehler (Hazard Related Use Scenarios) getestet?
Denken Sie an die sicherheitskritischen Nutzungsfehler, die in einem vorherigen Unterpunkt erwähnt wurden. Diese sollten in der summativen Evaluation getestet werden. Stellen Sie sicher, dass diese vollständig oder entsprechend Ihrer Dokumentation im Usability Engineering File für die Tests berücksichtigt werden.
Haben Sie auch Knowledge Tasks berücksichtigt?
Während der summativen Evaluation sollte nicht nur die Nutzung des Produkts durch die Nutzer getestet werden, sondern auch deren Verständnis der Informationen und Anweisungen in den IFUs. Wenn beispielsweise Ihr Produkt nur bei bestimmten Raumtemperaturen verwendet werden darf, könnten Sie die Nutzer dazu befragen und ihre Antworten anhand der IFUs bewerten.
Denken Sie an die Post-hoc-Interviews, also die Nachbefragungen nach der Nutzung?
Diese Interviews zu Use Errors sind von besonderer Bedeutung, da sie die Grundlage für die Root Cause Analysis bilden, die während der Nachbereitung der Studie wichtig ist.
Sie haben die Nachbereitung und die Datenauswertung gemacht?
Sie haben die erhobenen Daten Ihrer summative Usability Evaluation vorliegen und möchten diese analysieren?
Ihr Ziel ist es, zu demonstrieren, dass die Nutzung Ihres Produkts ohne inakzeptables Risiko durchzuführen ist. Daher konzentrieren Sie sich auf die während der Studie aufgetretenen Fehler und Nutzungsschwierigkeiten, darunter Close Calls, Use Difficulties, Use Errors und Misuses.
Sie gehen die Daten Teilnehmer für Teilnehmer durch und dokumentieren die aufgetretenen Ereignisse. Anschließend bewerten Sie über alle Teilnehmer hinweg, wie viele von ihnen einen bestimmten Nutzungsschritt ohne Fehler ausführen konnten. Auf Basis dieser Auswertung erhalten Sie klare Prozentsätze, die zeigen, welcher Anteil der Nutzer welche Nutzungsschritte korrekt ausführen konnte.
Haben Sie eine Root Cause Analysis durchgeführt?
Hierbei nutzen Sie die Daten Ihrer Post-hoc-Interviews. Es sollte keine Fehlnutzung oder fehlerhafter Nutzungsschritt auftreten, der zu einer gefährlichen Situation führen könnte, ohne dass Sie die Ursachen mit Hilfe der Root Cause Analysis erklären können.
Haben Sie einen Summative Report erstellt?
Der Summative Report fasst die Ergebnisse Ihrer Studie zusammen, einschließlich der identifizierten Nutzungsfehler und ihrer Schwere.
Haben Sie Ihre Auswertung auf Vollständigkeit geprüft?
Sie sind sicher, dass keine Daten vergessen wurden? Sie reichen den Report über Ihre summative Usability Evaluation gemeinsam mit dem Usability Engineering File ein, das den kompletten Usability Engineering Prozess beschreibt.
Haben Sie die sichere Nutzung Ihres Medizinprodukts nachgewiesen?
Ihr Produkt hat in der summative Evaluation klar gezeigt, dass die Kriterien für eine sichere Nutzung eingehalten wurden? Herzlichen Glückwunsch, damit haben Sie bewiesen, dass die Usability Ihres Produkts keine inakzeptablen Risiken für die angestrebte Nutzergruppe birgt!
Die Checklist zum Download
Hier finden Sie unsere Checkliste noch einmal ohne die Erläuterungen zum Download. Als praktisches PDF.
Fazit
Mit der richtigen Planung und Herangehensweise ist die summative Evaluation bezwingbar. Halten Sie diese Checkliste stets parat und gehen Sie so Schritt für Schritt möglichst effizient Ihrem Ziel entgegen.
Es gibt einige Fallstricke, die Sie bei der Durchführung einer summativen Evaluation vermeiden sollten. Diese finden Sie in unserem Artikel: „Summative Usability Evaluation– Diese Fallstricke sollten Sie unbedingt vermeiden“.
Sie haben noch Fragen oder brauchen Unterstützung? Wir helfen Ihnen gerne dabei, Ihr Medizinprodukt auf die summative Evaluation vorzubereiten und diese dann gemeinsam durchzuführen. Wir nehmen Ihnen gerne die Sorge über die Einhaltung der Anforderungen ab. Hier erfahren Sie, wie eine summative Usability Evaluation bei uns abläuft.
Um Ihren konkreten Fall zu betrachten und Ihren individuellen Herausforderungen gerecht zu werden, bieten wir Ihnen ein kostenloses Strategiegespräch an. Nutzen Sie einfach unser Kontaktformular, um mit uns in Verbindung zu treten.
