Kurze Antwort:
Die summative Evaluation dient dazu, am Ende der User-Interface-Entwicklung objektive Nachweise dafür zu gewinnen, dass das User Interface von den vorgesehenen Nutzenden unter den vorgesehenen Nutzungsbedingungen sicher verwendet werden kann. Im Mittelpunkt stehen dabei die sicherheitsrelevanten Nutzungsszenarien und die Bewertung möglicher Use Errors (Anwendungsfehler).
Ok, soweit die kurze Antwort. In der Praxis entstehen jedoch schnell weitere Fragen:
- Wie ist eine summative Evaluation gemäß IEC 62366-1 genau definiert?
- Warum ist sie überhaupt wichtig?
- Wie unterscheidet sie sich von einer formativen Evaluation?
- Und was ist der Unterschied zur Human Factors Validation der FDA?
Genau diese Fragen klären wir in diesem Artikel.
1. Was ist eine summative Evaluation gemäß IEC 62366-1?
Die IEC 62366-1 definiert die summative Evaluation in Abschnitt 3.13 wie folgt:
“USER INTERFACE EVALUATION conducted at the end of the USER INTERFACE development with the intent to obtain OBJECTIVE EVIDENCE that the USER INTERFACE can be used safely.”
(IEC 62366-1:2015 einschließlich Amendment 1:2020, Abschnitt 3.13)
Das zentrale Stichwort ist „objective evidence“. Es reicht nicht aus, dass das Entwicklungsteam das Design als ausgereift einschätzt: Die sichere Nutzung muss anhand nachvollziehbarer Ergebnisse bewertet werden. Dafür betrachtet die summative Evaluation die zuvor festgelegten sicherheitsrelevanten Nutzungsszenarien.
Die Evaluation erfolgt am finalen oder produktionsäquivalenten User Interface. „Produktionsäquivalent“ bedeutet, dass die verwendete Ausführung das spätere Produkt in allen für die Benutzung und die Bewertung relevanten Eigenschaften angemessen widerspiegelt. Das kann beispielsweise ein Gerät aus einer Nullserie sein. Ein Prototyp ist dagegen nicht allein deshalb produktionsäquivalent, weil er bereits funktioniert.
Wichtig ist außerdem: Das User Interface umfasst mehr als ein Display oder eine Softwareoberfläche. Je nach Medizinprodukt und Nutzung können dazu beispielsweise gehören:
- physische Bedienelemente,
- Anzeigen, Alarme und Signale,
- Verpackung und Kennzeichnung sowie
- Gebrauchsanweisung (IFU) und gegebenenfalls vorgesehene Trainingsmaterialien.
Die Grundlage für die Auswahl der Testinhalte bilden die im Usability-Engineering-Prozess identifizierten Hazard-Related Use Scenarios. Das sind Nutzungsszenarien, die zu einer gefährlichen Situation oder einem Schaden führen können und häufig mit möglichen Use Errors verbunden sind.
Gemäß Abschnitt 5.5 der IEC 62366-1 kann der Hersteller alle identifizierten Szenarien oder eine begründete Teilmenge („a subset of the HAZARD-RELATED USE SCENARIOS“) auswählen. Eine solche Auswahl orientiert sich am Schweregrad möglicher Schäden durch Use Errors und gegebenenfalls an weiteren produkt- oder herstellerspezifischen Umständen. Das Vorgehen, die Begründung und die Ergebnisse der Auswahl müssen im Usability Engineering File nachvollziehbar dokumentiert werden.
Entscheidend ist damit nicht, möglichst viele Funktionen zu testen, sondern die Auswahl der sicherheitsrelevanten Nutzungsszenarien systematisch aus der Risikoanalyse abzuleiten.
2. Warum ist die summative Evaluation wichtig?
Wie bereits beschrieben, ist die summative Evaluation ein wesentlicher Bestandteil des Usability-Engineering-Prozesses nach IEC 62366-1. Sie liefert die Evidenz, auf deren Grundlage Hersteller nutzungsbezogene Risiken am Ende der User-Interface-Entwicklung bewerten können. Für die technische Dokumentation ist dabei nicht allein das Ergebnis der Testdurchführung relevant, sondern auch der nachvollziehbare Weg dorthin.
Für Hersteller bedeutet das insbesondere:
- die Auswahl der sicherheitsrelevanten Szenarien und das Studiendesign zu begründen,
- Use Errors und Nutzungsschwierigkeiten systematisch zu erfassen,
- aufgetretene Probleme im Hinblick auf ihre Ursachen und mögliche Schäden zu bewerten und
- Schlussfolgerungen, erforderliche Maßnahmen und verbleibende Risiken mit dem Risikomanagement und dem Usability Engineering File zu verknüpfen.
Ein wichtiger Punkt in der Auswertung: Die summative Evaluation ist kein Test, der ausschließlich dann „bestanden“ ist, wenn keinerlei Use Errors auftreten. Nach Abschnitt 5.9 der IEC 62366-1 sind beobachtete Use Errors und Benutzungsschwierigkeiten zu identifizieren. Können sie zu einer Gefährdungssituation führen, müssen ihre Ursachen ermittelt werden („the root cause of any such USE ERROR or use difficulty shall be determined“). Abhängig von den Ergebnissen können zusätzliche Risikokontrollmaßnahmen und eine erneute Bewertung der verbleibenden Risiken erforderlich sein.
Das hat auch Folgen für die Projektplanung. Werden grundlegende Probleme erst in der summativen Evaluation sichtbar, können Änderungen am User Interface, an der Gebrauchsanweisung oder am Training sowie zusätzliche Evaluations- und Dokumentationsschritte notwendig sein. Eine gute Vorbereitung reduziert dieses Risiko, ersetzt die abschließende Bewertung aber nicht.
Praktisch bedeutet das: Eine belastbare summative Evaluation beginnt nicht erst mit der Rekrutierung der Testteilnehmenden. Sie baut auf einer konsistenten Use Specification, die unter anderem die vorgesehene Nutzung, Nutzergruppen und Nutzungsumgebungen beschreibt, der Identifikation nutzungsbezogener Risiken, einer begründeten Szenarioauswahl und einem geeigneten Evaluationsplan auf.
Zusammenfassend: Die summative Evaluation ist ein zentrales Element am Ende der User-Interface-Entwicklung, da sie objektive Nachweise darüber liefert, ob das Medizinprodukt in den ausgewählten sicherheitsrelevanten Nutzungsszenarien sicher bedient werden kann. Sollten dabei unerwartete Use Errors oder Nutzungsschwierigkeiten auftreten, dient sie der Ursachenanalyse und der Beurteilung, ob die verbleibenden Restrisiken akzeptabel sind oder zusätzliche Maßnahmen erfordern. Die Ergebnisse fließen lückenlos in das Risikomanagement und das Usability Engineering File ein und stützen die regulatorisch geforderte Bewertung der nutzungsbezogenen Restrisiken. Damit leistet die summative Evaluation einen essenziellen Beitrag zur patienten sicheren Anwendung und zur Konformitätsdokumentation.
3. Was ist der Unterschied zwischen formativer und summativer Evaluation?
Beide Evaluationsarten betrachten die Interaktion zwischen Nutzenden und User Interface. Sie verfolgen jedoch unterschiedliche Ziele und sind im Entwicklungsprozess an unterschiedlichen Stellen angesiedelt.
Formative Evaluationen begleiten die Entwicklung. Mit ihnen wird untersucht, welche Elemente bereits gut funktionieren, wo Schwierigkeiten auftreten und welche Anpassungen das Design verbessern können. Dazu dürfen auch frühe Entwürfe oder Prototypen eingesetzt werden.
Die Erkenntnisse aus formativen Evaluationen fließen in die Weiterentwicklung des User Interfaces, in Anforderungen und gegebenenfalls in die Betrachtung nutzungsbezogener Risiken ein.
Kurz gesagt: Formative Evaluation = verstehen und verbessern.
Summative Evaluationen
Die summative Evaluation wird am Ende der User-Interface-Entwicklung durchgeführt. Ihr Schwerpunkt liegt nicht mehr auf dem Vergleich neuer Designideen, sondern auf der abschließenden Bewertung der sicheren Benutzung anhand der ausgewählten Hazard-Related Use Scenarios. Dafür muss das User Interface final oder produktionsäquivalent sein.
Kurz gesagt: Summative Evaluation = abschließend bewerten und Nachweise erbringen.
Für die Praxis heißt das: Formative Evaluationen sollten genutzt werden, um relevante Nutzungsprobleme möglichst früh aufzudecken und zu beheben. Die summative Evaluation kann diese Lernschritte nicht ersetzen. Umgekehrt ersetzt ein erfolgreich durchgeführter formativer Test nicht die abschließende Bewertung nach IEC 62366-1.
4. Was ist der Unterschied zwischen summativer Evaluation und Human Factors Validation?
Die Begriffe werden im MedTech-Alltag häufig ähnlich verwendet, denn beide beschreiben eine abschließende Untersuchung des User Interfaces. Trotzdem sollten summative Evaluation nach IEC 62366-1 und Human Factors Validation nach FDA nicht automatisch gleichgesetzt werden.
Die IEC 62366-1 ist eine internationale Norm. Für Hersteller im europäischen Zulassungskontext bildet sie eine wichtige Grundlage des Usability-Engineering-Prozesses. Bei der summativen Evaluation stehen die gemäß Norm ausgewählten Hazard-Related Use Scenarios im Vordergrund.
Im US-amerikanischen Kontext beschreibt die FDA das Human Factors Validation in ihrer Guidance „Applying Human Factors and Usability Engineering to Medical Devices“. Ein besonderer Fokus liegt dabei auf den sogenannten Critical Tasks. Das sind Nutzeraufgaben, deren falsche Durchführung oder Nichtdurchführung zu schwerwiegenden Schäden für Patienten oder Nutzende führen könnte. Darüber hinaus ist entscheidend, dass die vorgesehenen Nutzergruppen, die tatsächlichen Nutzungsbedingungen und das finale User Interface im Studiendesign angemessen berücksichtigt werden. Auch die Datenerhebung und Auswertung sollten so gestaltet sein, dass eine fundierte Bewertung der sicheren und effektiven Nutzung möglich ist.
Unterschiede zeigen sich in der Praxis insbesondere bei:
- der Ableitung und Auswahl der zu untersuchenden Szenarien beziehungsweise Critical Tasks,
- den konkreten Erwartungen an Nutzergruppen, Studiendesign und Testdurchführung sowie
- der erforderlichen Begründung, Auswertung und regulatorischen Dokumentation.
Die FDA weist selbst darauf hin, dass Human Factors Validation teilweise als „summative testing“ bezeichnet wird, diese Bezeichnung jedoch nicht immer alle von ihr beschriebenen Bestandteile umfasst. Auch deshalb ist es sinnvoll, die Anforderungen des jeweiligen Zielmarktes getrennt zu prüfen.
Eine gemeinsame Studie kann unter geeigneten Voraussetzungen Evidenz für beide Märkte liefern. Dafür sollten die relevanten Anforderungen bereits bei der Planung des Studiendesigns berücksichtigt werden. Es reicht nicht aus, eine ursprünglich nur nach einem Rahmen geplante Studie nachträglich anders zu benennen.
Fazit
Die summative Evaluation ist mehr als ein letzter Usability-Test: Sie liefert eine nachvollziehbare Grundlage, um die sichere Benutzung des finalen oder produktionsäquivalenten User Interfaces zu bewerten. Entscheidend sind eine begründete Auswahl der Hazard-Related Use Scenarios, ein geeigneter Evaluationsplan sowie die sorgfältige Analyse und Dokumentation der Ergebnisse.
Wer formative Evaluationen früh einsetzt und nutzungsbezogene Risiken während der Entwicklung konsequent berücksichtigt, schafft eine deutlich bessere Grundlage für die abschließende Evaluation.
Sie fragen sich, ob für Ihr Produkt eine summative Evaluation oder Human Factors Validation erforderlich ist und ob sich Anforderungen verschiedener Zielmärkte in einer Studie verbinden lassen? In unserem On-Demand-Webinar „Do You Really Need a Summative Evaluation or Human Factors Validation?“ vertiefen wir genau diese Fragen und geben Ihnen Orientierung für die Planung Ihrer nächsten Evaluation.
Registrieren Sie sich für das Webinar und erfahren Sie mehr darüber, wann Sie eine summative Evaluation oder Human Factors Validation benötigen und worauf Sie bei der Planung achten sollten.
