Was genau ist die summative Evaluation oder summative Usability Evaluation? Wie unterscheidet sie sich von einer formativen Evaluation? Wie läuft die summative Evaluation ab und was müssen Sie beachten? Was genau wird evaluiert?
Wenn Sie sich eine oder mehrere dieser Fragen gestellt haben, dann finden Sie hier die passenden Antworten. In diesem Artikel erklären wir Ihnen, was sich hinter dem Begriff „Summative Evaluation“ verbirgt. Außerdem erfahren Sie, warum Sie für Ihr Medizinprodukt so ungemein wichtig ist!
Was versteht man unter dem Begriff „Summative Evaluation“?
Die IEC 62366-1 definiert die summative Evaluation wie folgt: „User Interface Evaluation, die zum Abschluss der Entwicklung des User Interface durchgeführt wird mit dem Ziel des objektiven Nachweises, dass das User Interface sicher benutzt werden kann“.
Das Ziel ist eine finale Testung, ob das Medizinprodukt von den Nutzenden ohne inakzeptable Risiken verwendet werden kann. Sie wollen also beweisen, dass Ihr Medizinprodukt sicher zu nutzen ist und weder Nutzer, Patienten oder Dritten Schaden zufügt. Am Ende der summativen Evaluation haben Sie aufgezeigt, für welche sicherheitsbezogenen Aspekte Ihres Produkts das Gesamtrisiko auf ein akzeptables Niveau reduziert wurde und für welche nicht. Die Festlegung, ab welchem Niveau das Gesamtrisiko akzeptabel ist, wird durch Ihr Risikomanagement z. B. durch die Formulierung von Akzeptanzkriterien festgelegt.
Im Nachgang zur summativen Evaluation sehen Sie sich die Ergebnisse an und prüfen, ob und welche Use Errors oder Benutzungsschwierigkeiten aufgetreten sind. Wenn ein Use Error oder eine Benutzungsschwierigkeit zu einer Gefährdungssituation führen kann (es handelt sich also um einen sicherheitskritischen Use Error), muss eine Root Cause Analysis durchgeführt werden. Unter einer Root Cause Analyse versteht man die Analyse der Fehlerursachen.
Formative vs. Summative Evaluation: Wo liegen die Unterschiede?
Formative Evaluationen sind entwicklungsbegleitende Evaluationen der Usability Ihres Produkts. Die Zielsetzung hier ist das iterative Verbessern des Produkts durch das Explorieren der Nutzung und dem Ergänzen von Produktanforderungen. Durch formative Evaluationen prüfen und verbessern Sie also die Sicherheit der Bedienung, die Fehlerfreiheit und die Effizienz der Nutzung Ihres Produkts.
Summative Evaluationen sind abschließend und bewertend. Die Zielsetzung hier ist der Nachweis über die sichere Nutzung und das Erreichen der Akzeptanzkriterien Ihres Produkts. Eine summative Evaluation ist verpflichtend für die Erfüllung des Usability Engineering Prozesses nach IEC 62366-1 und damit wichtig für Ihre Zulassung nach MDR.
Warum ist die summative Evaluation so wichtig für Ihr Produkt?
Ganz einfach: weil sie vorgeschrieben ist. Ohne abschließende Usability Bewertung wird es keine Zulassung für Ihr Medizinprodukt geben. Nur bei bestandener summativer Evaluation haben Sie erfolgreich nachgewiesen, dass Ihr Produkt sicher für Nutzer, Patienten und Dritte ist.
Aber unabhängig davon, stellen Sie an dieser Stelle als Hersteller noch einmal sicher, dass Sie ein sicheres Produkt auf den Markt bringen und die Nutzenden, Patienten und Dritte nicht unnötig gefährden. Dieser Nachweis kann auch bei Haftungsfragen wichtig sein.
Wie läuft die summative Evaluation ab?
Im Normalfall ist eine abschließende Evaluation ein Usability Test mit dem Product Equivalent Device. Das bedeutet: Es müssen also alle Materialien und Gerätekomponenten in Nullserie vorliegen. Getestet wird mit echten Nutzern der Zielgruppe. Der Test muss von Usability Experten durchgeführt und dokumentiert werden.
Bei einer summativen Evaluation wird ein Nutzer bei der Ausführung einer Arbeitsaufgabe mit einem Interface oder Produkt beobachtet. Die Arbeitsaufgaben entsprechen dabei den Hazard-related Use Scenarios, die vorab identifiziert und für die summative Evaluation ausgewählt wurden. In der Durchführung liegt der Fokus hier auf einer sicheren und effizienten Bedienung.
Da die Nutzung in einer möglichst realistischen Umgebung stattfinden soll, muss diese Umgebung simuliert werden. Die Anschaffung von entsprechendem Equipment sollte also im Vorfeld mit in die Planung einbezogen werden. Auch die Abbildung des Nutzungsumfelds mit allen möglichen Störfaktoren ist hier essenziell wichtig.
Eine Nutzung unter realistischen Bedingungen heißt auch, dass die an der summativen Evaluation teilnehmenden Nutzer so im Umgang mit dem Produkt geschult wurden, genauso wie auch echte Nutzer zukünftig geschult werden sollen.
Nun folgt die bereits erwähnte Root Cause Analyse. Hier werden alle sicherheitskritischen Use Errors oder Benutzungsschwierigkeiten, die aufgetreten sind, auf ihre Fehlerursachen hin überprüft. Eine anschließende Bewertung in Zusammenarbeit mit dem Risk-Management klärt, ob es inakzeptable Risiken gibt. Gibt es diese nicht, steht einer Zulassung aus Usability-Sicht nichts im Wege.
Was müssen Sie beachten?
- Rekrutierung: Die Nutzer, die Sie für Ihre summative Evaluation rekrutieren (lassen), müssen repräsentativ für die Zielgruppe sein.
- Ausschluss von Gefahren: Da das Produkt, das Sie testen, noch nicht zugelassen ist, darf keine Gefahr für die Nutzer während der summativen Evaluation entstehen! Stehen Nutzer kurz davor, sich Schaden durch eine fehlerhafte Nutzung des Produkts zuzufügen, muss frühzeitig interveniert werden.
- Änderungen ausgeschlossen: Nach der summativen Evaluation darf nichts mehr an Ihrem Produkt geändert werden. Jede Änderung bedeutet dann eine neue summative Evaluation oder eine sehr gute Begründung.
- Die richtige Vorbereitung: Eine falsche Durchführung hat zur Folge, dass das Produkt nicht zugelassen werden kann. Es folgt eine erneute summative Evaluation, die mit Zeit- und Kostenaufwand zubuche schlägt. Eine Zusammenstellung der wichtigsten Tipps finden Sie in unseren „17 Dos & Don’ts bei der Durchführung von Summativen Usability Evaluationen“.
- Kennen Sie die Anforderungen der spezifischen Märkte oder der besonderen Produkte: Zwar ist die IEC 62366 global gültig, es gibt jedoch marktspezifische und produktspezifische Anforderungen, die im Vorfeld beachtet werden müssen.
Fazit
Die summative Evaluation ist die abschließende Bewertung eines Medizinprodukts. Sie ist verpflichtend für die Zulassung. Die richtige Vorbereitung und eine lückenlose Dokumentation sind essenziell für den Erfolg des Unternehmens. Am besten holen Sie sich für die Planung und Durchführung einen pragmatischen und professionellen Partner mit ins Boot, um zielsicher durch die abschließende Usability Evaluation Ihres Medizinprodukts zu kommen.
Wie wir unseren Kunden helfen, die summative Evaluation erfolgreich zu planen, durchzuführen und zu dokumentieren, erfahren Sie hier.
Stehen Sie kurz vor der Planung der summativen Evaluation? Was sind Ihre speziellen Hürden? Gerne können Sie diesen Beitrag kommentieren oder sich über unser Kontaktformular melden.
