Kurze Antwort: Im Usability Engineering für Medizinprodukt begegnet Ihnen früher oder später in dem Entwicklungsprozess der Begriff „formative Evaluation“. Doch was genau ist damit gemeint?
Eine formative Evaluation ist die Bewertung eines bereits vorhandenen User Interfaces während der Entwicklung. Ziel ist es, Stärken, Schwächen und unerwartete Use Errors zu erkennen und die gewonnenen Erkenntnisse für die weitere Gestaltung zu nutzen. Anders als bei der summativen Evaluation geht es noch nicht um den abschließenden Nachweis, sondern darum, zu lernen, zu verstehen und zu verbessern.
Damit ist die Definition vergleichsweise klar. In der Praxis entstehen jedoch schnell weitere Fragen: Was zählt überhaupt zum User Interface? Warum sollte man formative Evaluationen früh und iterativ einsetzen? Wie unterscheiden sie sich von User Research und von der summativen Evaluation? Genau diese Fragen klären wir in diesem Artikel.
1. Was ist eine formative Evaluation gemäß IEC 62366-1 und FDA?
Die FDA definiert den Begriff in ihrer Guidance „Applying Human Factors and Usability Engineering to Medical Devices“ als: “User interface evaluation conducted with the intent to explore user interface design strengths, weaknesses, and unanticipated use errors.”
Darüber hinaus erläutert die FDA den Zweck formativer Evaluationen während der Entwicklung: “Formative evaluations are used to inform device user interface design while it is in development.”
Sie ergänzt, dass formative Evaluationen insbesondere auf Fragestellungen fokussieren sollten, bei denen vorausgehende Analysen mögliche sicherheitsrelevante Nutzungsschwierigkeiten aufgezeigt haben oder bei denen Designentscheidungen für das User Interface noch nicht final sind.
Auch die IEC 62366-1 beschreibt die formative Evaluation als „USER INTERFACE evaluation conducted with the intent to explore USER INTERFACE design strengths, weaknesses, and unanticipated USE ERRORS (DIN EN IEC 62366-1:2020, Abschnitt 3.7). Die Definition entspricht damit der FDA-Definition.
Die Norm ergänzt, dass formative Evaluationen in der Regel iterativ während des Design- und Entwicklungsprozesses und vor der summativen Evaluation durchgeführt werden, um die Gestaltung des User Interface zu unterstützen.
Beide Definitionen stellen damit denselben Grundgedanken in den Mittelpunkt: Eine formative Evaluation soll Erkenntnisse liefern, mit denen das User Interface während der Entwicklung verbessert werden kann. Untersucht werden kann beispielsweise:
- ob Nutzende einen Workflow verstehen,
- ob Bedienelemente und Informationen eindeutig sind,
- ob Warnungen richtig interpretiert werden,
- ob einzelne Arbeitsschritte nachvollziehbar sind,
- ob das User Interface mögliche Use Errors begünstigt.
Dabei umfasst das User Interface mehr als ein Display oder eine Softwareoberfläche. Dazu gehören – sofern für das Produkt vorhanden – auch physische Bedienelemente, Signale, Verpackung, Kennzeichnung, Gebrauchsanweisung und Training.
Je nach Fragestellung kann eine formative Evaluation beispielsweise als Nutzerstudie, Expertenbewertung, Task Analysis oder Test mit Mock-ups und Prototypen durchgeführt werden.
2. Warum sind formative Evaluationen wichtig?
Ein Medizinprodukt kann technisch wie vorgesehen funktionieren und trotzdem schwer verständlich oder fehleranfällig in der Anwendung sein.
Formative Evaluationen helfen Herstellern deshalb dabei:
- mögliche Use Errors frühzeitig zu erkennen,
- das User Interface gezielt zu verbessern,
- Risikokontrollmaßnahmen zu überprüfen,
- Designentscheidungen auf Erkenntnisse statt nur auf Annahmen zu stützen,
- aufwendige Änderungen am Ende der Entwicklung zu vermeiden.
Die FDA nennt formative Evaluationen ausdrücklich als geeignete Möglichkeit, zuvor nicht erkannte nutzungsbezogene Gefährdungen und Use Errors aufzudecken und zusätzliche kritische Aufgaben zu identifizieren. Je früher ein grundlegendes Problem erkannt wird, desto einfacher lässt es sich in der Regel beheben.
3. Was ist der Unterschied zwischen formativer Evaluation und User Research?
User Research ist der Oberbegriff für das systematische Verstehen von Nutzenden – typischerweise empirisch im Nutzungskontext. Dabei geht es zum Beispiel darum, Ziele, Aufgaben, Bedürfnisse, Probleme und Rahmenbedingungen zu verstehen.
Eine formative Evaluation lässt sich aus UX- und Produktentwicklungssicht als eine Form von User Research einordnen.
Für die regulatorische Einordnung ist jedoch ein Punkt entscheidend: Bei einer formativen Evaluation wird ein User Interface beziehungsweise die Interaktion damit untersucht. Dafür muss zumindest ein Teil des User Interfaces bereits vorhanden sein – zum Beispiel als Konzept, Mock-up oder Prototyp. User Research kann dagegen schon früher beginnen, bevor ein eigenes User Interface existiert.
So können Nutzende bereits vor der eigentlichen Entwicklungsarbeit zu bestehenden Abläufen befragt oder bei der heutigen Lösung eines Problems beobachtet werden. Diese Erkenntnisse helfen dabei, grundlegende Anforderungen an das Produkt abzuleiten. Auf dieser Basis kann ein erster Prototyp entstehen, der anschließend formativ evaluiert und iterativ weiterentwickelt wird.
Ein einfaches Beispiel:
- Sie beobachten Pflegekräfte bei ihrem heutigen Workflow, bevor ein eigenes Lösungskonzept existiert: User Research mit anderen Methoden.
- Sie testen einen Papierprototyp mit Pflegekräften und beobachten, wo Schwierigkeiten entstehen: User Research in Form einer formativen Evaluation.
Kurz gesagt: Aus UX- und Produktentwicklungssicht ist eine formative Evaluation eine Form von User Research. Umgekehrt ist aber nicht jede User-Research-Aktivität eine formative Evaluation.
4. Was ist der Unterschied zwischen formativer und summativer Evaluation?
Formative und summative Evaluationen bewerten beide das User Interface, verfolgen jedoch unterschiedliche Ziele.
Die formative Evaluation findet während der Entwicklung statt. Ihre Ergebnisse sollen dabei helfen, das User Interface zu verstehen, zu überprüfen und weiterzuentwickeln.
Die summative Evaluation wird üblicherweise am Ende der User-Interface-Entwicklung durchgeführt. Sie soll nachweisen, dass das finale oder produktionsäquivalente User Interface von den vorgesehenen Nutzenden unter den vorgesehenen Nutzungsbedingungen sicher und effektiv verwendet werden kann.
Vereinfacht gesagt: Die formative Evaluation dient dem Lernen und Verbessern. Die summative Evaluation dient dem abschließenden Nachweis, dass das User Interface von den vorgesehenen Nutzenden unter den vorgesehenen Nutzungsbedingungen sicher verwendet werden kann.
Fazit
Die formative Evaluation ist ein entwicklungsbegleitendes Lern- und Verbesserungsinstrument.
Sie unterstützt Hersteller dabei, das User Interface frühzeitig zu bewerten, mögliche Use Errors aufzudecken und notwendige Änderungen umzusetzen, bevor das Design abgeschlossen wird.
Die Definition ist damit vergleichsweise klar. In der praktischen Umsetzung entstehen jedoch häufig weitere Fragen: Wann sollte eine formative Evaluation durchgeführt werden? Welche Vorgehensweise passt zum jeweiligen Entwicklungsstand? Und welche Erkenntnisse benötigen Sie für die nächsten Entwicklungsschritte?
In unserem Webinar „Formative Evaluation Done Right: When to Test and What to Learn“ vertiefen wir das Thema und geben Ihnen Orientierung für die praktische Anwendung.
Registrieren Sie sich für das Webinar und erfahren Sie mehr über den sinnvollen Einsatz formativer Evaluationen bei Medizinprodukten.
