Mit der summativen, also der abschließend bewertenden Evaluation, weisen Sie nach, dass das Interface Ihres Medizinproduktes ohne kritische Risiken zu nutzen ist. Klar, dass hier alles sitzen muss. Sie haben bereits einige formative, also entwicklungsbegleitende Evaluationen hinter sich und fühlen sich nun bereit, die summative Evaluation anzudenken? Sie planen vielleicht auch einfach voraus und wollen noch bevor diese in Sicht ist, alle Informationen zur summativen Evaluation sammeln, um dann sofort loslegen zu können, wenn Ihr Produkt so weit ist?
Sofort fällt Ihnen ein kompletter Fragenkatalog zur Durchführung der summativen Evaluation ein. Immerhin wollen Sie ein bestmögliches Testergebnis und erfolgreich Ihre Zulassung in den Händen halten.
In der Praxis ergeben sich zusätzlich eine Menge weiterer Fragen bezüglich der Interpretation der IEC 62366-1 und deren „Übersetzung“ auf das eigene Produkt.
Eine falsche Durchführung der summativen Evaluation kann zur Folge haben, dass das Produkt nicht zugelassen wird. Hieraus ergeben sich schnell Kosten durch Verzögerung und eine erneute Durchführung der Evaluation. Wir geben Ihnen unser Fachwissen an die Hand, damit Sie diese kostspieligen Fehler vermeiden können.
In diesem Artikel finden Sie 17 Do’s and Don’ts, die Ihnen eine große Hilfe bei der richtigen Durchführung der summativen Evaluation sein werden und Ihnen bei der Vermeidung von Fehlern helfen. So können Sie sichergehen, ein besseres Ergebnis zu erreichen und die Zulassung zu sichern.
Vorab: Ihr Mindset.
Ihr Mindset für die summative Evaluation sollte sich deutlich von dem für die formativen Evaluationen unterscheiden. Mit den formativen Evaluationen verfolgen Sie das Ziel, Ihr Produkt sicherer und besser zu machen. Sie sind entwicklungsbegleitend. Mit der summativen Evaluation zeigen Sie am Ende der Entwicklung, dass Ihr Produkt sicher und bereit für den Markt ist. Die summative Evaluation ist abschließend und bewertend. Entsprechend sollten Sie sich vor der Durchführung ausreichend vorbereiten.
Unsere Do’s and Dont’s geben Ihnen klare Anweisungen, was Sie tun und was Sie vermeiden sollten. Es wird auch geklärt, was Sie laut IEC 62366-1 tun dürfen und was nicht.
Springen wir also in die Do’s and Dont’s.
1: Starten Sie früh mit der Planung
Wichtig ist, dass Sie mit dem richtigen Plan an die summative Evaluation herangehen. Die folgenden Dinge sollten Sie festlegen. Denken Sie daran, alles von Beginn an gut zu dokumentieren.
- Legen Sie die Methoden fest, mit denen Sie die Sicherheit Ihres Produkts testen wollen. Die richtige Begründung für diese Methoden müssen Sie direkt mitdokumentieren.
- Besonderer Fokus sollte auf der Auswertung der Nutzungsfehler liegen.
- Was ist eine realistische Nutzungsumgebung, und wie kann diese für Tests eingehalten werden?
Die IEC fordert eine lückenlose Dokumentation Ihres Vorgehens. Der User Interface Evaluation Plan ist das Dokument, in dem Sie alle relevanten Dinge festhalten. Er ist die Zusammenfassung darüber, wie und was Sie testen wollen, um nachzuweisen, ob Ihr Produkt auch wirklich sicher in der Nutzung ist. Haben Sie den Evaluation Plan aufgestellt, sollten Sie nach und nach sicherstellen, dass Ihr Produkt in den Tests auch die gewünschten Ergebnisse liefert.
Sind die Ergebnisse noch nicht zufriedenstellend, sollten Sie die Fehler vor der summativen Evaluation beseitigen. Sie müssen auch darauf achten, dass die richtigen Szenarien, die zu kritischen Fehlerquellen führen können, also die Hazard-Related-Use-Scenarios, in den Evaluation Plan aufgenommen werden. Hier können Experten Ihnen helfen, sollten Sie unsicher sein.
Liefern Sie ein starkes Konzept ab mit sinnigen Testmethoden und Testfällen, dann schafft das die Basis für die Zulassung. Ein schwaches Konzept hingegen garantiert Ihnen langwierige Diskussionen mit der Benannten Stelle.
Mit dem richtigen Evaluation Plan können Sie also vorab sicherstellen, dass Sie möglichst selbstbewusst in die summative Evaluation gehen können.
2: Haben Sie die Gesetze Ihrer Märkte im Blick.
Die IEC 62366-1 ist zwar global den jeweiligen Normen verschiedener Märkte übergeordnet, aber es kann vorkommen, dass beispielsweise der amerikanische Markt an bestimmten Stellen ganz andere Anforderungen an die Zulassung eines Medizinprodukts stellt als der europäische Markt. Hier müssen Sie im Vorfeld wissen, wo das Produkt zugelassen werden soll und was es möglicherweise zu beachten gibt. Die Hilfe einer Agentur, die in alle Normen eingearbeitet ist, kann helfen, den Überblick zu behalten und alle Anforderungen zu erfüllen.
3: Dokumentieren Sie von Beginn an richtig und sorgfältig.
Alles, was nicht dokumentiert ist, ist nicht passiert. Das mag im ersten Moment hart klingen, ergibt aber Sinn. Denken Sie schon zu Beginn Ihrer Planung daran, Ihre Methoden, Ihre formativen Evaluationen und gefundenen Fehler zu dokumentieren. Das macht Ihnen nicht nur die Fehler- und Ursachenanalyse einfacher, es ist auch essenziell für die Nachweise, die Sie bei der summativen Evaluation erbringen müssen.
4: Haben Sie den Überblick, welche Daten wirklich gebraucht werden.
Für die summative Evaluation zählen objektive, aber auch subjektive Daten. Es werden also Daten zu der subjektiven Einschätzung der Teilnehmer zum Produkt erhoben, aber auch objektive Daten zu der Frage „Ist das Produkt auch sicher und einfach zu nutzen?“.
Was könnte diese Daten besser erheben, als ein Usability Test? In den meisten Fällen ist die summative Evaluation eben genau das.
5: Legen Sie Hazard-Related-Use-Szenarios auf Basis des Riskmanagements fest.
Hazard-Related-Use-Szenarios sind die Nutzungsszenarien, die direkt oder indirekt zu einer kritischen Situation führen können.
Ihre Hazard-Related-Use-Szenarios legen fest, auf welche Fälle hin Ihr Produkt in der summativen Evaluation getestet werden soll. Entsprechend nehmen sie einen sehr wichtigen Teil der Planung ein.
Sie sollten in enger Abstimmung mit dem Riskmanagement festgelegt werden. Und das am besten von Beginn an! So vermeiden Sie, dass Sie kritische Fehler, die Sie die Zulassung kosten können, erst zu spät entdecken.
Bedenken Sie dabei, dass Sie die Szenarios als einzelnes Dokument in Ihr Usability Engineering File integrieren müssen. Auch hier können Ihnen Experten behilflich sein.
6: Bedenken Sie, dass auch Produktschulungen getestet werden müssen.
Sind für Ihr Produkt eine Schulung oder Training notwendig, dann muss diese auch in der summativen Evaluation mit durchgeführt werden. Entsprechend sollten auch für die Schulung Testdurchläufe stattfinden, bevor diese in die summative Evaluation geht.
Für die Durchführung der summativen Evaluation bedeutet das für Sie, dass Sie die Zielgruppe einladen und so schulen müssen, wie es auch nach der Zulassung Ihres Produkts passieren würde.
Achten Sie auch darauf, eine realistische Zeit zwischen Schulung und Ausführung der Tätigkeit nachzuweisen. Die summative Evaluation soll unter realistischen Bedingungen stattfinden. Entsprechend unrealistisch wäre es, jedes Mal unmittelbar vor Gebrauch den Nutzer zu schulen.
7: Auch Nutzungsanweisungen müssen getestet werden.
Alle Instructions for Use gelten als Teil der Nutzerschnittstelle und müssen somit getestet werden. Als Instructions for Use bezeichnet man die Informationen, die Sie bereitstellen müssen, damit der Nutzer Ihr Produkt zielbringend und sicher nutzen kann.
Bedienungsanleitungen, Packungsbeilagen und Sicherheitswarnungen werden also ebenfalls evaluiert. Auch diese sollten bereit sein, der summativen Evaluation standzuhalten.
8: Rekrutieren Sie die richtige Zielgruppe.
Um valide Testergebnisse zu bekommen, müssen Sie mit der richtigen Zielgruppe testen. Hieran führt kein Weg vorbei. Die große Kunst hierbei ist es, die Zielgruppen nach relevanten und wesentlichen Merkmalen zu unterscheiden.
Je spezieller Ihr Produkt ist, desto spezieller kann auch die Zielgruppe sein. Die Nutzer müssen immer zum definierten Verwendungszweck Ihres Produkts passen. Wenn Sie mit der falschen Zielgruppe testen, dann kann das Ihre Zulassung gefährden. Das gilt nicht nur für die summative Evaluation. Die Passung der Zielgruppe ist schon für die formativen Evaluationen besonders wichtig, da diese ja die Grundlage für die Produktentwicklung und für Ihre Argumentation gegenüber der Benannten Stelle bilden.
Entsprechend viel Zeit und Sorgfalt sollte in das Recruiting der Testteilnehmer fließen. Agenturen, die sich auf UX-Research spezialisiert haben, greifen oft auf einen großen Pool an möglichen Teilnehmern zurück. Ziehen Sie auch eine Beratung oder externe Rekrutierung in Betracht. So können Sie bestmögliche Ergebnisse erreichen.
9: Rekrutieren Sie ausreichend viele Personen.
Wer mit zu wenigen Personen testet, bekommt keine besonders aussagekräftigen Ergebnisse. Die Ergebnisse werden mit einer immer kleiner werdenden Testgruppe entsprechend volatiler. Das schwächt Ihre Argumentationsgrundlage gegenüber der Benannten Stelle.
Um hier eine solide Grundlage zu haben, sollten Sie mit mindestens 15 Personen pro Zielgruppe testen. (source)
10: Testen Sie mit dem Production Equivalent Device.
Getestet wird in der summativen Evaluation mit dem Production Equivalent Device. Es müssen also alle Materialien und Gerätekomponenten in Nullserie vorliegen. Besteht Ihr Production Equivalent Device den Test nicht, kann es zu großen Verzögerungen und hohen Kosten kommen.
Sie sollten daher nach Möglichkeit mit dem Production Equivalent Device vorab eine formative Evaluation durchlaufen, um sicher zu sein, dass es auch den Testbedingungen der summativen Evaluation standhält.
Sie sollten sich auch bewusst sein, dass nach der summativen Evaluation nichts mehr an Ihrem Produkt geändert werden darf. Jede Änderung bedeutet dann eine neue summative Evaluation.
11: Testen Sie mit dem richtigen Equipment.
In der summativen Evaluation geht es um das Handling und die Bedienung des Produkts. Ein nicht zugelassenes Medizinprodukt darf nicht am Patienten verwendet werden. Entsprechend müssen Sie mit dem richtigen Equipment testen, um die Anwendung am Patienten zu simulieren.
Invasive Produkte zum Beispiel müssen an Dummys getestet werden. Diese und weiteres Equipment kann schnell sehr preisintensiv werden. Preislich attraktiver kann es sein, sich einen spezialisierten Dienstleister zu suchen, der das Equipment im Zuge der Zusammenarbeit bereitstellen kann, weil er dieses bereits besitzt, wartet und pflegt.
12: Sorgen Sie für eine reale Umgebung mit realen Störquellen.
Für die summative Evaluation soll Ihr Produkt unter möglichst realitätsnahen Bedingungen getestet werden. Auch Störquellen und Interferenzen mit anderen Geräten müssen hier berücksichtigt werden. Beachten Sie diese während der Durchführung und bereiten Sie Ihr Produkt und Ihr Test-Set-Up entsprechend vor.
13: Lassen Sie die summative Evaluation durch geeignete Personen durchführen.
Die summative Evaluation darf nur durch geeignete Personen durchgeführt werden. An der Entwicklung beteiligte Personen sind hier ausgeschlossen. Auch Mitarbeiter Ihres Unternehmens dürfen nicht die summative Evaluation für Sie durchführen.
Je unerfahrener mit dem Produkt und je weniger intern die geeignete Person ist, desto leichter können Sie gegenüber der Benannten Stelle argumentieren.
Welche Kriterien müssen geeignete Personen erfüllen?
- Sie sind Teil der geeigneten Nutzergruppe.
- Sie haben also die passende Qualifikation, den passenden Beruf, das richtige Alter und alle Fähigkeiten und Fertigkeiten, die die Zielgruppe mitbringen muss.
- Bei Patienten kann auch ein spezifisches Krankheitsbild Voraussetzung sein, um als geeignete Person zu gelten.
14: Verzichten Sie auf Fragen während der summativen Evaluation.
Die summative Evaluation soll unter möglichst realistischen Bedingungen stattfinden. Intervenieren, nachfragen oder sogar helfen dürfen Sie entsprechend während dem Test nicht.
Auch wenn Sie während der summativen Evaluation nicht eingreifen dürfen, sind davon losgelöste Nachbefragungen zu möglichen Fehlern sehr wichtig.
15: Vermeiden Sie Störungen der realistischen Test-Bedingungen.
In formativen Evaluationen kann es hilfreich sein, den Nutzer zu bitten, seine Gedanken während der Nutzung des Produkts laut auszusprechen. Diese Thinking Aloud Methode ist in der summativen Evaluation nicht erlaubt. Auch hier gilt es, die möglichst realistischen Bedingungen nicht zu stören. Was also während formativer Evaluationen als gängige UX-Methode wichtige Fehlerquellen zutage fördert, ist in der abschließenden Evaluierung nicht erlaubt.
16: Denken Sie an die Nachbefragungen.
Am Ende der Evaluation steht eine Ursachenanalyse der gemachten Fehler. Hier sind Nachbefragungen sehr wichtig. Teilnehmer werden hier zur Nutzung des Produkts befragt. Ziel ist es auch herauszufinden, ob ihre Erwartungshaltungen erfüllt wurden und wie zufriedenstellend die Nutzung war.
17: Am Ende entscheiden die Ergebnisse über die Zulassung. Notfalls müssen Sie Ihr Produkt weiter anpassen.
Ob ein Produkt sicher ist, wird anhand der Ergebnisse der summativen Evaluation entschieden.
Je nach Bewertung der Ergebnisse kann es sein, dass Sie Ihr Produkt weiter anpassen müssen, bis es sicher für die Nutzung ist. Sie sollten also bereits im Vorfeld sicherstellen, dass keine kritischen Fehler mehr passieren, um die Kosten einer wiederholten summativen Evaluation zu vermeiden.
Professionell durchgeführte formative Evaluationen können Ihr Leben hier sehr erleichtern. Sie sind die beste Methode, kritische Fehler in einer Phase Ihres Produkts zutage zu fördern, in der die Fehlerbehebung verhältnismäßig günstig ist. Einen entsprechend hohen Stellenwert sollten die formativen Evaluationen für Sie haben.
Sie vermissen die Akzeptanzkriterien?
Akzeptanzkriterien klären die Frage, bis wann ein Bedienfehler okay ist und wann er es nicht mehr ist. Nach aktuellem Stand der IEC 62366-1 ist der Nachweis der Akzeptanzkriterien nicht mehr nötig. Was genau sich in der Norm geändert hat, werden wir in einem gesonderten Artikel besprechen.
Fazit
Jetzt haben Sie einen Überblick über die Do’s and Dont’s für summative Evaluationen. Sie wissen, wie Sie gezielt Ihre Ergebnisse verbessern können und auf die Anforderungen für die Zulassung bestmöglich vorbereitet sind. Natürlich kann Ihr konkreter Fall noch einige spezielle Punkte mehr benötigen.
Wir helfen Ihnen gerne dabei, Ihr Produkt auf die summative Evaluation vorzubereiten und Ihnen die Sorge über die Einhaltung der Anforderungen abzunehmen.
Um Ihren konkreten Fall zu betrachten und Ihren individuellen Herausforderungen gerecht zu werden, bieten wir Ihnen ein kostenloses Strategiegespräch an.
Wir freuen uns auf Sie. Nutzen Sie einfach unser Kontaktformular, um mit uns in Verbindung zu treten.
