Die erfolgreiche summative Evaluation von Medizinprodukten ist von entscheidender Bedeutung für die Zulassung. Doch oft können unzureichende Planung, unklare Durchführung und mangelhafte Nachbereitung zu kostspieligen Verzögerungen führen.
In diesem Artikel präsentieren wir Ihnen 10 bewährte Praktiken, die Ihnen helfen, eine summativen Evaluation für Medizinprodukte erfolgreich und effizient zu planen, durchzuführen und abzuschließen. Durch die Anwendung dieser Best Practices können Sie nicht nur Zeit und Ressourcen sparen die bei nicht erhaltener Zulassung anfallen würden, sondern auch sicherstellen, dass Ihre Produkte den höchsten Standards entsprechen und die Patientensicherheit gewährleisten.
Viel Spaß beim Lesen!
1. Wählen Sie den richtigen Prozess
Wir empfehlen dringend, das Usability Engineering gemäß der Norm IEC 62366-1 oder den Human Factors Engineering Prozess als den richtigen Prozess für alle Schritte vor, während und nach der summativen Evaluation von Medizinprodukten zu verwenden. Diese Normen bieten einen umfassenden Rahmen für die systematische Integration von Usability-Prinzipien in den gesamten Entwicklungsprozess von Medizinprodukten. Durch die Einhaltung dieser Norm werden bewährte Verfahren und Methoden für die Analyse, das Design und die Bewertung der Gebrauchstauglichkeit von Medizinprodukten festgelegt.
Ein strukturierter Ansatz gemäß IEC 62366-1 gewährleistet die Einhaltung regulatorischer Anforderungen und trägt zur erfolgreichen Zulassung und Markteinführung von Medizinprodukten bei und erspart Ihnen einige Diskussionen mit den Zulassungsstellen.
2. Planen Sie gründlich
Eine gründliche Planung ist entscheidend für den Erfolg Ihrer summativen Evaluation. Wichtige Überlegungen umfassen die Erstellung eines realistischen Zeitplans, der ausreichend Zeit für die Rekrutierung von Teilnehmern, Datensammlung, Analyse und Berichterstattung vorsieht. Es ist wichtig zu beachten, dass die Rekrutierung ausgewählter Nutzergruppen zeitaufwändig sein kann.
Budgetbeschränkungen müssen ebenfalls berücksichtigt werden, um sicherzustellen, dass alle Aspekte der Studie finanziell umsetzbar sind.
Ein gut durchdachter Plan berücksichtigt potenzielle Hindernisse und beinhaltet Strategien zu ihrer Bewältigung.
3. Bereiten Sie sich richtig vor: Iterative Tests und Analysen
Die Durchführung iterativer („formativer“) Tests und Analysen ermöglichen es, Erkenntnisse aus früheren Testphasen zu nutzen, um Designs und Konzepte kontinuierlich zu verbessern. Nach jeder Testrunde werden Daten sorgfältig analysiert und interpretiert, um Bereiche für Verbesserungen zu identifizieren.
Im Anschluss werden Anpassungen am Produkt oder System vorgenommen und erneut getestet (so lange, bist keine kritischen Bedienfehler mehr auftreten).
Obwohl diese formativen Tests nicht zwingend vorgeschrieben sind, haben wir bisher noch kein Medizinprodukt erlebt, das ohne die Vorbereitung durch iterative Tests eine abschließende Usability-Prüfung bestanden hat.
4. Rekrutieren Sie die richtige Zielgruppe
Die Auswahl der Teilnehmer ist ein entscheidender Schritt, um sicherzustellen, dass sie ein akkurates Spiegelbild Ihrer Zielgruppe für das zu testende Produkt oder System darstellen. Das ist ein kritischer Schritt für die Zulassung. Haben Sie kein akkurates Spiegelbild der Zielgruppe, werden Sie die Zulassung nicht bekommen.
Es ist wichtig, dass Ihre Nutzergruppen in ihren wesentlichen Merkmalen genau definiert sind. Bei breiten Nutzergruppen wie Laiennutzern ist es ratsam, eine ausgewogene Mischung von Merkmalen wie Alter, Geschlecht, Erfahrungsniveau und anderen demografischen Faktoren zu berücksichtigen. Dies gewährleistet, dass die Ergebnisse der Studie repräsentativ sind und auf die Gesamtpopulation übertragen werden können.
Darüber hinaus ist es wichtig, Faktoren wie die Verfügbarkeit und die Bereitschaft der Teilnehmer zur Mitarbeit zu berücksichtigen.
5. Achten Sie ethische Grundsätze
Die Achtung ethischer Grundsätze und die Einhaltung von Einverständniserklärungen sind von entscheidender Bedeutung und tragen zu einer moralischen Verantwortung bei, insbesondere bei der Durchführung von summativen Evaluationen.
Es ist von höchster Wichtigkeit, die Privatsphäre der Teilnehmer zu schützen, ihre Freiwilligkeit sicherzustellen und informierte Einverständniserklärungen einzuholen.
Die Teilnehmer sollten umfassend über den Zweck der Studie, ihre Rolle darin, mögliche Risiken sowie die Verwendung ihrer Daten aufgeklärt werden.
Zusätzlich sollte die Vertraulichkeit ihrer persönlichen Informationen gewährleistet und die Möglichkeit zum Rückzug aus der Studie ohne negative Konsequenzen geboten werden.
Die Einhaltung dieser ethischen Standards ist nicht nur gesetzlich vorgeschrieben, sondern fördert auch das Vertrauen und die Kooperation der Teilnehmer.
6. Sorgen Sie für die Verwendung der richtigen Szenarien
In der summativen Evaluation Ihres Produkts sollten Sie folgendes beachten: Die Auswahl der zu testenden Szenarien kann entweder alle gefährdungsbezogenen Szenarien umfassen oder eine begründete Auswahl treffen, basierend auf dem Schweregrad potenzieller Schäden und anderen spezifischen Umständen des Medizinprodukts und des Herstellers (vgl. IEC 62366-1:2021-08, Kapitel 5.5).
Denken Sie auch daran, nicht nur die Auswahl der Szenarien für die summative Evaluation richtig zu dokumentieren, sondern auch das gewählte Auswahlschema sowie eine ausreichende Begründung für die Wahl des jeweiligen Schemas. Haben Sie nicht richtig begründet, wird Ihnen die Zulassungsbehörde die Zulassung verweigern.
7. Achten Sie auf realistische Testumgebungen
Die Verwendung realistischer Testumgebungen trägt dazu bei, die Validität und Zuverlässigkeit der Ergebnisse zu erhöhen, indem die Studie in einer Umgebung durchgeführt wird, die der tatsächlichen Nutzungssituation so nah wie möglich kommt.
Insbesondere bei Tests für medizinische Geräte ist es ratsam, sie in einem realistischen Umfeld durchzuführen, um die realen Arbeitsbedingungen des medizinischen Personals zu simulieren. Durch die Nutzung realistischer Umgebungen können authentische Benutzerverhalten und Interaktionen erfasst werden, was zu relevanteren und anwendbareren Erkenntnissen führt.
Es ist auch wichtig, Störgeräusche und andere potenzielle Störquellen realistisch abzubilden. In einigen Fällen, wie beispielsweise bei der Simulation eines OP-Saals, kann es erforderlich sein, dass eine gut ausgestattete Agentur für Medical Usability und UX das benötigte Equipment und die entsprechenden Räumlichkeiten im Rahmen Ihres Budgets bereitstellt.
8. Sorgen Sie für die Sicherung der Datenqualität
Die Sicherung der Datenqualität bildet die Grundlage für verlässliche Ergebnisse in Studien. Daher ist es entscheidend, Maßnahmen zu ergreifen, um Verzerrungen und Fehler während der Datenerhebung zu minimieren.
Dies kann durch die Anwendung standardisierter Testverfahren, die Schulung der Forscher und die sorgfältige Auswahl der Messinstrumente erfolgen. Darüber hinaus ist es wichtig, dass die Daten systematisch erfasst, gespeichert und analysiert werden, um konsistente und nachvollziehbare Ergebnisse sicherzustellen. Auch dieser Schritt ist kritisch für die Zulassung.
9. Achten Sie auf die richtige Dokumentation
Eine umfassende und detaillierte Dokumentation des Forschungsprozesses und der Ergebnisse ist von entscheidender Bedeutung, um Transparenz und Nachvollziehbarkeit zu gewährleisten.
Hierzu zählen die Aufzeichnung der Studienmethodik, der Teilnehmerdaten, der angewandten Testverfahren und der gesammelten Daten.
Eine solide Dokumentation ermöglicht es anderen, die Studie zu überprüfen, zu replizieren oder darauf aufzubauen. Sie trägt maßgeblich zur Transparenz und Glaubwürdigkeit der Studie bei und ist ein wesentlicher Bestandteil für die Veröffentlichung und Präsentation der Ergebnisse, insbesondere gegenüber den Zulassungsbehörden wie Benannte Stellen oder die FDA, die für Ihre Zulassung verantwortlich sind.
10. Führen Sie eine Root Cause Analysis durch
Ein wesentliches Best Practice für summative Usability-Evaluationen von Medizinprodukten ist die Implementierung einer Root Cause Analysis (RCA). Diese Methode ermöglicht es, die Ursachen von identifizierten Problemen oder Unzulänglichkeiten während der Evaluation zu ermitteln. Indem man über die oberflächlichen Symptome hinausblickt, können die zugrunde liegenden Ursachen identifiziert werden, die zu den Problemen geführt haben.
Fazit
Durch die Integration dieser Best Practices können summativen Evaluationen für Medizinprodukte noch effektiver durchgeführt werden, wodurch sich Ihre Chance auf eine erfolgreiche Zulassung drastisch erhöhen.
Sie wissen nun, wie Sie sich bestmöglich auf eine summative Evaluation vorbereiten. Wenn Sie vor der Frage stehen, ob Sie die summative Evaluation intern oder mit einem externen Partner durchführen sollen, empfehlen wir Ihnen unseren Artikel „Summative Evaluation für Medizinprodukte – was sind die Vor- und Nachteile der internen oder externen Durchführung?“.
Sie brauchen Hilfe bei der Planung, Durchführung und Dokumentation Ihrer summativen Evaluation? Melden Sie sich gerne über unser Kontaktformular. Wir freuen uns auf Sie.
