Sie wissen, dass Sie Usability Testing laut In Vitro Diagnostic Device Regulation (IVDR), der Europäischen Verordnung für In-vitro-Diagnostika, für Ihr In-Vitro Diagnostikum (IVD) nachweisen müssen, wissen aber noch nicht, wie genau Sie sich darauf vorbereiten müssen? Dann sind Sie in diesem Artikel genau richtig.
Wir klären die folgenden Fragen:
- Wie bereiten Sie sich bestmöglich auf das Usability Testing Ihres IVDs vor?
- Was müssen Sie erledigt haben, um die nötigen Grundlagen für das Testing geschaffen zu haben?
- Was gibt es bei der Rekrutierung der jeweiligen Nutzergruppe zu beachten?
- Was müssen Sie zur richtigen Dokumentation wissen?
Wenn Sie diesen Artikel lesen, finden Sie klare Antworten auf all diese Fragen und können am Ende einschätzen, was für eine pragmatische und zielführende Umsetzung des Usability Testings für Ihr IVD essenziell ist.
Was wird von Ihnen gefordert?
Seit der Einführung der IVDR haben sich viele grundlegende Dinge für Sie als Hersteller von IVDs geändert. Während unter der IVDD circa 20 % der IVDs über eine Benannte Stelle zugelassen werden mussten, sind es unter der IVDR nun circa 80 % der Produkte (source). Auch die Anforderungen an Ihr Produkt wurden umfangreich erweitert. Eine der wichtigsten Neuerungen ist der geforderte, wenn auch nicht explizit benannte, Nachweis der Usability Ihres IVDs.
Was also wird Ihnen in Bezug auf die Usability Ihres IVDs gefordert? Sie müssen Usability Testing und Usability Engineering betreiben und den Nachweis über beides mit einem Usability Engineering File erbringen, um Ihr Produkt über eine Benannte Stelle zulassen zu können. Auch für Produkte, die bereits auf dem Markt sind, müssen Sie eine Fehlerursachenanalyse mithilfe eines Usability Engineering Files nachweisen.
Die Zielsetzung
Das summative Usability Testing ist essenziell, um die sichere Bedienbarkeit Ihres Produkts für die Zulassung nachzuweisen. Entsprechend legen wir in diesem Text den Fokus auf die summative Evaluation. Natürlich ist es auch möglich, Ihr IVD in formativen Evaluationen zu testen und iterativ zu verbessern.
Bei der summativen Evaluation wird getestet, ob bestimmte Nutzer in einem bestimmten Nutzungskontext ein Produkt, ein System oder eine Dienstleistung effektiv, effizient und zufriedenstellend nutzen können. Dabei darf kein Schaden für Nutzer, Patienten und Dritte entstehen. Nur wenn dies erreicht wird, erfüllt Ihr IVD die Anforderungen der IVDR an die Usability.
Sicherheitsrisiken während der Nutzung werden beim Testing erkannt, dokumentiert, um dann das Produkt durch Usability Engineering so umzugestalten, dass eine sichere Nutzung so weit wie möglich gewährleistet wird.
Einen Überblick darüber, wie wir Usability Testing machen, können Sie hier bekommen. Wie Usability Testing für ein IVD in dem konkreten Fall der Covid19-Laientests aussehen kann, können Sie in unserem Artikel „Usability für Corona-Schnelltests“ nachlesen.
Folgende Dinge sind für das Usability Testing Ihres IVDs relevant:
- Die richtige Vorbereitung
- Die richtige Nutzergruppe
- Das richtige Nutzungsumfeld
- Das richtige Equipment
- Die Antwort auf die Frage „Kann die Probenentnahme simuliert werden?“
- Die Vollständigkeit und Verständlichkeit Ihrer Gebrauchsanweisungen bzw. Instructions for Use
- Die richtige Dokumentation des Testings
- Die spezifischen Anforderungen der IVDR an Ihre Art von IVD
Schauen wir uns diese Punkte im Detail an.
Die richtige Vorbereitung
Was müssen Sie im Vorfeld bereits geleistet haben, damit Sie mit dem Usability Testing beginnen können?
- Sie müssen die Use Specification bereits definiert haben. Das heißt: Sie müssen festgelegt haben, welchen Zweck Ihr IVD haben soll, von wem es genutzt wird, in welcher Umgebung es genutzt werden soll und wie es benutzt werden soll.
- Die Leistungsbewertungsprüfung Ihres IVDs muss abgeschlossen sein.
- Ihre Instructions for Use müssen für das summative Testing vollständig vorhanden sein.
- Das Produkt muss in einer testbaren Version vorliegen.
Die richtige Nutzergruppe
Um die sichere Nutzung Ihres Produkts nachzuweisen, müssen Sie zeigen, dass die von Ihnen festgelegte Nutzergruppe in der Lage ist, dieses ohne kritische Fehler zu nutzen. Entsprechend müssen Sie das Produkt mit echten Nutzern testen oder zeigen, dass Sie Produkte mit äquivalenter Verwendung und gleicher Zielgruppe bereits erfolgreich getestet haben. Es ist also zwingend erforderlich, dass die Teilnehmer immer der Zielgruppe Ihres IVDs entsprechen.
Wenn Sie Ihr Produkt für medizinisches Fachpersonal zulassen wollen, dann müssen Sie mit Nutzern mit eben diesem beruflichen Hintergrund testen.
Etwas schwieriger wird es bei der Laienanwendung. Hier muss ein repräsentativer Schnitt aus der Gesellschaft getestet werden. Entsprechend brauchen Sie hier eine große Teilnehmerzahl für Ihre Usability Tests. Hier kann es allerdings auch Einschränkungen der Testgruppe geben. Ein Schwangerschaftstest kann beispielsweise nur mit Frauen einer bestimmten Altersspanne getestet werden.
Für alle Tests gilt: Fangen Sie frühestmöglich mit dem Recruiting der Testteilnehmer an. So vermeiden Sie zeitliche Engpässe kurz vor Testbeginn. Manche Zielgruppen sind schwieriger zu rekrutieren als andere. Machen Sie sich frühzeitig Gedanken, welche Teilnehmer Sie brauchen.
Denken Sie auch daran, mehr Teilnehmer zu rekrutieren, als Sie brauchen, um auch bei Absagen und Krankheitsfällen effizient testen zu können. Wenn Sie sich den Aufwand der Rekrutierung sparen wollen, können Sie externe Agenturen beauftragen. Diese greifen oft auf eine große Datenbank an möglichen Teilnehmern aller Nutzergruppen zurück.
Das richtige Nutzungsumfeld
Wo soll Ihr IVD verwendet werden? Entsprechend der Antwort auf diese Frage müssen Sie eine realistische Nutzungsumgebung für Ihre Usability Tests simulieren.
Mögliche Beeinträchtigungen der Konzentration des Nutzers müssen hier realistisch simuliert werden. Das heißt: Soll Ihr IVD an lauten Orten genutzt werden, müssen Sie das abbilden während der Tests.
Das richtige Equipment
Folgende Fragen sollten Sie im Voraus für sich beantworten können:
- Welche Möglichkeiten haben Sie zu testen? Welche Räumlichkeiten und Ressourcen können Sie zur Verfügung stellen?
- Wie sieht eine realistische Umgebung für die Nutzung aus? Ist es laut und hektisch, oder sind viele Menschen im Raum?
- Welche Arbeitsschritte gibt es bei der Nutzung des IVDs?
- Wie wollen Sie die Nutzung Ihres Produkts realistisch abbilden für die Usability Tests?
Sie müssen während Ihrer Tests nicht zwangsläufig Proben an echten Menschen entnehmen. Für viele Fälle lässt sich die Probenentnahme simulieren. Das kann beispielsweise an einem Patientensimulator passieren oder an einem von vielen unterschiedlichen und teils sehr kostspieligen Dummys.
Wichtig ist für Sie folgende Frage: welche Art von Dummy brauchen Sie, um die Nutzung auch richtig zu simulieren? Achten Sie hierbei darauf, dass sich das Produkt dazu eignet, um das, was Sie nachweisen wollen, auch wirklich nachzuweisen. Beispielsweise kann ein bestimmter Teil des Dummys farblich markiert sein, um bei einem Test zu zeigen, ob der Nutzer beim Abstrich den richtigen Bereich getroffen hat.
Kann die Probenentnahme simuliert werden?
In-vitro-Diagnostika für geschultes Personal ermöglichen oft eine simulierte Probenentnahme. IVDs die auf die Laienanwendung ausgelegt sind, müssen hingegen mit ausreichend Laien getestet werden. Hier kann eine Probenentnahme in vielen Fällen nicht realitätsnah simuliert werden. Das hat zur Folge, dass Ihr Usability Test zur klinischen Studie wird. Entsprechend brauchen Sie die Zustimmung einer Ethikkommission. Hier sollten Sie externe Experten hinzuziehen, da Vorbereitung und Durchführung schnell sehr zeitintensiv werden können.
Instructions for Use
Eine sichere Nutzung unter realistischen Bedingungen bedeutet auch, dass die Teilnehmer keine weitere Hilfestellung bekommen außer der Packungsbeilage Ihres Produkts. Auch Nutzungshinweise auf der Verpackung sind hier relevant. Können Sie nicht nachweisen, dass Ihr Produkt mit den mitgelieferten Informationen sicher zu nutzen ist, müssen gegebenenfalls Ihre Instructions for Use angepasst werden.
Auch die Testergebnisse müssen korrekt mithilfe der Packungsbeilage interpretiert werden können. Jeder Testteilnehmer muss jedes mögliche Ergebnis fehlerfrei deuten können. Natürlich können Sie nicht jeden Teilnehmer eine Vielzahl an Tests machen lassen, die immer ein unterschiedliches Ergebnis anzeigen. Um nachzuweisen, dass Teilnehmer alle Ergebnisse deuten können, können Sie Fotos von bereits durchgeführten Tests auf Karten drucken und diese dann zur Interpretation vorlegen.
Die richtige Dokumentation
Benannte Stellen fordern nicht nur die Durchführung des Usability Testings, sondern vor allem auch den lückenlosen Nachweis über alles, was Sie bezüglich der Usability Ihres Produkts unternommen haben. Hier sind Sie in der Pflicht, eine schlüssige Argumentation über Ihr Vorgehen zu liefern. Sie müssen also darlegen, dass die Schritte, die Sie unternommen haben, dazu führen, dass Ihr IVD effizient und möglichst risikofrei zu nutzen ist.
Entsprechend müssen Sie sich von Beginn an darüber im Klaren sein, wie Sie Ihre Tests lückenlos dokumentieren wollen. Das umfasst die folgenden Punkte:
- Sie müssen Ihre Methodenwahl begründen können.
- Die Daten der Usability Tests müssen bereitgestellt werden.
- Die Usability Engineering Tätigkeiten müssen nachweislich von dafür qualifiziertem Personal durchgeführt werden.
Besonderer Fokus sollte auf dem Usability Engineering File liegen. Dies beinhaltet alles, was Sie in Bezug auf die Usability Ihres Produkts unternommen haben und liefert somit die Nachweise für die Benannten Stellen.
Arbeiten Sie mit einer UX-Agentur zusammen, kann Sie die Agentur auch bei der Erstellung des Usability Engineering Files unterstützen. Wenn Sie nur die Unterstützung für die Studiendurchführung erfragt haben, dann erhalten Sie für gewöhnlich einen Test Report, der alle Inhalte des Testings dokumentiert und als Report Ihrem Usability Engineering File hinzugefügt werden kann.
Die spezifischen Anforderungen an Ihre Art von IVD
Bevor Sie das Usability Testing angehen, sollten Sie sich im Klaren darüber sein, welche speziellen Anforderungen die IVDR an Ihre Art von IVD stellt und was das für das Testing bedeutet.
Ein und dasselbe Gerät kann je nach Anwendungszweck unterschiedliche Anforderungen für das Testing generieren. Ist es beispielsweise ein patientennahes IVD, das von Personal aus dem Gesundheitswesen genutzt wird, kann eine Probenentnahme mit dem richtigen Equipment simuliert werden. Ist dasselbe Produkt aber für die Laienanwendung ausgelegt, ergibt sich daraus eine sehr viel größere Zielgruppe, bei der Sie die Probenentnahme nicht mehr simulieren können.
In welche Risikoklasse Ihr IVD eingeteilt wurde, spielt für das Usability Testing keine Rolle. Für den Testablauf ergeben sich hieraus keinerlei Besonderheiten. Mögliche Besonderheiten können allerdings nach Abschluss des Testings bei der Bewertung der beobachteten Fehler hinsichtlich des daraus entstehenden Risikos entstehen.
Für manche IVDs gibt es bereits ausführliche MDCG Guidance Documents, die ganz klare Vorgaben liefern, die auch das Usability Testing betreffen. So ist zum Beispiel für Corona-Selbsttests eine bestimmte Anzahl an Teilnehmern vorgeschrieben.
Wenn Sie schon im Vorfeld wissen wollen, ob es ein detailliertes MDCG Guidance Document zu Ihrer Art IVD gibt, können Sie hier nachschauen. Viele der Dokumente befinden sich noch im Entstehen und es kommen immer wieder neue hinzu.
Fazit
Usability Testing für IVDs sollte bedacht vorbereitet und lückenlos dokumentiert werden. Nur so können Sie alle benötigten Nachweise zur Usability Ihres Produkts gegenüber der Benannten Stelle liefern. An Tests mit der richtigen Nutzergruppe führt kein Weg vorbei, wenn Sie die Zulassung Ihres IVDs sichern wollen. Kosten für das richtige Equipment und Zeitaufwand für die Testteilnehmer-Rekrutierung können sehr schnell eine Menge Ressourcen kosten. Entsprechend lohnt es sich hier, einen externen Partner mit ins Boot zu holen.
Für Ihre Vorbereitung auf die summative Evaluation nach IVDR haben wir Ihnen hier eine Checkliste samt Erklärungen vorbereitet.
Was sind Ihre Erfahrungen mit Usability Testing für IVDs? Was ist Ihr konkreter Fall? Schreiben Sie uns einen Kommentar oder melden Sie sich über unser Kontaktformular. Gerne können wir Ihren speziellen Fall gemeinsam in einem kostenlosen Kennenlerngespräch durchsprechen. Wir freuen uns auf Sie.
