Wenn Sie einen Corona-Schnelltest für den Markt zulassen wollen, stellen sich Ihnen einige wichtige Fragen. Welche Anforderungen an die Usability gibt es für Ihr Produkt? Welche Normen und Regularien müssen Sie beachten? Wie setzen Sie die Anforderungen der MDCG um? Wie testen Sie die Usability eines Corona-Schnelltests und was gibt es bei den Tests zu beachten? Wie bauen Sie diese auf? Wie viele Teilnehmer und Teilnehmerinnen brauchen Sie, damit Sie valide Ergebnisse erhalten? Und wie testen Sie mit mehreren Teilnehmern, während Sie ein sicheres Hygienekonzept einzuhalten haben?
Dieser Artikel liefert Ihnen Antworten auf diese Fragen und Klarheit über alles, was Sie über das Usability Testing Ihres Corona-Schnelltests wissen müssen. Wir zeigen Ihnen einen klaren Ablauf und sagen Ihnen, was Sie vorab wissen sollten.
Die aktuelle Lage
Corona-Schnelltests unterliegen mittlerweile sehr klar definierten Anforderungen an das Produkt. Darunter auch Ansprüche an die Usability. Diese müssen Sie erfüllen, wenn Sie ein zugelassenes Medizinprodukt haben wollen.
Seit August 2021 haben sich die europäischen Benannten Stellen gemeinsam auf sehr klare Anforderungen für die Zulassung eines Corona-Schnelltests geeinigt und diese in einem Guidance Dokument veröffentlicht.
Was sind die Besonderheiten bei Corona-Schnelltests?
Sie zählen zu den IVDs. Um einen Corona-Schnelltest auszuführen, muss eine Probe aus dem menschlichen Körper entnommen werden. Die Tests zählen also zu den In-Vitro-Diagnostika, kurz IVDs, und sind ab Mai 2022 den Anforderungen der IVDR, der In-vitro-Diagnostic Device Regulation, unterworfen. Die grundlegenden Sicherheits- und Leistungsanforderungen an das Produkt werden hier definiert. Das passende MDCG Guidance Dokument gibt klare Hinweise darauf, wie diese umgesetzt werden sollen. Hierzu zählt auch der Nachweis einer sicheren Usability.
Für die Zulassung eines Corona-Schnelltests besteht also die Pflicht, Usability Engineering zu betreiben. Auch eine summative Evaluation müssen Sie für die Zulassung Ihres Produkts durchlaufen.
Sie sind ausgelegt für die Laiennutzung. Entsprechend müssen sie für ungeschulte Nutzer sicher zu nutzen, verständlich und fehlerfrei interpretierbar sein.
Regulatorische Hintergründe für die Usability von Corona-Schnelltests
Die Medical Device Coordination Group, kurz MDCG, stellt Herstellern von Corona-Schnelltests ein Dokument mit Vorgaben bereit. Dieses heißt „Guidance on performance evaluation of SARS-CoV-2 in vitro diagnostic medical devices“ und enthält einige sehr wichtige Informationen für Sie.
Besonders interessant sind die Tabellen 4 und 6. Diese fordern:
- Ein Minimum an 100 Teilnehmern pro Test. Haben Sie also einen Spucktest und einen Test mit Nasenabstrich, dann brauchen Sie jeweils 100 Teilnehmer.
- Diese 100 Teilnehmer müssen allesamt in der Lage sein, die Resultate des Tests richtig abzulesen und korrekt zu interpretieren. Benannt sind die folgenden Ergebnisse, die von allen Teilnehmern richtig erkannt werden müssen: reaktiv, schwach reaktiv, nicht-reaktiv, nicht valide.
- Ein Laie muss also beim Ablesen der Testergebnisse auf dieselben Schlüsse kommen wie eine Person, die Erfahrung im Ablesen von In-Vitro-Testergebnissen hat.
Die Rekrutierung
Sie müssen eine beachtliche Anzahl an Probanden für Ihre Tests finden. Am Ende müssen Sie zeigen können, dass Sie eine gemischte Gruppe haben, die repräsentativ ist. Zum Beispiel wäre es nicht repräsentativ, nur Personal aus der Medizinbranche für die Durchführung eines Laientests zu rekrutieren.
Wichtig ist, dass Sie hier im Vorfeld sicher sind, für welche Gruppen der Test zugelassen werden soll. Soll er beispielsweise auch für Kinder zugelassen werden, dann muss man diese ebenfalls in ausreichender Anzahl testen.
Allerdings sollten Sie ein paar Nutzer mehr einplanen, da es natürlich immer zu unerwarteten Ausfällen und Absagen kommen kann.
Wenn es Ihnen zeitlich nicht möglich sein sollte, eine solche Anzahl von Teilnehmern zu rekrutieren, sollten Sie sich extern Hilfe holen. Spezialisierte Usability Engineering Agenturen haben oft sehr große Datenbanken an möglichen Nutzern aufgebaut, die auch bei In-Vitro Studien mitmachen.
Zudem sollten Sie schon früh daran denken, dass jeder Teilnehmer eine eigene Teilnehmer-ID braucht, die dann ganz klar seinem späteren Test samt Fragebogen zugeordnet werden kann.
Wie Sie sich richtig vorbereiten
Das Hygienekonzept. Wichtig ist, dass Sie sich im Voraus ein Hygienekonzept zurechtlegen und dessen Umsetzung genauestens planen. Usability Testing mit einer solchen Anzahl an Teilnehmern ist nur effektiv und sicher umzusetzen, wenn Sie ausreichend Platz und Material haben. Können Sie in Ihren Räumlichkeiten jederzeit gewährleisten, dass der Mindestabstand zwischen allen Personen eingehalten werden kann? Haben Sie auch genügend Desinfektionsmittel, Handschuhe, Müllbeutel und Masken parat?
Durchdachte Fragebögen. Essenziell für den Test sind die richtigen Fragebögen. Zum einen müssen sie den Usability Engineering Researchern den Fokus auf die Test-Beobachtung legen lassen, zum anderen müssen Sie darauf achten, dass es Felder für Anmerkungen gibt. Diese Anmerkungen sind immer dann wichtig, wenn ein Teilnehmer von der erfolgreichen Ausführung eines Nutzungsschrittes abweicht.
Zudem müssen Sie mit Skalenfragen die Nutzerzufriedenheit messbar machen. So können Sie einschätzen und bewerten, wie leicht oder schwer einem Nutzer die bestimmten Nutzungsschritte gefallen sind.
Das geeignete Set-up
Um die Usability Ihres Corona-Schnelltests zu testen, brauchen Sie drei Dinge:
- Ausreichend viele Exemplare Ihres Produkts. Die Probanden müssen mit dem echten Produkt und der echten Gebrauchsanweisung testen. Nur so können Sie zeigen, dass Ihr Endprodukt sicher ist und die Anweisungen verständlich, vollständig und klar formuliert wurden. Die Verpackung muss ebenfalls dem Endprodukt entsprechen.
- Kamera und Equipment. Um die Tests auch richtig auswerten zu können, sollten Sie alles auf Video aufnehmen. Dieser Teil ist besonders wichtig, da alles, was nicht nachgewiesen werden kann, nicht berücksichtigt wird. Stellen Sie also sicher, dass Speicherkarten, Kameras und Ladegeräte richtig vorbereitet und ausreichend vorhanden sind.
- Alles, was für die Einhaltung des Hygienekonzepts notwendig ist. Sorgen Sie dafür, dass in all Ihren Testlaboren ausreichend Desinfektionsmittel, Masken, Müllbeutel und Reinigungstücher vorhanden sind.
Usability für Corona-Schnelltests – So testen Sie richtig
Die Usability für Corona-Schnelltests erfolgt durch die Beobachtung echter Nutzer bei der Bedienung des Produkts. Anschließend folgen Fragen zur Nutzererfahrung und zur Ursachenanalyse möglicher Bedienfehler.
Wie gehen Sie also Schritt für Schritt vor? Sie haben die nötigen Teilnehmer rekrutiert und das Set-up steht. Dann können Sie loslegen.
Begrüßung und Einführung in das Test-Set-up passieren am besten mit einem kleinen Gesprächsleitfaden, der sicherstellt, dass hier keine wichtigen Informationen vergessen gehen. Zu Beginn stehen zudem Fragen zu Alter, Geschlecht und eventuellen Vorerfahrungen mit der eigenverantwortlichen Nutzung von In-Vitro-Diagnostika, wie Blutzuckermessgeräten. An dieser Stelle müssen Sie auch darauf hinweisen, dass es sich bei Ihrem Test aufgrund der Probenentnahme um eine klinische Studie handelt.
In den Tests werden die Nutzer gebeten, den Corona-Schnelltest nur mithilfe der Packungsbeilage und den darin enthaltenen Anweisungen zu nutzen. Ein Usability Engineering Researcher beobachtet dabei die einzelnen Nutzungsschritte und greift weder helfend noch auf sonst eine Art und Weise ein. Einzig wenn der Nutzer kurz davor ist, etwas Gesundheitsgefährdendes zu tun, wird hier mit einem „Stop!“ dazu aufgefordert den Handlungsschritt abzubrechen.
Anders als bei vielen anderen UX Tests werden die Teilnehmer nicht dazu aufgefordert, ihre Gedanken während der Nutzung laut auszusprechen.
Während der Proband dann den Corona-Schnelltest nutzt, macht sich der Usability Engineering Researcher Notizen und vermerkt, wann immer ein Nutzungsschritt nicht wie vorgegeben ausgeführt wird.
Da ein einzelner Nutzer bei seinen Schnelltests nur ein Testergebnis erhalten wird, sollten Sie Kärtchen vorbereiten, auf denen die oben genannten Testergebnisse abgebildet sind. Bitten Sie den Nutzer, diese zu interpretieren. Kann er richtig benennen, welcher Test positiv und welches Ergebnis nicht valide ist? Jeder Nutzer muss hier jedes mögliche Testergebnis fehlerfrei interpretieren können.
Danach müssen die Nutzer die Skalenfragen beantworten. Wie einfach fanden sie bestimmte Schritte der Nutzung? Waren die Anweisungen der Packungsbeilage immer klar und deutlich? Liegt der Skalenwert mittig oder der unteren Hälfte der Zufriedenheitsskala, dann muss auch hier nachgefragt werden, warum genau es zu dieser negativen Einschätzung kam.
Die Befragung nach der Nutzung bezieht sich nun auf die Ursache der gemachten Fehlbedienungen. Wurde zum Beispiel die falsche Anzahl an Tropfen auf das Testgerät geträufelt, muss hier gefragt werden, wie es dazu kam.
Und dann? Die Nachbearbeitung
Für die Nachbearbeitung und Auswertung der Test sollten Sie die nötige Zeit einplanen. Die Faustregel: Die Auswertung eines Tests dauert voraussichtlich doppelt so lange wie die Durchführung selbst. Bei der schieren Masse an Nutzertests, die Sie machen müssen, sollten Sie sich hier des Zeitaufwandes möglichst früh bewusst sein.
Die Zulassung Ihres Covid19-Schelltest
Die summative Evaluation ist die abschließende Evaluation Ihres Produkts. Sie weist nach, dass die Nutzung Ihres Produkts keine inakzeptablen Risiken für Patienten, Nutzer oder Dritte aufweist.
Wenn Ihr Produkt die summative Evaluation bestanden hat und somit zugelassen werden kann, dürfen danach keine Änderungen mehr an Produkt und Anleitungen passieren. Jede Änderung bedarf einer neuen summativen Evaluation. Einen generellen Ablauf zu summativen Evaluationen und Tipps, wie Sie diese bestmöglich meistern, können Sie hier nachlesen.
Fazit
Sie wissen nun, wie Sie sich vorbereiten und welchen Anforderungen Sie sich stellen müssen, bis Sie die Zulassung Ihres Corona-Schnelltests aus Usability-Sicht erreicht haben.
Usability Tests für Covid-Schnelltests sind Pflicht für ihre Zulassung. Gesetzliche Vorgaben, die richtige Testmethode und ein gutes Hygienekonzept für die Tests sind Grundvoraussetzung für die erfolgreiche Durchführung. Besonders herausfordernd kann die große Menge an Testnutzern sein. Hier brauchen Sie Möglichkeiten zur Rekrutierung, die nötige Zeit und genügend Personal für Ihr Testing.
Was ist Ihr konkreter Fall? Gerne sprechen wir Ihre Anforderungen gemeinsam durch. Hierzu können Sie sich einfach über unser Kontaktformular melden. Feedback zu diesem Beitrag können Sie uns gerne in die Kommentare schreiben. Wir freuen uns auf Sie.
