Development of a general standard procedure to evaluate the usability of medical products

Aktuellen Studien zufolge ist mangelnde Gebrauchstauglichkeit medizinischer Geräte eine häufige Ursache für Fehler und die daraus resultierenden Risiken und Gefahren für Personal und Patienten im medizinischen Arbeitsfeld. Gebrauchstauglichkeit ist somit ein zentrales Element für die Patientensicherheit und für effiziente Arbeitsabläufe. Durch eine neue Gesetzgebung und harmonisierte internationale Standards werden den Herstellern medizinischer Produkte Aktivitäten für die Entwicklung gebrauchstauglicher Medizinprodukte abverlangt. Explizite Methoden zur Erfassung und Bewertung der Gebrauchstauglichkeit medizinischer Produkte sind bisher jedoch noch nicht vorhanden. Traditionelle Forschungsansätze der Mensch-Maschine-Kommunikation sind essenziell, aber nicht ausreichend für die Komplexität typischer moderner Geräte im sicherheitskritischen Kontext der Medizin. Verfahren der Risikoabschätzung von Gebrauchstauglichkeitsproblemen in der Medizin existieren noch nicht. Im Rahmen dieser Arbeit wird mit ausführlichen Studien eine Standardprozedur entwickelt, welche es ermöglicht, medizintechnische Produkte im Hinblick auf ihre Gebrauchstauglichkeit zu überprüfen und zu bewerten. Basierend auf dem zweigeteilten Ansatz der Gebrauchstauglichkeitsevaluation und der Gebrauchstauglichkeitsbewertung kann die Gebrauchstauglichkeit medizinischer Produkte bestimmt werden. Hierfür verknüpft die Methode Elemente der Gebrauchstauglichkeitsevaluation mit Elementen des Risikomanagements. Erst durch diese Kombination kann die Gebrauchstauglichkeit unter dem Aspekt der Sicherheit betrachtet werden. Durch die standardisierte Vorgehensweise wird die Reproduzierbarkeit der Ergebnisse im Sinne von Reliabilität und Objektivität erreicht. Für den Evaluationsteil der Standardprozedur wird nach theoretischen Herleitungen der Methodenelemente und entsprechenden Basisbausteinen in einem iterativen Prozess mit abwechselnden Entwicklungs- und Evaluationsphasen eine Methode entworfen. Durch vier Studien werden aufgestellte Thesen verifiziert und die Methode konkretisiert. Für den Bewertungsteil der Standardprozedur werden als erstes die theoretischen Rahmenbedingungen für die Bewertung der Gebrauchstauglichkeit medizinischer Geräte hergeleitet. Hierzu werden die Bereiche der Mensch-Maschine-Interaktion und des Risikomanagements herangezogen, um in verschiedenen Bewertungs-möglichkeiten verknüpft zu werden. Analog zu der Entwicklung des Evaluationsteils werden wiederum in iterativen Entwicklungs- und Evaluationsphasen die geeigneten Methoden ausgewählt und konkretisiert. Das Ergebnis dieses Ansatzes ist die Bewertungsmethode UseProb. In einer abschließenden Evaluationsphase werden die beiden Elemente der Standardprozedur zusammengeführt und evaluiert. Hierbei zeigt sich, dass die Standardprozedur die in dieser Arbeit gestellten Anforderungen und die Testgütekriterien Objektivität, Reliabilität und Validität erfüllt.Clinical errors resulting from usability problems are not a seldom occurrence. The steadily growing increase in the use of technology in medicine, as well as equipment which is becoming progressively more complex and more complicated puts an enormous strain on clinical staff. This situation is provoked by inadequate usability of the equipment and appliances. Equipment is often not constructed for intuitive use and their handling is difficult to learn. Operator errors are inevitable. A large proportion of the clinical errors that occur is associated with the use of equipment and approximately 60% of these errors can be ascribed to usability problems. Thus, ergonomic considerations and the observance of usability requirements are absolutely essential for optimizing the clinical working environment. Recently, equipment manufacturers started to raise demands for the inclusion of a usability inspection in obtaining CE certification conforming to the standards EN IEC 60601-1-6 and EN IEC 62366. Medical equipment now has to be designed following a usability engineering process. However, the procedure has not yet been defined, nor do special test criteria exist. Nor are there standardized guidelines for the evaluation and assessment of usability. Traditional approaches of Usability Engineering are essential but insufficient for the complexity of typical safety critical medical devices. No methods for risk assessment for the usability of medical devices exist. In this dissertation a standard procedure was developed that allows evaluating and assessing the usability of medical devices with regard to usability and safety aspects. The standard procedure is subdivided into an evaluation and an assessment part (“UseProb”). The evaluation method as well as the assessment method was developed by an iterative approach with repeating development and evaluation phases. Suitable methods of usability engineering and risk assessment have been evaluated and verified to concretize the standard procedure. In various studies it could be demonstrated that the standard procedure fulfills the test quality criteria sufficiently, detects more problems than in comparable studies and allows assessment. With independent, repeated studies involving a different random sample, different test supervisors and different evaluation experts, as well as in a study repeated after seven months with the same evaluation experts, it was demonstrated that the standard procedure and the evaluation method fulfil the test quality criteria of objectivity, reliability and validity