Constraint-based test data generation for industrial automation software based on signal flow diagrams

Die zunehmende Komplexität von Automatisierungssoftware führt zu einem wachsenden Testaufwand, welcher mittlerweile einen beträchtlichen Anteil der Gesamtentwicklungskosten technischer Systeme ausmachen kann. Benötigt wird ein effizientes Testvorgehen, welches die Gründlichkeit der Softwareprüfung nicht beeinträchtigt. Hierbei spielt die effiziente Ermittlung qualitativ hochwertiger Testdaten, die eine zügige Aufdeckung aller wesentlichen Softwarefehler erlauben, eine wichtige Rolle. Modellbasierte Testverfahren gewinnen dabei aufgrund ihrer präzisen Systematik zunehmend an Bedeutung. Wegen der zeitabhängigen und häufig hybriden, d. h. diskret-kontinuierlichen Dynamik von Prozessautomatisierungssystemen erfordert die modellbasierte Ermittlung von zeitabhängigen Testdaten für Automatisierungssoftware im Allgemeinen die Auswertung hybrider funktionaler Modelle. Dies stellt eine Herausforderung dar, welche bis heute nicht zufriedenstellend gelöst wurde. Zur effizienten modellbasierten Ermittlung qualitativ hochwertiger zeitabhängiger Testdaten für Automatisierungssoftware wurden in dieser Arbeit neue Wege beschritten und ein innovatives Verfahren auf Grundlage hybrider, diskret-kontinuierlicher Signalflusspläne erarbeitet. Signalflusspläne sind eine in der industriellen Praxis eingeführte und verbreitete Beschreibungsform zur mathematisch präzisen Modellbildung dynamischer diskret-kontinuierlicher Automatisierungsanwendungen. Das Verfahren beruht auf zwei orthogonalen Grundkonzepten, nämlich der constraintbasierten Spezifikation und Berechnung von Testdaten mittels numerischer Methoden sowie der systematischen Formulierung des hierzu erforderlichen Constraint-Problems mithilfe eines analytischen mutationsbasierten Formalismus. Der constraintbasierte Formalismus ermöglicht die effiziente Ermittlung von Testdaten einer gleichbleibenden, definierten Qualität auf Grundlage eines gegebenen Signalflussplans als Testbasis. Der mutationsbasierte Formalismus sorgt für die erforderliche aussagekräftige Semantik des Constraint-Problems zur Erzielung aussagekräftiger, qualitativ hochwertiger Testdaten. Das Verfahren lässt sich im Rahmen einer modellgetriebenen Entwicklung von Automatisierungssoftware zur Ermittlung von Testdaten sowohl zum Testen eines ausführbaren Systemmodells der geforderten Automatisierungsfunktionalität gegenüber den Anforderungen als auch zum Testen einer Implementierung gegenüber dem Systemmodell einsetzen. Dabei lassen sich zwei Szenarien unterscheiden, nämlich die modellbasierte Synthese bzw. Generierung neuer Testdaten sowie die modellbasierte Analyse der Testüberdeckung bzw. Qualität gegebener Testdaten. Die mathematische Fundierung des Verfahrens eröffnet eine weitreichende Automatisierung dieser Szenarien im Sinne einer effizienten und praxisgerechten Testdatenermittlung. Hierzu wurde ein entsprechendes Softwarewerkzeug entwickelt. Das Verfahren wurde am Beispiel eines Kfz-Karosserieelektroniksystems evaluiert.The increasing complexity of industrial automation software leads to increasing expenses for testing, expenses that nowadays might constitute a considerable part of the total development costs of a technical system. Hence, an efficient software test process is needed, which shall not compromise the thoroughness of the testing. To achieve this, high-quality test data have to be selected efficiently, thus allowing a fast uncovering of all major software failures. Consequently, model-based test methods are getting increasingly relevant due to their precise systematic. Because of the time-dependent and frequently hybrid, i. e. discrete-continuous dynamics of industrial automation systems, the model-based selection of time-dependent test data for industrial automation software requires the evaluation of hybrid functional models. A challenge not yet satisfactorily solved. Pursuing the efficient model-based selection of high-quality time-dependent test data, i. e. test signals, for industrial automation software, new paths were adopted in this thesis and an innovative method based on hybrid, discrete-continuous signal flow diagrams was developed. Signal flow diagrams, also known as block diagrams, are a common description form used in the industrial practice for the mathematically precise specification of dynamic discrete-continuous industrial automation functionality. The method proposed consists of two orthogonal concepts, which are the constraint-based specification and computation of test data using numeric methods and the systematic formulation of the necessary constraint satisfaction problem using an analytic mutation-based formalism. The constraint-based formalism enables the efficient selection of test data of a defined, unchanging quality using signal flow diagrams as test basis. The mutation-based formalism provides for the necessary meaningful semantics of the constraint satisfaction problem for achieving meaningful, high-quality test data. In the context of the model-driven development of industrialautomation software, the method proposed may be used both, for selecting test data for testing a system model of the industrial automation functionality in relation to its requirements in a simulation as well as for selecting test data for testing an implementation in relation to the specifying system model. In this scope, two scenarios can be differentiated: the model-based synthesis or generation of new test data and the model-based analysis of the test coverage and quality of given test data. The mathematical foundation of the proposed method enables a computer-aided automation of these scenarios in the pursuit of an efficient, professional test data selection. A software tool was developed for that purpose. The method proposed was evaluated using an automotive body electronic system as example