an application of two computer-based tools for knowledge elicitation

Die Arbeit untersucht den Einfluss von strukturellem Wissen auf individueller Ebene sowie den Einfluss der Wissensheterogenität auf Gruppenebene auf komplexes Problemlösen. Zur Erhebung von strukturellem Wissen wird ein computerbasiertes Verfahren, der Assoziations-Strukturtest (AST), entwickelt. Die Wissensheterogenität in Gruppen wird mit dem Wissensmanagementsystem skillMap berechnet. Der AST erhebt zu einer Wissensdomäne einen Graphen, der mit Kennwerten beschreiben wird. Für Leistungsvorhersagen mit dem AST werden komplexe Problemlöseaufgaben gewählt. Da komplexe Probleme oft von Gruppen bearbeitet werden, wird ein Gruppensetting gewählt. Dabei wird ein umgekehrt-u-förmiger Zusammenhang zwischen der Wissensheterogenität in der Gruppe und ihrer Leistung angenommen. 150 Versuchsteilnehmer wurden in Dyaden eingeteilt. Die Teilnehmer erhielten je einen Lerntext mit sieben Wissenselementen zur Steuerung eines komplexen Problemlöseszenarios. Die Heterogenität des Wissens in der Dyade wurde variiert (gering, mittel, groß). Nach der Lernphase schätzten die Teilnehmer ihr Wissen ein, woraus mit der skillMap zu ein Ähnlichkeitsmaß berechnet wurde. Es folgte eine Diskussionsphase, in der die Dyadenmitglieder sich gegenseitig das Erlernte beibrachten. Ihr strukturelles Wissen wurde dann mit dem AST getestet. Im anschließenden Szenario waren die Dyaden mit mittlerer Heterogenität den beiden anderen signifikant überlegen: Die Wissensheterogenität zeigt einen kurvenlinearen Zusammenhang mit der Gruppenleistung. Die gewichtete Dichte der AST-Wissensgraphen korreliert gering mit der Problemlöseleistung und erklärt einen eigenständigen kleinen Anteil ihrer Gesamtvarianz. Das Ähnlichkeitsmaß korreliert signifikant mit der Problemlöseleistung. Computerbasierte Wissensdiagnoseverfahren sind somit potentiell dazu geeignet, Leistungsvorhersagen zu treffen. Die Problemlöseleistung von Gruppen ist zum Teil durch die Verteilung des Wissens innerhalb der Gruppe determiniert.This thesis analyzes the influence of structural knowledge on the individual level and the influence of knowledge heterogeneity on the group level on complex problem solving (CPS) performance. For the elicitation of structural knowledge, a computer based method, the association structure test (AST), is developed. Through term associations, measurement of thinking times, and through pairwise concept comparisons, the AST elicits a graph for each participant. The AST is tested in the domain of CPS. As complex problems are usually addressed by groups, a group setting is chosen. A curvilinear n-shaped connection between the group''s knowledge heterogeneity and its CPS performance is assumed. In an experiment, 150 participants were divided into dyads. Each participant received a text with seven knowledge elements on the control of a complex scenario. The heterogeneity of knowledge in a dyad was varied (small, medium, and large). After learning, dyad members self-assessed their knowledge. Knowledge similarity was calculated with knowledge management system (the skillMap). The knowledge similarity was also used for performance prediction. A discussion followed, during which dyad members taught each other what they had learned. Their structural knowledge was then assessed with the AST. In the following CPS task, dyads with medium heterogeneity exhibited a significant superior performance in comparison with the other two conditions. Knowledge heterogeneity exhibited a curvilinear relationship with the dyad''s CPS performance. The weighted density of AST-elicited knowledge graphs weakly correlated with CPS performance and explained a small but unique fraction of its variance. The skillMap similarity measure correlated significantly with CPS performance. Computer-based knowledge elicitation tools are thus potentially suited for performance prediction. CPS performance of groups is partially determined by the way in which knowledge is distributed inside the group