Development and validation of a questionnaire to assess the level of student\'s understanding about concept maps

Mapa conceitual (MC) é uma técnica de organização e representação do conhecimento através de uma rede proposicional. Ainda que utilizado no âmbito da educação formal poucos trabalhos mencionam a importância e necessidade da capacitação na técnica para que se possa desfrutar de seus benefícios. Este estudo desenvolveu um instrumento para avaliar o nível de conhecimento de mapeadores após o processo de capacitação em MCs. A tabela de clareza proposicional, o MC semiestruturado e a aprendizagem colaborativa expandida foram três estratégias instrucionais desenvolvidas a fim de permitir que os alunos compreendessem os quatro conceitos centrais do mapeamento conceitual: proposição, questão focal, recursividade e hierarquia. Um questionário (escala Likert 5-níveis) contendo cinco afirmações foi desenvolvido, validado (? de Cronbach 0,902) e aplicado para medir a compreensão dos alunos sobre os MCs. Os questionários (n = 232) foram coletados na última aula da disciplina Ciências da Natureza, oferecida aos alunos ingressantes da Escola de Artes, Ciências e Humanidades (EACH/USP Leste) em 2009 e 2010. Quatro turmas receberam treinamento sistemático em MCs (grupo experimental) enquanto uma turma não recebeu o mesmo treinamento (grupo controle). A análise dos dados envolveu o tratamento estatístico de comparação entre médias por teste-t de Student e a estatística multivariada exploratória com métodos de reconhecimento de padrões através das análises hierárquica de agrupamentos (HCA) e de componentes principais (PCA). O resultado do teste-t confirmou que o questionário foi capaz de diferenciar alunos do grupo experimental em relação ao grupo controle. A HCA agrupou os alunos de acordo com seu nível de entendimento em mapeamento conceitual e a PCA, além de corroborar com os resultados da HCA, indicou que o entendimento da clareza semântica de proposições e da importância da pergunta focal são críticos para se tornar proficiente na técnica.Concept Map (Cmap) is a technique to organize and represent knowledge through a propositional net. Although the fact that concept maps are used in formal education context few papers has mentioned the importance and necessity of a straight-forward training session on the technique, which allow to enjoy its benefits. This study develops an instrument to assess the level of knowledge of mappers after the straight-forward training session. The propositional clarity table, the half structured Cmap and the expanded collaborative learning were the three strategies responsible to guarantee the understanding of four central concepts in conceptual mapping: proposition, focal question, recursivity revision and hierarchy. Five statements\' questionnaire (five-level Likert\'s scale) was developed, validated (Cronbach\'s alpha 0.902) and tested to assess the students\' understanding about Cmaps. Those questionnaires (n = 232) was collected on the last class of Natural Science course offered to first year\'s students of the Escola de Artes, Ciências e Humanidades (School of Arts, Science and Humanities - University of São Paulo) in 2009 and 2010. Four classes was systematic trained (experimental group) and one class does not received the same training (control group). The data analysis involved the statistical treatment to comparison between the means by Student\'s t-test and non-supervised exploratory multivariate analysis for pattern recognition by Hierarchical Cluster Analysis (HCA) and Principal Component Analysis (PCA). The results of t-test confirmed the questionnaire capability to distinguish the students of experimental from control group. HCA clustered the students according to their knowlodge level in concept mapping. PCA not only agree with the HCA results but also demonstrated that the understanding of propositional clarity semantic and the importance of focal question are critical to students that desire to be proficiencies in Cmaps