Avaliação de um curso de desenvolvimento regional sustentável no nível de resultados : a contribuição dos modelos lógicos e do método quase-experimental

Tese (doutorado)—Universidade de Brasília, Instituto de Psicologia, 2006.Nos últimos anos, avanços consideráveis foram observados no campo de avaliação de treinamento, principalmente no que diz respeito à compreensão dos efeitos de programas de treinamento, desenvolvimento e educação (TD&E) em termos de reações, aprendizagem e comportamento no trabalho. No nível de resultados, pouco se compreende, ainda, sobre as relações entre as relações entre ações educacionais e desempenho organizacional. Avaliar uma determinada ação educacional, integrante da metodologia que compõe a estratégia nacional de desenvolvimento regional sustentável (DRS) do Banco do Brasil, portanto, consistiu o principal objetivo desta pesquisa (Estudo 2). Para que o curso referido pudesse ser avaliado, outros objetivos de pesquisa precisaram ser estabelecidos (Estudo 1). Sinteticamente, estes objetivos consistiam na elaboração de modelo teórico e empírico de avaliação. Na construção do modelo teórico de avaliação, os modelos lógicos, ferramenta extraída da literatura de avaliação de programas, foram utilizados para identificação dos resultados organizacionais relacionados com o curso de DRS e sua relação com outras variáveis contextuais. Para a elaboração do modelo empírico, recorreu-se ao método quase-experimental. Validados ambos os modelos, o Estudo 2 testou as diferenças entre as médias, nos resultados associados ao curso referido, de dois grupamentos de agências em um único momento. Enquanto o primeiro grupo de agências (n = 400) contava com apenas 2 funcionários capacitados, o segundo grupo era formado por agências com 3 ou mais funcionários treinados (n = 372). Os resultados das análises de covariância realizadas não indicaram diferenças significativas entre as médias dos grupos nos resultados enfocados, controlados os efeitos de algumas variáveis contextuais identificadas no modelo lógico e associadas com as variáveis dependentes. Apesar de os modelos lógicos terem indicado a necessidade de se considerar uma série de variáveis contextuais, capazes de alterar as relações entre o programa avaliado e os resultados organizacionais emergidos, dificuldades de acesso a algumas destas variáveis podem ter afetado os resultados obtidos. Nesse sentido, análises quantitativas foram complementadas com outras de natureza qualitativa, as quais sugeriram que outras variáveis contextuais também deveriam ser levadas em consideração na proposição do modelo empírico de avaliação. Esta pode ser considerada a principal limitação da presente pesquisa - a desconsideração de outros públicos-alvos na elaboração do modelo teórico de avaliação da efetividade do curso de DRS. Alem disso, a proposição de um modelo empírico de avaliação posteriormente à implementação do curso também onerou consideravelmente a concretização desta pesquisa. Apesar das limitações mencionadas, esta pesquisa destaca-se pelas contribuições para o avanço do conhecimento sobre processos de avaliação de TD&E, especialmente no nível de resultados. A proposição dos modelos lógicos como ferramenta útil à compreensão das relações de causalidade entre programas de treinamento e efeitos no nível da organização, bem como no controle de variáveis interferentes, principalmente quando a validade interna dos estudos é almejada, pode ser considerada a principal contribuição deste trabalho. Além disso, merece destaque, ainda, a apropriação do modelo conceitual de efetividade organizacional, que reforça a idéia, alinhada aos ideais do modelo lógico, de que avaliações no nível de resultados devem ser contextualmente específicas. _________________________________________________________________________________ ABSTRACTAt the last years, significant advances could be watched in the training evaluation field, especially concerning to the effects of training, development, and education (TD&E) programs at the individual level, regarding to reactions, learning, and job behavior. At the result level, relationships between educational programs and organizational performance are still incomprehensible. Therefore, evaluate a specific training program, part of the methodology that constitutes the Banco do Brasil sustainable local development strategy, was the principal objective of this research (Study 2). To accomplish this objective, other ones must be defined (Study 1). Briefly, these objectives include theoretical and investigative models development. The logic models, extracted from program evaluation literature, were used to the identification of organizational results linked to the DRS training program, and its relationships with other contextual variables. To develop the investigative model, the quasi-experimental method was consulted. After the validation of these two models, the means of two comparison groups on the results linked to the training were compared. While the firs group was integrated by agencies (n = 400) with 2 trained officials, the second group (n = 372) was constituted by agencies with 3 or more trained people. The results of covariance analyses performed did not indicate significant differences between the two group’s means, after controlled some important contextual variables. Despite the relevance of some contextual variables identified on the model logic development, difficulties to access them could be affected the results emerged. Thus, quantitative analysis was complemented by qualitative ones, suggesting the need to consider other contextual variables on the investigative model proposition. This could be the main limitation of this research - do not involve other target-publics on the theoretical model development. Further, proposing an investigative model only after the training program execution also limited the development of this research. Nevertheless, this research was important because its contributions to the knowledge advance about TD&E evaluation process, especially regarding to the result level. The use of logic models to explain causality relations between training programs and effects at organizational level, as well as to control contextual variables, specially when internal validity is aimed, could be considered the most important contribution of this research. Also important was the organizational effectiveness conceptual framework appropriation, which strengthened the idea, defended by the models logic ideals, that evaluations at the result level must be context-specific