Investigating the consequential validity of the Hanyu Shuiping Kaoshi (Chinese proficiency test) by using an argument-based framework

In recent years, China's rising global power has led to an international increase in Chinese language learning. The national standardized test of Chinese language proficiency for non-native speakers, the Hanyu Shuiping Kaoshi (HSK), literally "Chinese Proficiency Test," has played a vital role in certifying language proficiency for higher education and professional purposes. The multiple uses of the HSK have generated growing concerns about its validity, especially the reformed HSK's (post-2009) consequential validity. Employing Bachman and Palmer's (2010) Assessment Use Argument (AUA) framework, this mixed methods sequential exploratory (MMSE) study investigates the HSK's micro- and macro-level consequences, as well as how and to what extent the test affects Chinese as a second language (CSL) teaching and learning. In Phase I of this MMSE study the official HSK documents were analyzed by content analysis; interviews with 12 test stakeholders were then conducted and analyzed by a two-cycle qualitative coding approach (Saldaña, 2009). In Phase II, 136 CSL/CFL teachers and 512 HSK test-takers participated in a questionnaire, and the data were analyzed by using exploratory factor analysis (EFA) and structural equation modeling (SEM); classroom observations were also conducted and analyzed to contextualize the quantitative results. Phase III involved two exploratory questionnaires and interviews with 35 administrative personnel who use the HSK to inform academic and employment decisions, and the data were analysed through statistical (e.g., descriptive statistics) and qualitative methods (e.g., grounded theory). The results of the MMSE study highlighted the complexity of the HSK's consequences and washback effects. They indicated that although the HSK had limited effects on teaching, it was somewhat successful in its goal of promoting CSL/CFL learning. In general, HSK scores and other related information (e.g., score report, level interpretation) also provided users with relevant, useful, and meaningful data for candidate selection. Overall, based on the HSK's AUA conceptual framework, the findings provided evidence that Claim 1 (Consequences), Claim 2 (Decisions), and Claim 3 (Interpretations) were partially supported, in that the test developers' intended goals for the HSK were only achieved to a certain degree. This study helped unpack the consequential validity of the HSK in the CSL context, shed light on understanding the washback effects of the HSK, fleshed out the values underlying the multiple interpretations and uses of the test, and pointed to implications for the HSK developers and future consequence/impact/washback research.Ces dernières années, la puissance mondiale croissante de la Chine a conduit à une augmentation internationale de l'apprentissage de la langue chinoise. Le test standardisé national de maîtrise de la langue chinoise pour les non-natifs, le Hanyu Shuiping Kaoshi (HSK), littéralement « test de compétence en chinois », a joué un rôle essentiel dans la certification des compétences linguistique et professionnelle. Les multiples utilisations du HSK ont généré de plus en plus d'inquiétudes quant à sa validité, en particulier la validité corrélative du HSK (post-2009). Utilisant le cadre d'évaluation de l'utilisation [AUA] de Bachman et Palmer (2010), cette étude exploratoire séquentielle à méthodes mixtes (MMSE) examine les conséquences micro et macro du HSK, ainsi que comment et dans quelle mesure le test affecte le chinois en tant que langue seconde de l'enseignement et d'apprentissage (CSL). Dans la phase I de cette étude MMSE, nous avons examiné les contenus des documents officiels de HSK ; des entrevues avec 12 intervenants ont ensuite été réalisées et analysées selon une approche de codage qualitatif en deux cycles [Saldaña, 2009]. Au cours de la phase II, 136 enseignants du programme CSL/CFL et 512 participants au test HSK ont répondu à un questionnaire, ce qui nous ont permis de recueillir des données à l'aide de l'analyse factuelle exploratoire (EFA) et de la modélisation par équation structurelle (SEM) ; des observations en classe ont également été menées et analysées afin de contextualiser les résultats quantitatifs. La phase III comportait deux questionnaires exploratoires et des entretiens avec 35 membres du personnel administratif qui utilisaient la HSK pour éclairer les décisions académiques et professionnelles, et les données étaient analysées en utilisant des méthodes statistiques (statistiques descriptives, par exemple) et des méthodes qualitatives comme la théorisation ancrée. Les résultats de l'étude MMSE ont mis en évidence la complexité des conséquences du HSK et des effets de washback. Ils ont indiqué que bien que le HSK ait eu des effets limités sur l'enseignement, il a plutôt réussi à promouvoir l'apprentissage CSL/CFL. En général, les scores HSK et d'autres informations connexes (par exemple, rapport de score, interprétation de niveau) ont également fourni aux utilisateurs des données pertinentes, et significatives pour la sélection des candidats. Dans l'ensemble, selon le cadre conceptuel de l'ASA de HSK, les constatations ont démontré que les revendications 1 (Conséquences), 2 (Décisions) et 3 (Interprétations) étaient partiellement justifiées, car les objectifs des développeurs de tests pour le HSK étaient seulement atteints dans une certaine mesure. Cette étude a permis de comprendre la validité et les impacts de la HSK dans le contexte CSL, les effets de washback du HSK ; d'étoffer les valeurs sous-jacentes aux multiples interprétations et utilisations du test et de souligner les implications des développeurs HSK et les impacts de la recherche washback dans le futur