Assessing the performance of four methods of phasing in tests of sensory acceptance additives using standard models of analysis of variance and internal maps of preference

Em testes sensoriais, a análise dos dados geralmente é realizada através de algum modelo ANOVA. Estes modelos pressupõem que as respostas experimentais sejam: i) independentes, ii) normalmente distribuídas, m) homoscedásticas (variâncias iguais) e, iv) provenientes de uma mesma escala de medida (aditividade). Os principais problemas na análise de dados sensoriais através de modelos ANOV A referem-se aos dois últimos pressupostos. A homogeneidade das variâncias não pode ser assegurada devido à existência de pelo menos duas fontes potenciais de variabilidade dos dados, quais sejam: provadores e tratamentos. Por outro lado, a aditividade pode ser violada quando um provador utiliza faixas consistentemente mais (ou menos) amplas da escala para expressar a sua impressão sobre o produto. A maneira pessoal com que cada provador utiliza a escala para avaliar os produtos, chama-se de variação da expansibilidade entre provadores. Tanto a falta de homogeneidade das variâncias como a não aditividade do modelo, acarretam conseqüências sérias na obtenção do verdadeiro nível de significância para o efeito dos tratamentos, podendo afetar adversamente as comparações entre as médias dos tratamentos e comprometer seriamente tanto a interpretação dos resultados fornecidos pelo experimento como a validade do modelo ANOVA. Em testes com consumidores, escalas tradicionais como a escala hedônica de 9 pontos freqüentemente apresentam a seguinte problemática: i) geram dados que freqüentemente não satisfazem os pressupostos estatísticos de normalidade, aditividade e homoscedasticidade exigidos nos modelos ANOVA, ii) oferecem pouca liberdade aos consumidores para expressarem. suas percepções sensoriais, devido ao limitado número de categorias, m) induzem efeitos numéricos e contextuais no julgamento dos provadores e, iv) os valores numéricos associados às suas categorias, embora numericamente possuam intervalos iguais, não refletem iguais diferenças em percepção. Das metodologias utilizadas em testes sensoriais com consumidores, a escala hedônica de 9 pontos, é sem dúvida, a mais utilizada. Porém, em função da problemática anteriormente mencionada, surge a necessidade de serem pesquisadas escalas alternativas que possuam um melhor desempenho que a escala hedônica tradicional, tanto quando os dados são analisados através de modelos ANOVA como quando os mesmos são analisados através de métodos multivariados como Mapa Interno de Preferência - MDPREF. De um modo geral, o objetivo do presente trabalho foi pesquisar o desempenho de duas escalas alternativas em estudos com consumidores, quais sejam: escala autoajustável e escala hedônica híbrida, comparando-as com métodos afetivos tradicionais como a escala de ordenação e escala hedônica de 9 pontos. Para isso, três experimentos foram realizados conforme descrito a seguir: o primeiro experimento foi realizado com o objetivo de se avaliar em condições reais de teste de consumidor, o desempenho da escala autoajustável em relação à escala hedônica de 9 pontos e escala de ordenação, utilizando-se os seguintes critérios: i) diferenças em expansibilidade entre provadores, ii) poder discriminativo e, iii) adequação dos dados coletados por cada escala aos pressupostos do modelo ANOVA. Três marcas comerciais de confeitos foram avaliadas por 288 consumidores. Os resultados obtidos através das escalas hedônica de 9 pontos e autoajustável foram analisados através de ANOVA e os resultados da escala de ordenação, através do teste de Friedman. Os valores de pFamostra. pFprovador e QMresíduo fornecidos pela ANOVA de cada escala, foram respectivamente utilizados para avaliar o poder discriminativo, a expansibilidade dos provadores e a variabilidade residual dos dados. Teste de Tukey foi também aplicado para análise do poder discriminativo de cada escala. A normalidade dos dados foi verificada através do cálculo dos Coeficientes de assimetria e curtose, gráfico de probabilidade normal e teste de Kolmogorov-Smirnov. A homoscedasticidade, foi avaliada através de gráficos de dispersão e teste de Levene. Os resultados mostraram que a escala autoajustável foi efetiva para tratar o problema da expansibilidade entre provadores e da desigualdade das variâncias, porém, os resíduos mostraram moderados desvios da normalidade. A escala hedônica de 9 pontos apresentou problemas de heteroscedasticidade. As escalas autoajustável e de ordenação apresentaram o menor e o maior poder discriminativo respectivamente. Apesar dos problemas detectados, as três escalas apresentaram as mesmas tendências de preferência dos produtos avaliados. O segundo experimento foi realizado com o objetivo de se avaliar o desempenho da escala hedônica híbrida em estudos com consumidores, comparando-a à escala hedônica de 9 pontos, escala autoajustável, e escala de ordenação; através dos seguintes critérios: i) variabilidade das respostas sensoriais, ii) poder discriminativo, iii) adequação dos dados às suposições dos modelos ANOVA e, iv) facilidade de uso pelos consumidores. Cinco marcas de suco de laranja foram avaliadas por 80 consumidores, divididos em quatro grupos de 20 indivíduos cada. Todos os indivíduos avaliaram todas as amostras através de todas as escalas em 4 diferentes sessões de degustação. Um delineamento em quadrado latino 4x4, foi utilizado para controlar o efeito de ordem de apresentação das escalas e avaliar sem vícios a facilidade de uso das mesmas. Para cada escala, a ordem de apresentação das amostras e efeitos residuais ("carry-over") foram balanceados. Os resultados obtidos através das escalas hedônica tradicional, híbrida e autoajustável foram avaliados através de ANOVA. A normalidade dos dados foi verificada através do teste de Shapiro-Wilks, a homoscedasticidade através do teste de Brown-Forsythe e a aditividade, através do teste de Tukey para um grau de liberdade. Os valores de pFamostra, pFprovador e QMresíduo fornecidos pela ANOVA de cada escala, foram respectivamente utilizados para avaliar o poder discriminativo, a expansibilidade dos provadores e a variabilidade residual dos dados. O teste de REGWQ foi também aplicado para análise do poder discriminativo de cada escala. Os resultados obtidos através da escala de ordenação foram avaliados pelo teste de Friedman e, a facilidade de uso das escalas por testes de Cochran-Mantel-Haenszel. Os resultados sugeriram uma superioridade da escala hedônica híbrida sobre as escalas hedônica estruturada e a utoaj ustável , tanto em função do poder discriminativo como da adequação dos dados às suposições de normalidade e homoscedasticidade. A despeito dos dados da escala autoajustável terem apresentado maior variabilidade e sérios desvios da normalidade dos resíduos, o poder discriminativo desta escala foi ligeiramente superior ao da escala hedônica estruturada. A escala de ordenação apresentou o menor poder discriminativo em relação às demais. As escalas hedônicas estruturada e híbrida foram consideradas significativamente (p:S;0,01) mais fáceis de serem utilizadas que a autoajustável, não havendo diferença (p:s;O,OS) entre as duas primeiras. Finalmente, o objetivo do terceiro experimento foi avaliar o desempenho das escalas hedônica estruturada, hedônica híbrida e autoajustável na construção de Mapas Internos de Preferência - MDPREF. Nesta pesquisa, a aceitação global de 8 marcas comerciais de vinho tinto, a maioria deles varietal Cabernet Sauvignon, foi avaliada por 112 consumidores. Foram utilizados delineamentos experimentais balanceados para ordem de apresentação das escalas, ordem de apresentação das amostras e efeitos residuais. Os dados foram analisados através de ANOV A e MDPREF. O critério de avaliação do desempenho da cada escala baseou-se no número de consumidores significativamente ajustados (ps O,OS) e no grau de segmentação dos produtos e dos consumidores produzidos pelo MDPREF. Os resultados sugeriram uma superioridade da escala híbrida sobre a escala hedônica tradicional e autoajustável. O MDPREF gerado pelos dados da escala híbrida produziu um maior número de dimensões significativas de preferência (pS O,OS), trazendo como decorrência, uma porcentagem de 79,S% consumidores significativamente ajustados (pS O,OS), enquanto a escala autoajustável ajustou S4,S% dos consumidores e a escala hedônica S1,8%. Em geral a escala hedônica de 9 pontos apresentou um desempenho inferior ao das demais escalas. Os resultados do presente estudo sugerem fortemente que a escala hedônica híbrida é uma ferramenta válida e eficiente que pode ser utilizada na coleta de dados associados a estudos com consumidores, tanto quando eles forem analisados através de modelos normais para análise da variância como através da metodologia de Mapa Interno de PreferênciaIn sensory tests, the basie statistieal toei for analyzing data is almost invariably some sort of analysis of variance models. These models presuppose that the experimental responses are: i) independent, ii) normally distributed, iii) homoscedastie (have equal varianees) and, iv) seores are on the same scale of measurement (additivity). The main problems arising from the analysis of sensory data using ANOVA models are related to the last two assumptions. Homogeneity of error variance is not assured, espeeially as there are at least two potential sources of heterogeneity: treatments and assessors. On the other hand, the additivity could be violated if one assessor used a eonsistently larger (or smaller) portion of the scale range, scoring more (or less) expansively than other assessors to express his opinion of the produet. The individual way in whieh eaeh panelist uses the scale to evaluate the produets is known as the differential expansiveness of seoring between assessors. 80th the laek of homogeneity of the variances and the non-additivity of the model, result in serious consequenees in obtaining a true levei of significance for the effect of the treatments and may adversely affeet the eomparison of treatment means. The non-additivity can seriously affeet and possible invalidate the analysis of variance and the interpretation of the results that it provides. In consumer tests, traditional scales sueh as the nine-point hedonie scale frequently present the following problems: i) they do not satisfy the statistical assumptions of independenee, normalityand homoscedastieity required by ANOVA models; ii) they give little freedom to the individuais to express their perceptions, due to the limited number of categories; iii) they induce numerical and contextual effects in the judgments by the panelists and, iv) the difference between numerical values associated with the categories do not reflect equivalent differenees in perception. Of the methodologies used in sensory tests with consumers, the 9-point hedonie scale is undoubtedly the most widely used. However, considering the previously mentioned problem, there is a need to investigate alternative scales providing better performanee than the traditional hedonie scale, both when the data are analyzed by ANOVA models and multivariate methods such as the Internal Preference Map - MDPREF. In general the objective of this research was to investigate the performance of two alternative scales in consumer studies, these being the self-adjusting scale and the hybrid hedonic scale, comparing them with traditional affective methods such as the ranking scale and the 9-point hedonic scale. With this objective three experiments were carried out as follows: The first experiment was carried out with the objective of evaluating the performance of the self-adjusting scale as compared to the 9-point hedonic scale and ranking scale under real consumer test conditions, using the following criteria: i) differential expansiveness between assessors, ii) discriminating power and, iii) compliance of the data collected by each scale with the ANOVA assumptions. Three commercial brands of candy were evaluated by 288 consumers. The results obtained from the 9-point hedonic and self-adjusting scales were analyzed by ANOVA and those of the ranking test by Friedman's test. The values for pFsample, pFassessor and QMerror provided by ANOV A for each scale, were used respectively to evaluate the discriminating power, the expansiveness of scoring between assessors and the data variability. Tukey's test was also applied to analyze the discriminating power of each scale. Normal probability plots, Kolmogorov-Smirnov test and coefficients of skewness and kurtosis checked data normality. Homoscedasticity was evaluated by scatter plots and the Levene test. The results showed that the self-adjusting scale was effective to deal with differential assessor expansiveness and produced homogeneous variances, however the residuais showed moderate deviations from normality. The 9-point hedonic scale showed problems with heteroscedasticity. Rank and the self-adjusting scales showed the highest and the lowest discriminating powers, respectively. Despite the problems detected, the three scales presented the same tendencies for preference amongst the products tested. The second experiment was carried out with the objective of evaluating the performance of the hybrid hedonic scale in consumer studies, comparing it with the 9point hedonic, the self-adjusting and the ranking scales, using the following criteria: i) variability of sensory response, ii) discriminative power, iii) data adequacy to the assumptions of ANOVA models and, iv) ease of use. Eighty consumers, divided into four groups of 20 individuais each, evaluated tive brands of orange juice. Ali the individuais evaluated ali the samples using ali the scales, in 4 distinct tasting sessions. A 4 x 4 Latin square design was used to control the effect of the order of presentation of the scales and evaluate their ease of use without biases. For each scale the presentation order and carry-over were balanced. The results obtained using the traditional hedonic, hybrid hedonic and self-adjusting scales were evaluated using ANOVA. Data normality was evaluated using the Shapiro-Wilks test, homoscedasticity by the Brown-Forsythe's test and the Tukey's one degree of freedom test for non-additivity. The values for pFsample, pFassessor and QMerror, provided by ANOVA for each scale, were used respectively to evaluate discriminating power, expansiveness between assessors and data variability. The REGWF test was also applied to analyze the discriminative power of each scale. The results obtained from the ranking test were evaluated by Friedman's test and the ease of use of the scales by the Cochran-Mantel-Haenszel tests. The results indicated the superiority of the hybrid hedonic scale as compared to the structured hedonic and self-adjusting scales, both with respect to discriminative power and to data adequacy to the assumptions of normality and homoscedasticity. The self-adjusting scale presented a slightly greater discriminative power than the structured hedonic scale, despite the former having presented data with a greater variability and lack of normality of the residuais. Of ali the methods, the ranking test presented the least discriminative power. The structured and hybrid hedonic scales were considered to be signiticantly (psO.01) easier to use than the self-adjusting scale, there being no difference (pSO.O5) between these first two scales. Finally, the objective of the third experiment was to evaluate the performance of the nine-point hedonic, hybrid hedonic and self-adjusting scales in the segmentation of samples and consumers using Internal Preference Mapping methodology. One hundred and twelve consumers evaluated the overall acceptability of 8 commercial brands of red wine, the majority being Cabernet Sauvignon. The effects of presentation order -scales and samples- and carry over effects were balanced. The data were analyzed by ANOVA and MDPREF. Scale performance was evaluated using as criteria: number of significant dimensions in the MDREF (psO.O5), number of consumers significantly adjusted (psO.O5) and the degree of segmentation of the products and consumers. The results suggested a superiority of the hybrid scale over the traditional hedonic and self-adjusting scales. The MDPREF generated by the hybrid scale data produced the greatest number of significant dimensions (p=5%), yielding 79.5% of the consumers significantly adjusted (p=5%), while the MDPREF generated by the self-adjusting scale adjusted 54.5% of the consumers and that of the hedonic scale, 51.8%. Overall, the 9-point hedonic scale showed the worst performance in relation to the other scales examined. The results of this study strongly suggest that the hybrid hedonic scale is a valid and efficient tool for use in data collection associated with consumer studies, both when analyzed by normal models for the analysis of variance and by Internal Preference Mapping methodolog