Polaridade dos comentários e consistência interna nos informes de arbitragem de artigos de pesquisa

Peer review reports on scientific articles means a key genre to explain how scientific knowledge is collectively constructed. In these reports, reviewers write a recommendation for publication along with a series of comments. The quality analysis of the peer review process has been commonly conducted based on indicators, such as rejection rates and the agreement level among evaluators. However, a more qualitative investigation on the process still remains outstanding. This work aims at describing the polarity (positive, negative and neutral) of comments corresponding to 56 peer review reports belonging to the journal Onomázein and determining whether this proportion is consistent with the reviewers recommendation, i.e. Accepted, Accepted with major revisions, Accepted with minor revisions and Rejected). After the analysis of 1.472 comments, it was possible to determine that the highest proportion of comments is negative, independent of the decision. The analyzed processes also showed a high level of consistency. The more favorable the recommendation, the higher the proportion of positive comments, and, consequently, the less the proportion of negative comments.El informe de arbitraje en los procesos de revisión por pares de artículos de investigación es un género clave para explicar cómo se construye colectivamente el conocimiento científico. En estos informes los evaluadores emiten, junto con una serie de comentarios, una recomendación de publicación. El análisis de la calidad del proceso de evaluación por pares se ha realizado a partir de indicadores, como las tasas de rechazo o el grado de acuerdo entre los evaluadores. Sin embargo, aún queda pendiente una evaluación cualitativa del proceso. El objetivo de este trabajo fue describir la proporción, según su polaridad (positiva, negativa y neutra), de los comentarios de 56 informes de evaluación de la Revista Onomázein y determinar si esa proporción era consistente con la recomendación de los evaluadores (Aceptado, Aceptado con enmiendas mayores o menores, y Rechazado). Del análisis de 1.472 comentarios se determinó que, independientemente de la decisión, la mayor proporción corresponde a comentarios negativos. Asimismo, podemos afirmar que los procesos analizados presentan un alto grado de consistencia. Mientras más favorable es la recomendación de los árbitros mayor es la proporción de comentarios positivos emitidos y, correspondientemente, menor es la proporción de comentarios negativos.O informe de arbitragem nos processos de revisão por pares de artigos de pesquisa é um gênero chave para explicar como se constrói coletivamente o conhecimento científico. Nestes informes os avaliadores emitem, junto com uma série de comentários, uma recomendação de publicação. A análise da qualidade do processo de avaliação por pares foi realizada a partir de indicadores, como as taxas de recusa ou o grau de acordo entre os avaliadores. No entanto, ainda resta pendente uma avaliação qualitativa do processo. O objetivo deste trabalho foi descrever a proporção, segundo a sua polaridade (positiva, negativa e neutra), dos comentários de 56 informes de avaliação da Revista Onomázein e determinar se essa proporção era consistente com a recomendação dos avaliadores (Aceito, Aceito com emendas maiores ou menores, e Recusado). Da análise de 1.472 comentários se determinou que, independentemente da decisão, a maior proporção corresponde a comentários negativos. Assim mesmo, podemos afirmar que os processos analisados apresentam um alto grau de consistência. Quanto mais favorável for a recomendação dos árbitros maior será a proporção de comentários positivos emitidos e, correspondentemente, menor é a proporção de comentários negativos