On Incentives, Political and Economical Externalities, and Research Output Assessment Procedures

Merton y otros sociólogos, filósofos e historiadores de la ciencia hace ya tiempo mostraron como las comunidades académicas están sujetas a análisis similares a los que se hacen para otro tipo de comunidades. Es evidente además que estos procesos implican la atención tanto de sus propias dinámicas internas, de tipo conceptual y metodológico, como de las presiones e influencias de otras comunidades académicas. Hoy es evidente la incidencia de las externalidades generadas por estas. Tanto así que pueden considerarse como productos emergentes de ellas mismas o de las dinámicas de interacción entre comunidades. A este respecto, han sido varias las editoriales y artículos de revistas top que mencionan la influencia de la financiación externa, la responsabilidad social, los índices de impacto, conflictos de interés e incluso la influencia de las denominadas redes sociales y académicas sobre los productos y la forma de comunicación de los mismos (Editorial, 2013, 2014; Piwowar, 2013; Thelwall, Haustein, Larivière, & Sugimoto, 2013; Van Noorden, 2013). Pero no se limita a un fenómeno posterior a la publicación sino por el contrario a la generación misma de las investigaciones. Así, un ejemplo cercano y tangible está asociado a los sistemas de incentivos generados por las comunidades que evalúan y controlan la asignación de recursos para la investigación que termina por orientar el comportamiento de los investigadores sobre la cantidad, calidad, lugar y tipo de publicación, generando fuertes conflictos de interés tanto de los investigadores como regulación social de la investigación y su difusión (Editorial, 2014). Otro ejemplo es como los sistemas de acreditación promovieron la explosión de publicaciones para evidenciar la producción y el compromiso institucional con la investigación lo cual generó presiones sobre las comunidades académicas para publicar. Dando además como resultado diferencias entre sistemas de medición a nivel internacional, actualmente no existe una homogeneidad entre las medidas de los índices de citación de Google Scholar, índices de Scopus y el factor de impacto de Thompson Reuters (Bornmann et al., 2009; Silva, 2012). Por algunas de estas razones resulta crítico, para salvar unos mínimos de calidad de dicha producción, que los procesos de evaluación sean exhaustivos, exogámicos y contrastados intersubjetivamente en forma ciega; estas características buscan disminuir el efecto de algunas externalidades, por ejemplo, las que surgen de intereses de comunidades con afinidades o que por el contrario compiten o que surgen de comunidades que se oponen en términos ideológicos, políticos o incluso personales. Esta es la razón por la cual se busca que los pares no conozcan los autores, las instituciones o el país, o si es así que el evaluador no sea del mismo lugar (aunque esto es muy difícil de lograr), pero esta tarea se complejiza por cuanto los evaluadores deben contar con experticia temática similar y con una formación metodológica sólida lo cual no es sencillo de lograr y más cuando algunas comunidades no se encuentran suficientemente desarrolladas, actualizadas o que han construido lenguajes que solo hablan ellos mismos. Adicionalmente, este problema se complejiza a un más si le sumamos variables de tipo económico. Los investigadores ganan incentivos por publicación y los evaluadores no reciben ningún tipo de reconocimiento económico, en la mayoría de los casos. Es entonces evidente que los incentivos juegan como una externalidad a la dinámica académica similar a los intereses políticos, ideológicos e incluso personales. Es un contraste que los equipos editoriales deben tener en cuenta como parte de su proceso de evaluación. Desafortunadamente, las comunidades académicas en transcurso de consolidación son más vulnerables a ajustar sus prácticas en función de los incentivos o de las externalidades mencionadas, más aun si dependen de instituciones frágiles. Esta es otra razón que sustenta la necesidad de construir sistemas de evaluación exogámicos doble ciegos. Este proceso ideal deberá complementarse con procesos en los que los formatos de evaluación e incluso la transparencia de las evaluaciones permitan evidenciar la incidencia de las evaluaciones. Sin embargo esta dinámica no es fácil de lograr por cuanto ni evaluadores ni evaluados parecen aun listos para que estos procesos sean completamente transparentes para toda la comunidad, sin embargo, y por proceso de autorregulación de las prácticas científicas, seguramente en un futuro cercano esto podrá lograrse. Quiero señalar finalmente que hoy en día nadie es ingenuo. Los académicos sabemos el valor de los incentivos; pero lo critico es desdibujar nuestro trabajo en función de estos y no de producir conocimiento pertinente, relevante y de calidad, o peor aún, externalizar la responsabilidad en el sistema que solemos criticar cuando solo nosotros somos responsables de las consecuencias derivadas de las decisiones que tomamos como investigadores, evaluadores e incluso como editores. Por algunas de estas razones y por una responsabilidad ética y social debemos hacer visible las implicaciones de las externalidades como también del comportamiento de los investigadores y los evaluadores frente a estas. Referencias Bornmann, L., Marx, W., Schier, H., Rahm, E., Thor, A., & Daniel, H.-D. (2009). Convergent validity of bibliometric Google Scholar data in the field of chemistry—Citation counts for papers that were accepted by Angewandte Chemie International Edition or rejected but published elsewhere, using Google Scholar, Science Citation Index, Scopus, and Chemical Abstracts. Journal of Informetrics, 3(1), 27–35. doi:10.1016/j.joi.2008.11.001 Editorial. (2013). Enemy of the good. Nature, 503, 438. Editorial. (2014). Conflict of interest. Nature, 505, 132. Piwowar, H. (2013). Value all research products. Nature, 493, 159. Silva, A. L. C. (2012). El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. Acimed, 23(2), 308–322. Thelwall, M., Haustein, S., Larivière, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS One, 8(5), e64841. doi:10.1371/journal.pone.0064841 Van Noorden, R. (2013). PLOS profits prompt revamp Budget crunch hits Keeling ’ s curves. Nature, 503, 320–321.It has been long shown by Merton and other sociologists, philosophers and science historians that scientific communities can be subject to similar analyses to those applied to other communities. Moreover, these processes involve attending to both internal (conceptual and methodological) and external (pressures and influences by other academic communities) factors. The externalities created by the latter are now standalone products generated by the dynamics of interaction amongst communities. Several editorials and papers in top-ranking journals have mentioned that output and its communication are influenced by external funding, social responsibility, impact factors, interest conflicts, and even social and academic networks (Editorial, 2013, 2014; Piwowar, 2013; Thelwall, Haustein, Larivière, & Sugimoto, 2013; Van Noorden, 2013). But this is not only related to publication, but to research generation as well. A close and tangible example is the incentive systems that communities that assess and control resource allocation for research have put in place, and that end up gearing researchers’ behaviour towards quantity, quality, location and type of publication, and raising strong conflicts of interest (Editorial, 2014). Another example is how accreditation systems promoted an large increase in the number of publications in order to accommodate more output and to show an institutional commitment to research, which created pressure for academic communities to publish. This also resulted in differences amongst measurement systems, and nowadays there is no agreement amongst the measurements offered by Google Scholar, Scopus, and Thompson Reuters’ Impact Factor (Bornmann et al., 2009; Silva, 2012). In order to preserve some minimal output quality, reviewing procedures must be exhaustive, exogamic and intersubjectively contrasted via blind peer-review; these requirements aim to decrease the effect of some externalities – for instance, those stemming from interests held by competing communities, or from ideological, political, or even personal, animosities. This is why peer-reviewers should not know the authors, their institutions, or their countries of precedence. The task is complicated by the fact that reviewers must have experience in the area and solid methodological training, which is not simple, especially in not so well developed communities or groups who have created their own language for communication. If we add economical variables, the problem gets worse. Researchers get incentives for publication and reviewers, in most cases, do not get anything for reviewing. This is another example of incentives as externalities akin to political, ideological or personal interests, that must be borne in mind by the editorial teams as part of the review process. Academic communities in consolidation are unfortunately more vulnerable to adjust their practices as a function of incentives or externalities, especially when rooted in fragile institutions. This is another reason for exogamic double blind reviewing systems. This ideal process will need to be supplemented by other transparency measures, but neither reviewers nor authors seem to be prepared for complete transparency in publications. Hopefully, this will be achieved through self-regulation of the scientific processes. I want to point out that no one is naïve these days. Researchers know the value of incentives, but we cannot get drawn into making our work worse because of them, instead of producing pertinent, relevant, quality work, or even worse, placing all responsibility on the system we so easily criticise. It is only us who are responsible for the consequences of decisions we make as researchers, reviewers and editors. Our ethical and social command is to denounce the implications of these externalities and of the researchers’ behaviour. References Bornmann, L., Marx, W., Schier, H., Rahm, E., Thor, A., & Daniel, H.-D. (2009). Convergent validity of bibliometric Google Scholar data in the field of chemistry—Citation counts for papers that were accepted by Angewandte Chemie International Edition or rejected but published elsewhere, using Google Scholar, Science Citation Index, Scopus, and Chemical Abstracts. Journal of Informetrics, 3(1), 27–35. doi:10.1016/j.joi.2008.11.001 Editorial. (2013). Enemy of the good. Nature, 503, 438. Editorial. (2014). Conflict of interest. Nature, 505, 132. Piwowar, H. (2013). Value all research products. Nature, 493, 159. Silva, A. L. C. (2012). El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. Acimed, 23(2), 308–322. Thelwall, M., Haustein, S., Larivière, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS One, 8(5), e64841. doi:10.1371/journal.pone.0064841 Van Noorden, R. (2013). PLOS profits prompt revamp Budget crunch hits Keeling ’ s curves. Nature, 503, 320–321