La Agencia Nacional de Evaluación de la Calidad y Acreditación (Aneca), dependiente del Ministerio de Universidades, responsable de evaluar y acreditar enseñanzas, profesores e instituciones, ha introducido importantes modificaciones en sus criterios de evaluación de la investigación, específicamente en cuanto a la importancia que concede en los sistemas de evaluación de la actividad investigadora, a la publicación de artículos científicos en determinadas revistas.

Antecedentes

La necesidad de calibrar la calidad de las distintas publicaciones y, con ella, tratar de conocer la relevancia de la actividad investigadora de quienes publican en ellas sus trabajos, ha promovido la creación de determinados índices de evaluación, como el Factor de Impacto, que contabiliza las veces que determinado artículo es citado por otros autores, como una medida de la difusión real de los hallazgos científicos basada en el interés que despierta en otros científicos.

Los investigadores aspiran a publicar sus trabajos en aquellas revistas con mejores factores de impacto, es decir, más leídas y, por tanto, más citadas por otros. Pues bien, este sistema propicia una carrera desesperada por parte de estos investigadores por colocar sus publicaciones en las revistas más valoradas, porque, de este modo, mejoran sus currículos lo que les permite acceder a nuevas plazas, conseguir sexenios o acreditar su labor docente.

Las revistas depredadoras

En este marco de “presión por publicar” proliferan los que quieren hacer ganancia del río revuelto, promoviendo la actividad de las llamadas “revistas depredadoras”, generalmente de acceso abierto (open access) cuyo verdadero interés, lejos de promover la difusión de la ciencia, es atraer a los investigadores que necesitan publicar, desarrollando prácticas de dudosa legitimidad orientadas a elevar artificialmente sus índices bibliométricos mediante oscuros procedimientos, entre los que se encuentra la promoción de la “autocita” o la tendencia de los investigadores y revistas a citarse a sí mismos elevando así su factor de impacto.

Otra posible desviación que genera este sistema de evaluación basado en la publicación es la proliferación de revistas que cobran cantidades crecientes a los investigadores por publicar sus artículos, ofreciéndolos gratuitamente a los lectores. Dada la elevada demanda para colocar los artículos en determinadas revistas bien valoradas, éstas pueden permitirse exigir a cambio el pago de miles de dólares para incluir en ellas los trabajos.

Frente a éstas, las revistas de suscripción se financian con las cuotas de los suscriptores y los ingresos por publicidad. A este grupo pertenecen las más prestigiosas como The Lancet, Science, Nature, Cell o PNAS (Proceedings of the National Academy of Sciences of The United States of America), entre otras.

Las “revistas de lujo”

Pero éstas tampoco escapan a la tensión inflacionista que lleva a los científicos a intentar colocar allí sus trabajos: Randy Schekman, premio Nobel de Medicina en 2013, manifestó su intención de no volver a publicar en “revistas de lujo”, que es como denomina a las anteriormente mencionadas, aduciendo que aplican criterios económicos por encima de los meramente científicos. El Premio Nobel apuesta por publicar en revistas de libre acceso, que, a través de internet, ganan terreno a las clásicas suscripciones. (ver más )  Accessed 31/01/2014

Un sistema que favorece el fraude

Otros autores han hecho lo propio con las revistas de libre acceso, poniendo al descubierto que tampoco están libres de sospecha. Así, J. Bohannon publicó en Science su experiencia de enviar a 304 de estas revistas un artículo deliberadamente fraudulento, plagado de errores de bulto, observando con asombro que, de las que contestaron, 157 de ellas aceptaron su trabajo y solo 98 lo rechazaron. (Bohannon J. Who´s Afraid of Peer Review?. Science 2013;342:60-5. Accessed 31/01/2014)

Una de las herramientas más sólidas para evaluar la calidad de la producción científica sigue siendo la revisión por pares que toda publicación seria debe implementar, consistente en la evaluación por parte de, al menos, dos investigadores expertos en el área de estudio de los trabajos candidatos a publicación antes de ser aceptados por la revista.

Aún así, esta herramienta no está libre de corrupción y manipulación interesada. La prestigiosa revista La revista Tumor Biology, con un elevado factor de impacto en JCR (3.650)  ha retractado 107 trabajos de investigación después de descubrir que los autores falsificaron el proceso de revisión por pares.

Es posible falsificar la revisión por pares porque a menudo se les pide a los autores que sugieran posibles revisores para sus propios documentos.

Anteriormente se retiraron 58 artículos de siete revistas diferentes -25 provenientes de Tumor Biology- por la misma razón.

ANECA entra en la polémica

Los cambios que ahora introduce la agencia evaluadora dependiente del Ministerio de Universidades, ponen el foco en las mencionadas revistas de prestigio como Science, Nature, Cell o PNAS.

La Aneca señala que «los trabajos publicados en revistas con un comportamiento editorial no estándar que no permitan garantizar a priori la calidad del trabajo publicado serán objeto de especial análisis que podrán llevar a una rebaja de su consideración o la no aceptación de las mismas», refiriéndose a su consideración en cuanto a la evaluación de los investigadores que lo solicitan. Pero ¿qué considera Aneca revistas con un comportamiento editorial no estándar? Pues parece referirse a las que poseen un «elevado índice de autocitas o un elevado número de artículos anuales u otros…».

La autocita consiste en incluir entre las referencias de un determinado artículo, otras del mismo autor o revista, efecto que provoca una elevación en su factor de impacto y, por tanto, de su prestigio. Pero no toda autocita es fraudulenta, como parece insinuar Aneca. La hay que es innecesaria o excesivamente reiterativa y puede hacer sospechar un intento de fraude, pero en otras muchas ocasiones una investigación en un campo altamente especializado obliga a citar trabajos relacionados, publicados por la misma revista o por los mismos autores, cita necesaria para explicar la nueva investigación.

Parece muy arriesgado señalar, como ahora hace Aneca, a excelentes revistas, no libres de errores y sombras, basándose en criterios como el mencionado, insuficientemente justificados, que pueden introducir graves sesgos en la evaluación o penalización de estas publicaciones.

Atendiendo a este criterio, la Aneca ha elaborado un enorme listado con revistas clasificadas en función de si su comportamiento no estándar es moderado, alto o muy alto, incluyendo en esta última categoría a las mejores revistas del mundo.

De igual manera, considera la agencia que el hecho de que las revistas exijan honorarios a los autores para publicar sus trabajos penaliza la evaluación de los investigadores de cara a la acreditación de su actividad investigadora, ignorando los sesgos y riesgos que también amenazan a las revistas de libre acceso, tal como se ha apuntado, que son las que la agencia recomienda (ver AQUÍ).

Tensión inflacionista

Pero es el propio sistema de evaluación que establece la agencia el que ha propiciado esta situación. Desde luego, el responsable del posible fraude es quien lo comete, pero un sistema que apunta hacia la publicación en revistas de impacto como el mayor indicador de calidad de la actividad no solo investigadora sino también docente, reduciéndolo casi todo a los factores de impacto de los medios en que se colocan los artículos, es el caldo de cultivo perfecto para la proliferación del fraude, que oculta el verdadero objetivo que debe perseguir todo investigador y docente: la excelencia y el progreso científicos.

Julio Tudela

Observatorio de Bioética

Instituto Ciencias de la Vida