La revista Nature publica el Manifiesto de Leiden para la evaluación científica
Ismael Rafols, investigador del Instituto INGENIO, centro mixto de la Universitat Politècnica de València y el Consejo Superior de Investigaciones Científicas (CSIC), es uno de los autores del Manifiesto de Leiden, un documento redactado por cinco expertos en evaluación científica que presenta un decálogo de principios para el empleo transparente y eficaz de los indicadores bibliométricos, y que ha sido publicado por la revista Nature.
La comunidad científica es consciente desde hace varios años de que se ha producido un gran incremento en el uso de indicadores bibliométricos a la hora de realizar las evaluaciones de la actividad científica. Incluso desde la comunidad de expertos en bibliométrica hay una percepción de que este hecho, más que ayudar a la gestión de la actividad científica, puede estar generando nuevos problemas. En España, por ejemplo, las oficinas de evaluación han institucionalizado el uso de indicadores bibliométricos de manera casi automática, provocando situaciones como que la adjudicación de los sexenios a los investigadores dependan de su factor de impacto afectando en muchos casos de manera negativa a la investigación.
El pasado septiembre se celebró en la Universidad de Leiden la 19th International Conference on Science and Technology Indicators en la que, entre otros temas, se habló de la posibilidad de redactar un documento conjunto que recogiera una serie de principios que deberían servir como guía para un uso responsable de los indicadores bibliométricos, dando lugar a lo que se ha llamado el Manifiesto de Leiden.
El Manifiesto de Leiden agrupa diez principios como guía para el empleo de los indicadores bibliométricos en la evaluación de la actividad investigadora, y que se pueden resumir en: 1.- Los indicadores, como información cuantitativa que son, no pueden sustituir a los criterios de evaluación valorativos de los expertos, sino que deben de servirles de ayuda. 2.- La evaluación de la actividad investigadora debe ajustarse a la misión u objetivos de la institución, investigador o grupo que está siendo evaluado. 3.- Se han de desarrollar indicadores que reflejen el impacto de actividades de investigación de ámbito local o regional y que se desarrollan en otras lenguas distintas al inglés. 4.- Los indicadores deben ser simples, respetando la complejidad, para facilitar la transparencia de las evaluaciones. 5.- Los evaluados deben poder verificar el análisis de los indicadores por los que se les ha evaluado, y si no están de acuerdo pedir una reevaluación. 6.- Se deben tener en cuenta las diferencias en el impacto que existe entre distintos campos de investigación a la hora de elaborar los indicadores. 7.- No se pueden usar los indicadores sin tener en cuenta todo el contexto del investigador. 8.- Hay que evitar las falsas concreciones y precisiones. Por ejemplo, el factor de impacto de revista se publica con tres decimales, pero sólo un decima tiene sentido. 9.- Hay que tener en cuenta el efecto que provocan algunos indicadores en tanto que incentivos que pueden favorecer unas actividades y desfavorecer otras. 10.- Los indicadores han de ser revisados y actualizados de forma continua.
Ismael Rafols explica que “en absoluto estamos contra los indicadores, son útiles y vistas las dimensiones y responsabilidad social que tiene la ciencia, son incluso necesarios. Pero una cosa es utilizarlos de modo responsable para comprender y ayudar a pensar en la toma de decisiones, y otra es que sean utilizados de forma automática como máquinas evaluativas. En el caso español la nueva tendencia hacia la máquina evaluativa se asocia con la vieja burocracia y crea un producto tóxico que creemos que aleja la ciencia del tejido económico y social”.
La versión en castellano del Manifiesto de Leiden se puede encontrar en: