Indice de citaciones, un parámetro bibliométrico importante

En la medición de la actividad científica, llamada también cienciometría, actualmente no ocupan una posición preeminente las revisiones por expertos, sino que se tienden a emplear más los métodos bibliométricos que aplican procedimientos matemáticos y estadísticos a toda la bibliografía científica y a los autores que la producen, con el objetivo de proceder a su evaluación.

Uno de los índices bibliométricos más empleados es el llamado factor de impacto (FI) al que he dedicado ya un artículo especial señalando su utilización abusiva y errónea. En concreto, el FI valora la calidad de las revistas y no la de los artículos individuales que estas contienen. La presuposición de que un FI elevado pueda aplicarse automáticamente a todas publicaciones contenidas en una revista no se sostiene. Por tanto, para la medición de la calidad científica de un investigador o un grupo de investigadores se requieren otros instrumentos bibliométricos. Uno de ellos es el llamado índice de citaciones. Se define como el número de citas que recibe un artículo por otros autores. A partir de este dato se pueden generar otros dos parámetros  bibliométricos, a saber, la media de citas por documento (C/D) y el tanto por ciento de no citación. La productividad científica de un investigador se considera de mayor calidad cuanto mayor es su índice de citaciones, cuanto más alta es el C/D y cuanto menor es % de no citación.

En su empleo es preciso tener en cuenta otras dos consideraciones importantes: establecer el período de análisis y proceder a su normalización.

Respecto al primer punto tomemos el ejemplo de la figura adjunta. En ella se representa un conjunto de documentos publicados entre 1981 y 2000 (línea azul oscura), y el número de citas recibidas a lo largo de todos el período (línea roja), a los 3 años (línea amarilla) y a los 5 años (línea azul clara). Como cabe observar, el período de observación modifica claramente el número de citas recibidas.

Por lo que respecta a la normalización, esta es necesaria porque no todas las materias investigadas son citadas por un igual. Como instrumento idóneo para ello tiene bastante aceptación el llamado Crown Indicator (indicador corona) propuesto por van Raan y colaboradores del Centre for Science and Technology Studies, de Leiden (Holanda). Estos autores proponen como indicador de impacto estandardizado internacionalmente el cociente: CPPx/FCSmx, donde CPPx corresponde a C/D sin autocitas, y FCSmx a la tasa media de citaciones de todos los artículos de un determinado campo científico. A partir de aquí se puede concluir que la calidad de un grupo científico está muy por debajo (<0,5), por debajo (0,5-0,8), en torno a (0,8-1,2), por encima (1,2-2,0) o muy por encima (>2,0) del nivel internacional. Cuanto más alta es la agregación de los investigadores o mayor es el volumen de publicaciones, más difícil es alcanzar un impacto por encima del nivel internacional.

 

Sobre el llamado factor de impacto (FI)

En muy diversas circunstancias, tales como la asignación de recursos destinados a las actividades de investigación, desarrollo e innovación (I+D+I), concesión de premios, procesos de promoción personal y otras, interesa conocer cuál es el valor o el mérito científico de un investigador o de un grupo de investigadores. La medición de la actividad científica que ha recibido también el nombre de cienciometría, desempeña por tanto un papel muy importante.

Aunque clásicamente se ha recurrido para estos fines a la llamada “peer-review” (revisión por pares o expertos), hoy en día son preferibles los métodos bibliométricos que aplican procedimientos matemáticos y estadísticos a toda la bibliografía científica y a los autores que la producen, con el objetivo de proceder a su evaluación.

El factor de impacto es uno de los índices bibliométricos más empleados y también más discutidos, por lo que me ha parecido oportuno dedicarle algunas reflexiones.

Cabe considerar a Eugene Garfield como uno de los padres de la bibliometría, pues ha dedicado a los largo de los años numerosos esfuerzos a esta materia convirtiéndose en la persona más influyente en la misma. Es fundador del Institute of Scientific Information (ISI) de Filadelfia (EEUU) e inventor de la base de datos Science Citation Index (SCI). En torno al año 1960 propuso el FI como instrumento para medir el impacto científico de una determinada revista. Este índice se obtiene por el número de veces que una revista es citada durante un determinado año por las revistas incluidas en el SCI, dividido por el número de trabajos publicados en dicha revista durante los dos años previos.

Jordi Camí, un excelente científico y buen amigo, amén de uno de los autores españoles que ha realizado los mejores estudios bibliométricos en España, publicó  hace  bastantes años un excelente artículo titulado “Impactolatría: diagnóstico y tratamiento” (Med Clin (Barc) 1997;109:515-524), cuya lectura recomiendo encarecidamente a quien desee obtener una detallada información sobre el tema. En un punto concreto señala textualmente: “Debido a la necesidad de disponer de instrumentos cuantitativos de la productividad científica, el manejo del FI de las revistas biomédicas se ha extendido a muchas esferas de nuestra pequeña comunidad científica y sanitaria. Hasta el punto, que algunos colegas profesan una verdadera impactolatría , es decir, un culto o adoración incontinente al FI como si se tratase de una panacea de la evaluación en ciencia. La impactolatría conlleva una práctica simplista en la que se presupone que el FI de la revista de publicación es indicativo de la calidad o la importancia de una investigación científica concreta y, por extensión, de los autores de esta”. El error más importante, pues, en la utilización del FI es considerar que todos los trabajos publicados en una determinada revista tienen la misma calidad científica. Ello no es así, pues hay escasa correlación entre el FI de una revista y el índice de citaciones de los artículos individuales publicados en la misma. En definitiva, el FI valora la calidad de las revistas y no la de los artículos que contienen.

A propósito de la interpretación abusiva del FI se han generado frases irónicas, como “Dime que impacto tienes y te diré quien eres”, o el término de impactitis –que podríamos considerar como una infección o inflamación impactolátrica. Por otro lado hay que estar prevenido de los llamados impactófobos quienes suelen esconder una trayectoria científica de bajo perfil.

En conclusión, para la valoración científica de los investigadores procede recurrir al empleo de otros índices bibliométricos que serán objeto de mi análisis ulterior.