Cómo reconocer las publicaciones cientÃficas de calidad
En principio, habrÃa que ver si los artÃculos publicados en la publicación se refieren a trabajos de investigación que usan el método cientÃfico de la manera más escrupulosa y luego habrÃa que evaluar la relevancia de las investigaciones.
La primera cuestión puede ser respondida por expertos en metodologÃa cientÃfica, y no necesariamente solo por los expertos en el área de la que se ocupe la publicación. La segunda cuestión puede ser respondida solo por los expertos en el área.
Asà pues, parece que debieran realizarse los ránkings de revistas cientÃficas a base de encuestas entre los cientÃficos. Es una forma de hacerlo y, ciertamente, es algo que se hace. Para hacerse bien habrÃa que preguntar a muchos cientÃficos y estos deberÃan conocer bien todos los trabajos de todas las revistas y esto empieza a ser costoso e irreal. Por otra parte, además, podrÃa ocurrir que la revista A publicara artÃculos favorables a una teorÃa o escuela y la revista B hiciera lo mismo con otras. Los cientÃficos podrÃan estar divididos según su pertenencia a una u otra escuela y los legos nos quedarÃamos sin saber cuál revista (e, indirectamente, cuál escuela) tiene mayor prestigio entre la comunidad cientÃfica.
Hay otra manera de elaborar un ránking:
- Tómense todas las revistas que publican artÃculos en una determinada área cientÃfica.
- Cuéntense las citas que cada revista recibe del total de revistas.
El ránking hecho según las citas corresponderá, por asà decirlo, a la popularidad de una revista entre los cientÃficos de esa área. Varias pegas se le ocurren a uno. Puede que una revista se cite mucho a sà misma, de manera que sus artÃculos recibirán más citas por esa razón. Puede que un artÃculo se cite para decir lo malo que era y no para elogiarlo, precisamente. Algunas revistas pueden tener la polÃtica de restringir o fomentar el número de referencias (citas) en sus artÃculos. Las citas de las mejores revistas deberÃan contar más que las citas de las peores.
Para todo lo anterior hay solución. Pueden descontarse las “autocitasâ€, las citas negativas son en realidad pocas (corregir algún error de Einstein no es mala referencia para la revista que publicó el artÃculo de Einstein), puede hacerse que el peso de las citas de cada revista dependa de su intensidad de citas. El último punto, cómo hacer pesar más las citas de las mejores, parece una pescadilla que se muerde la cola: sin saber cuáles son las mejores no podemos darles más peso. Pero esto también tiene solución.
- Hágase el primer ránking según el sistema anterior (corregido por alguna de las mejoras apuntadas arriba).
- La proporción de citas sobre el total recibidas por cada revista será ahora el peso de esa revista y el peso de las citas que se hagan en ella.
- Con estos pesos se vuelven a contar las citas, que ahora estarán multiplicadas por esos pesos.
- Esto nos da un nuevo número de proporción de citas ponderadas para cada revista. Estos nuevos números sirven para volver a repetir el procedimiento hasta que se llegue a un punto estable, en el que los pesos no cambien.
Curiosamente ocurren tres cosas de importancia. La primera es que el procedimiento dinámico descrito anteriormente, en la práctica llega siempre a ese punto estable, a pesar de que teóricamente podrÃa no haber solución. La segunda es que el este método tan elaborado no da lugar a ránkings muy distintos de los realizados con el procedimiento más sencillo. La tercera es que estos ránkings tampoco son muy distintos de los que se obtienen preguntando a los expertos.
Puede haber diferencia entre cuál es la primera y cuál la segunda, o entre una revista que aparece la 10 en un ránking la 20 en otro, pero en un mundo donde las revistas en cada área superan las 100, estas diferencias son mÃnimas. No ocurre que en un ránking una revista esté entre las primeras y en otro esté entre las últimas.
Hay un último hecho de interés. No se refleja una división en escuelas. PodrÃa ocurrir que la escuela A tiene sus revistas y la escuela B las suyas y que no hubiera citas cruzadas entre ambas escuelas, de manera que, aunque dentro de una escuela fuera posible distinguir las mejores, no serÃa posible comparar entre ambas escuelas (como no es posible comparar entre las revistas de fÃsica y las de economÃa, ya que no hay citas cruzadas).
AsÃ, todos los investigadores de economÃa están de acuerdo en cuáles son las mejores revistas, sea uno más o menos liberal o más o menos neokeynesiano. Todos los investigadores en fÃsica están también de acuerdo en cuáles son sus mejores revistas sean o no partidarios de la teorÃa de cuerdas, y todos los investigadores en medicina están de acuerdo en cuáles son las mejores revistas médicas.
Ahora es fácil ver si la acupuntura, la homeopatÃa, el psicoanálisis, el cuestionamiento del cambio climático, el diseño inteligente, la economÃa marxista,… se encuentran entre las teorÃas que se barajan como de interés entre los expertos de cada ciencia.
Lo interesante es que podemos saber la respuesta a lo anterior sin ser expertos en el área, sin más que echar un vistazo a las publicaciones de más prestigio en cada ciencia.
Lo inquietante es que los pseudocientÃficos se están dando cuenta de lo anterior y están promoviendo sus revistas propias en las que abundan las citas dentro del grupo y se obvian las referencias a las revistas hasta ahora reconocidas. Esto puede hacer que en el futuro cercano sà haya, por ejemplo, un grupo de revistas de homeopatÃa o “medicina alternativa†que no sea posible comparar con las revistas médicas actuales por no haber referencias cruzadas.