Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.
 |
 |
Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)
Hoy día es una expresión
vacía de contenido, en el sentido de que por sí sola no garantiza los
principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se
han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo,
reducir el autoembargo, etc).
La evolución de los hechos
ha desembocado pues en una situación, la actual, en la que ese criterio y esa
identificación no aporta nada en los anhelos entonces sentidos porque:
a)
Ante la presión de los países y de las administraciones
que gestionan la investigación y las universidades, las grandes corporaciones
han accedido en muchos casos a convertir sus publicaciones al acceso abierto
pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante
las APCs: Article Processing Charges.
Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos
pagaban también pero ahora las APC se han multiplicado por cinco y hasta por
diez para garantizar el acceso abierto.
b)
Bajo el denominador de acceso abierto
hay revistas depredadoras (las APC son el negocio)
c)
Amparadas por ese calificativo también se han
colado revistas de muy baja calidad que, sin control y con estándares
ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos mitos educativos, entre los que están, por ejemplo, “inteligencias
múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”,
visiones educativas socioculturales, … Actualmente
son una plaga los “self report studies” (encuestas que consideran como un
indicador de calidad en el aprendizaje la satisfacción o la percepción de los
alumnos, muchas veces en contradicción con lo que dicen las teorías y los
principios del aprendizaje). Para tener idea del volumen de estos fenómenos se
pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E.,
& López-Cózar, E. D. (2021), que analizan la consistencia entre diversa
fuentes (comparar en esa
herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas
de Google Scholar dentro y fuera de Scopus o de WoS).
d)
Si la edición de “open Access” no garantiza la
calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza
la pureza de los procesos de edición y de investigación por sí misma. Son
frecuentes los casos de artículos que han sido retractados en prestigiosas
revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de
poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien
formalmente no son de pago, por ser open Access, nosotros la consideramos como
tales por las altas APCs que imponen, tiene aspectos que despiertan cuando
menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda
meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en
algunas materias y modalidades de trabajo.
e)
Por otra parte, si la edición en Open Access no
va acompañada de otras modalidades de edición, como la edición verde u oro
(Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de
los artículos y de los preprints (incompatible por otro lado con las APCs
porque las editoriales no lo consienten) no tiene garantizada la eficacia que
se le atribuye en la creación y mantenimiento de entornos abiertos y de
ecosistemas de investigación (Zapata-Ros, 2011)
Por tanto, la cuestión Open Access
sí u Open Access no, no es factor determinante de la calidad ni de la
excelencia en la difusión científica ni de la producción, si es eso lo que se
pretende.
La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se
evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al
cambiar los indicadores de las grandes plataformas de calidad, SCImago,
Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala
nacional.
A) CiteScore, el índice de Scopus-Elsevier
Es el índice más
transparente: Ofrece las citas por artículo los últimos tres años, pero al
operar sobre revistas que de entrada cumple los estándares de calidad de Scopus,
es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo
índice.
Supone una gran revolución y
una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter
opaco y la ponderación que utilizan sus algoritmos.
En mi opinión es el índice
más fiable respecto a la excelencia. A pesar de ser reciente, está siendo
adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido
grandes críticas
B) SJR, el índice de SCImago
sobre datos de Scopus.
SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).
Sin embargo, el principio que
utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes.
Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en
otro sentido, utiliza, con carácter general para las búsquedas, PageRank de
Google.
C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS
Supone la otra gran
revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora,
su índice exclusivo, el IF (Impact Factor) de JCR. Con él se
homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la
supuesta excelencia y el elitismo provocado por los índices tradicionales, que
otorgaba un plus de marca a las revistas de tal forma que los sistemas de
evaluación nacionales se guiaban exclusivamente por esa marca.
Después de varios años de
existencia del Emerging Sources Citation Index (ESCI) y de Arts &
Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate
entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por
WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que
las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos
criterios de calidad , aplicados por los expertos de WoS, para las
publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index
(SSCI).
Por eso, AHCI y ESCI, y su
contenido de revistas seleccionadas por WoS, merecen una cobertura completa en
el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas
ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos
ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.
Sin embargo, hemos comprobado
que después de esto han admitido nuevas revistas en el índice elitista y
exclusivo Social Sciences Citation Index (SSCI).
En esta nueva situación se da
la circunstancia de que revistas con un JCI superior a revistas de Social
Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:
Que teniendo JCI superior a
otras tres revistas españolas de Educación permanece fuera de SSCI y no se le
calcula el IF.
D) FECYT ranking, tras unos
tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático
de la clasificación, actualmente tiene una metodología que permite restar el posible
sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante
una media ponderada.
Conclusiones.-
Aunque en el momento de
la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de
esperar que, ante los próximos procesos de adjudicación de sexenios y
acreditación a comienzos del nuevo año, se pronuncie a través de las
convocatorias si toma como referencias los nuevos índices o los antiguos. Ello
teniendo en cuenta las situaciones a las que se puede enfrentar, como por
ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con
el nuevo índice JCI de JCR están por delante de algunas que
anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).
Por último, hay de decir
que, como hemos mantenido estos años, una política de estandarización y
de generalización de los índices, en un marco global e interdisciplinar, de publicaciones de distintas disciplinas
interconectadas y cuyo impacto fuese medido con criterios de estandarización,
era necesario, como se ha puesto de relieve en las contingencias de la pandemia.
También acotar las publicaciones de excelencia. No sólo porque eso
favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas
en un contexto global sin criterios de exclusividad distintos a los
propios de la calidad, sino porque al ponderar las citas con
criterios científicos se deslinda lo que es ciencia de lo que no lo es,
estableciendo criterios de excelencia y no sólo de número. Y que esos criterios
sean iguales para todas las publicaciones. Insistimos que eso se pone
de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos.
Referencias
Friend, F. J. (2005). El
apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia, 13, 1-8. https://www.um.es/ead/red/13/melero.pdf
Martín-Martín, A., Thelwall,
M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar,
Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’
COCI: a multidisciplinary comparison of coverage via citations. Scientometrics, 126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4
Zapata-Ros, M. (2008). La
edición científica digital de acceso abierto: Un factor básico en la ayuda a la
investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891
Zapata-Ros, M. (2011). La
investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf
Zapata-Ros, M. (2017) Citación,
calidad e innovación en edición científica. http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html
Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html
[1] Después
hemos conocido la explicación de intenciones ofrecida por la ANECa y los
documentos de principios y directrices: "Conversaciones con ANECA:
principios y directrices generales para la actualización de los criterios de
evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion
Esperamos a realizar una tranquila y serena lectura
para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y
comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia
casi obsesiva en plantear la cuestión en términos de open access / acceso por
compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora
en esa dirección, consideramos una aportación positiva la sustitución del
indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore
de ScopusElsevier.
Comentarios
Publicar un comentario