Actualización en el cálculo del Factor de Impacto de las revistas, a partir de 2021

Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2020/12/07/jif-calculation-2021/?informz=1

Se anuncian cambios en el factor de impacto de la revista para 2021

A principios de este otoño, Clarivate Analytics anunció que se estaba moviendo hacia un futuro que calculaba el Factor de Impacto de la Revista (JIF) basado en la fecha de publicación electrónica y no en la fecha de publicación impresa.

Si su primera reacción fue "¡Qué te tomó tanto tiempo!" no está solo.

La publicación en línea se remonta a mediados de los años 90, con varias revistas con visión de futuro que alojan parte o todo su contenido en esta cosita futurista conocida como la World Wide Web. A principios del 2000, títulos como el Journal of Biological Chemistry tenían un modelo robusto de publicación de artículos aceptados y revisados por pares en línea antes de apresurarlos a través de la composición tipográfica, el diseño y la distribución impresa. Hoy, dos décadas más tarde, términos como "Publish-ahead-of-Print", "Early Online", "Early View" y sus variantes parecen pintorescos y anacrónicos ya que todos nos acostumbramos a un modelo en el que la electrónica se convirtió en el modelo por defecto de publicación de revistas. Aún así, Clarivate se apegó a un modelo que basaba la fecha de publicación en la impresión. Mientras que el lapso de tiempo entre la publicación en línea y la designación impresa es corto para algunos títulos, puede ser de meses (o incluso años) para otros. Para la mayoría de las revistas sólo en línea, sólo hay una fecha de publicación.

Esta discrepancia entre la forma en que Clarivate trató las revistas impresas tradicionales y las que sólo se publican en línea despertó el escepticismo de los científicos, algunos de los cuales sostuvieron que las largas demoras entre la publicación impresa y la publicación en línea beneficiaban las puntuaciones del JIF de las revistas tradicionales con respecto a los títulos más recientes de acceso abierto, y sugirieron cínicamente que los editores podrían estar ampliando a propósito su retraso en un intento de elevar artificialmente sus puntuaciones. Independientemente de que este argumento tenga o no mérito (sus métodos para contar las citas válidas son problemáticos), los retrasos crean problemas en el registro de citas, especialmente cuando un artículo se ha publicado en línea en un año civil y en forma impresa en otro - por ejemplo, publicado en línea en diciembre de 2019 pero que aparece en el número impreso de enero de 2020. En este caso, un autor puede citar el documento como publicado en 2019; otro en 2020. Clarivate conservará ambas variaciones de la referencia pero enlazará sólo la última en su índice de la Web of Science (WoS). Esta es sólo una de las razones por las que es tan difícil calcular con precisión los resultados del Factor de Impacto de la WoS. Al adoptar un nuevo estándar de publicación electrónica, Clarivate ayudará a reducir la ambigüedad en el registro de citas. También hará más fácil y más transparente el cálculo de la métrica de las citas. Entonces, ¿por qué tardaron tanto?

La Web of Science comenzó a incluir fechas de publicación electrónica ("Early Access") en sus registros desde 2017 y ahora incluye esta información para más de 6.000 revistas, según la Dra. Nandita Quaderi, editora jefe de la WoS. Si bien este número suena impresionante, debemos señalar que representa sólo la mitad de las más de 12.000 revistas que actualmente indexan. Se añadirán más revistas "usando un enfoque prospectivo por fases para acomodar las diferencias de tiempo en la incorporación de las editoriales", lo que hace que parezca que el retraso en la implementación está en manos de las editoriales y los vendedores que llegan tarde a la mesa. Pedí una lista de títulos o editores incluidos en el programa y no he recibido respuesta, por lo que he creado mi propia lista (se ha eliminado el enlace a la hoja de cálculo a petición de Clarivate).

De esta lista, conté 43.831 registros de Early Access de 4.991 fuentes en el WoS con una fecha de publicación de 2020. Si bien pude identificar los títulos publicados por Springer Nature, Wiley y JAMA, brillaron por su ausencia los títulos de Elsevier (incluidas Cell Press y Lancet), las editoriales universitarias (Oxford, Cambridge), así como las publicaciones de sociedades y asociaciones prominentes, como la American Association for the Advancement of Science, the American Chemical Society, the American Heart Association, and American Society for Microbiology, entre otras. Extrañamente, estos editores han estado enviando metadatos de publicación en línea a PubMed durante años.

La próxima publicación de 2021 (utilizando datos de 2020) será un año de transición, en el que las citas de los registros de Early Access se añadirán al numerador del cálculo del JIF pero se excluirán de los recuentos de publicación en el denominador.

Según Seven Hubbard, Jefe del Equipo de Contenido de los Informes de Citas de Revistas (JCR), el cambio completo a la utilización de la publicación en línea para el cálculo de los Factores de Impacto de Revistas (JIF) comenzará en 2022 utilizando los datos de publicación de 2021. La próxima publicación de 2021 (utilizando los datos de 2020) será un año de transición, en el que las citas de los registros de Early Access se añadirán al numerador del cálculo del JIF pero se excluirán de los recuentos de publicación en el denominador.

Se espera que la adición de posiblemente cientos de miles de citas a los cálculos de Clarivate tenga un efecto inflacionario en los resultados del JIF 2020 de todas las revistas que las reciben. Si esperamos que estos nuevos trabajos de Early Access sean iguales a los trabajos que los precedieron, distribuirán las citas de manera similar a través de la red de revistas interrelacionadas. Al igual que el océano, la marea creciente levantará todos los barcos.

Sin embargo, las revistas participantes en Early Access recibirán una inyección adicional de autocitas, que puede ser suficiente para empujar sus puntuaciones JIF por encima de los competidores cercanos que no están actualmente en el programa de implementación por fases de Clarivate. En otras palabras, la marea elevará las revistas de los editores participantes mucho más que las de los no participantes. El efecto inflacionario en el cálculo del JIF probablemente se vuelva negativo al año siguiente, ya que las citas de estos artículos de 2020 Early Access (publicados en forma impresa en 2021) se ignoran para el cálculo del JIF de 2021.

El despliegue gradual de Clarivate puede beneficiar preferentemente a las editoriales participantes, predisponer a otros

Dado el potencial de cambio en la clasificación de las revistas, pregunté a Hubbard si él o su equipo habían probado si la adición de citas de Early Access cambiaba la clasificación de las revistas o si beneficiaba preferentemente a los editores participantes. En el momento de escribir este artículo, no he recibido respuesta.

Los cambios en Clarivate son bienvenidos y están muy atrasados. Si bien no está claro cómo afectará al ranking de las revistas el cambio de las fechas de publicación impresa a las de publicación en línea, debería ayudar a reducir la ambigüedad y la confusión en el registro de citas. Sin embargo, la falta de transparencia y de comunicación sobre los efectos previstos de esta transición es preocupante, especialmente porque actualmente sólo afecta a la mitad de las revistas activas. Si llegar a una evaluación justa e imparcial significa esperar un año más para que participen todas las editoriales, yo personalmente estoy dispuesto a esperar.

Phil Davis es un consultor de publicaciones especializado en el análisis estadístico de datos de citas, lectura, publicaciones y encuestas. Tiene un doctorado en comunicación científica de la Universidad de Cornell (2010), una amplia experiencia como bibliotecario de ciencias (1995-2006) y ha sido profesor de la Universidad de Cornell.

*************************************

• By PHIL DAVIS
• DEC 7, 2020

Earlier this fall, Clarivate Analytics announced that it was moving toward a future that calculated the Journal Impact Factor (JIF) based on the date of electronic publication and not the date of print publication.

If your first reaction was "What took you so long!" you are not alone.

Online publication dates back to the mid 1990s, with several forward-looking journals hosting some or all of their content on this futuristic thingy known as the World Wide Web. By the early 2000s, titles like the Journal of Biological Chemistry had a robust model of publishing accepted peer-reviewed papers online before rushing them off through typesetting, layout, and print distribution. Today, two decades later, terms like "Publish-ahead-of-Print," "Early Online," "Early View" and their variants seem quaint and anachronistic as we all got accustomed to a model where electronic became the default model of journal publication. Still, Clarivate stuck to a model that based publication date on print. While the lag time between online publication and print designation is short for some titles, it can be months (or even years) for others. For most online-only journals, there is only one publication date.

This discrepancy between how Clarivate treated traditional print versus online-only journals aroused skepticism among scientists, some of whom argued that long delays between print and online publication benefited the JIF scores of traditional journals over newer open access titles, and cynically suggested that editors may be purposefully extending their lag in an attempt to artificially raise their scores. Whether or not this argument has merit (their methods for counting valid citations are problematic), lag times create problems in the citation record, especially when a paper has been published online in one calendar year and print in another — for example, published online in December 2019 but appearing in the January 2020 print issue. In this case, one author may cite the paper as being published in 2019; another in 2020. Clarivate will keep both variations of the reference but link only the latter in its Web of Science (WoS) index. This is just one reason why it's so difficult to calculate accurate Impact Factor scores from the WoS. By adopting a new electronic publication standard, Clarivate will help reduce ambiguity in the citation record. It will also make it easier and more transparent to calculate citation metrics. So, what took them so long?

The Web of Science began including electronic ("Early Access") publication dates in its records since 2017 and now includes this information for more than 6,000 journals, according to Dr. Nandita Quaderi, Editor-in-Chief of the WoS. While this number sounds impressive, we should note that it represents only about half of the 12,000+ journals they currently index. More journals will be added "using a phased, prospective approach to accommodate timing differences in publisher onboarding," which makes it sound like the delay in implementation is in the hands of publishers and vendors who are coming late to the table. I asked for a list of titles or publishers included in the program and have not heard back, so I created my own list (download spreadsheet link removed at request of Clarivate).

From this list, I counted 43,831 Early Access records from 4,991 sources in the WoS with a 2020 publication date. While I could identify titles published by Springer Nature, Wiley, and JAMA, conspicuously absent were titles from Elsevier (including Cell Press and Lancet), university presses (Oxford, Cambridge), together with publications from prominent societies and associations, like the American Association for the Advancement of Science, the American Chemical Society, the American Heart Association, and American Society for Microbiology, among others. Strangely, these publishers have been sending online publication metadata to PubMed for years.

The next 2021 release (using 2020 data) will be a transition year, in which citations from Early Access records will be added the numerator of the JIF calculation but excluded from publication counts in the denominator.

According to Seven Hubbard, Content Team Lead for the Journal Citation Reports (JCR), the full switch to using online publication for the calculation of Journal Impact Factors (JIFs) will begin in 2022 using 2021 publication data. The next 2021 release (using 2020 data) will be a transition year, in which citations from Early Access records will be added the numerator of the JIF calculation but excluded from publication counts in the denominator.

What's next for JCR. From: https://clarivate.com/webofsciencegroup/article/whats-next-for-jcr-defining-early-access/

Adding possibly hundreds of thousands of citations to Clarivate's calculations is expected to have an inflationary effect on the 2020 JIF scores of all journals that receive them. If we expect that these new Early Access papers are just like the papers that preceded them, they will distribute citations similarly across the network of interlinked journals. Like the ocean, the rising tide will lift all boats.

However, participating Early Access journals will receive an additional shot of self-citations, which may be sufficient to push their JIF scores above close competitors who are not currently in Clarivate's phased implementation program. In other words, the tide will lift the journals of participating publishers much higher than non-participants. The inflationary effect to the calculation of the JIF will likely turn negative the following year as citations from these 2020 Early Access papers (published in print in 2021) are ignored for the 2021 JIF calculation.

Clarivate's phased roll-out may preferentially benefit participating publishers, bias others

Given the potential of changing the ranking of journals, I asked Hubbard whether he or his team had tested whether adding Early Access citations changed the ranking of journals or whether it preferentially benefited participating publishers. At the time of this writing, I have not received a response.

The changes at Clarivate are welcome and long overdue. While it is not clear how a shift from print to online publication dates will affect the ranking of journals, it should help to reduce ambiguity and confusion in the citation record. A lack of transparency and communication on the anticipated effects of this transition are troubling however, especially because they currently involve just one-half of active journals. If arriving at a fair and unbiased assessment means waiting another year for all publishers to participate, I'm personally willing to wait.

Phil Davis is a publishing consultant specializing in the statistical analysis of citation, readership, publication and survey data. He has a Ph.D. in science communication from Cornell University (2010), extensive experience as a science librarian (1995-2006) and was traine

--