Dora

Existe una necesidad apremiante de mejorar la forma en que los organismos de financiación, las instituciones académicas y otras partes evalúan los resultados de la investigación científica. Para abordar esta cuestión, un grupo de directores y editores de revistas académicas se reunió durante la reunión anual de la Sociedad Americana de Biología Celular (ASCB) en San Francisco, California, el 16 de diciembre de 2012. El grupo elaboró una serie de recomendaciones, denominadas Declaración de San Francisco sobre la Evaluación de la Investigación. Invitamos a las partes interesadas de todas las disciplinas científicas a indicar su apoyo añadiendo sus nombres a esta Declaración.

Los resultados de la investigación científica son numerosos y variados: artículos de investigación que aportan nuevos conocimientos, datos, reactivos y programas informáticos, propiedad intelectual y jóvenes científicos altamente capacitados. Los organismos de financiación, las instituciones que emplean a los científicos y los propios científicos tienen el deseo y la necesidad de evaluar la calidad y el impacto de los resultados científicos. Por tanto, es imperativo que la producción científica se mida con precisión y se evalúe de forma inteligente.

El Factor de Impacto de las Revistas se utiliza con frecuencia como parámetro principal para comparar la producción científica de individuos e instituciones. El Factor de Impacto de las Revistas, calculado por Thomson Reuters*, se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar las revistas que debían comprar, no como una medida de la calidad científica de la investigación de un artículo. Teniendo esto en cuenta, es fundamental entender que el Factor de Impacto de las Revistas tiene una serie de deficiencias bien documentadas como herramienta de evaluación de la investigación. Estas limitaciones incluyen: A) las distribuciones de citas dentro de las revistas están muy sesgadas [1-3]; B) las propiedades del Factor de Impacto de las Revistas son específicas de cada campo: es un compuesto de múltiples y muy diversos tipos de artículos, incluidos los artículos de investigación primaria y las revisiones [1, 4]; C) los Factores de Impacto de las Revistas pueden ser manipulados (o "manipulados") por la política editorial [5]; y D) los datos utilizados para calcular los Factores de Impacto de las Revistas no son transparentes ni están disponibles abiertamente para el público [4, 6, 7]. A continuación presentamos una serie de recomendaciones para mejorar la forma de evaluar la calidad de los resultados de la investigación. En el futuro, otros productos distintos de los artículos de investigación cobrarán mayor importancia a la hora de evaluar la eficacia de la investigación, pero el artículo de investigación revisado por pares seguirá siendo un producto de investigación fundamental para la evaluación de la investigación. Por lo tanto, nuestras recomendaciones se centran principalmente en las prácticas relacionadas con los artículos de investigación publicados en revistas revisadas por pares, pero pueden y deben ampliarse reconociendo otros productos, como los conjuntos de datos, como productos de investigación importantes. Estas recomendaciones se dirigen a las agencias de financiación, las instituciones académicas, las revistas, las organizaciones que suministran métricas y los investigadores individuales.

Estas recomendaciones giran en torno a una serie de temas

- la necesidad de eliminar el uso de métricas basadas en las revistas, como los Factores de Impacto de las mismas, en las consideraciones de financiación, nombramiento y promoción;

- la necesidad de evaluar la investigación por sus propios méritos y no por la revista en la que se publica; y

- la necesidad de aprovechar las oportunidades que ofrece la publicación en línea (como la relajación de los límites innecesarios del número de palabras, figuras y referencias en los artículos, y la exploración de nuevos indicadores de importancia e impacto).

Reconocemos que muchos organismos de financiación, instituciones, editores e investigadores ya están fomentando la mejora de las prácticas de evaluación de la investigación. Estos pasos están comenzando a aumentar el impulso hacia enfoques más sofisticados y significativos de la evaluación de la investigación que ahora pueden ser desarrollados y adoptados por todos los grupos clave involucrados.

Los firmantes de la Declaración de San Francisco sobre la Evaluación de la Investigación apoyan la adopción de las siguientes prácticas en la evaluación de la investigación.

Recomendación general

1. No utilizar las métricas basadas en las revistas, como los Factores de Impacto de las Revistas, como medida sustitutiva de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual o en las decisiones de contratación, promoción o financiación.

Para las agencias de financiación

2. Ser explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de subvenciones y destacar claramente, especialmente para los investigadores en fase inicial, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que se publicó.

3. A efectos de la evaluación de la investigación, considere el valor y el impacto de todos los productos de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y tenga en cuenta una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia en la política y la práctica.

Para las instituciones

4. Ser explícito sobre los criterios utilizados para tomar decisiones de contratación, titularidad y promoción, destacando claramente, especialmente para los investigadores en fase inicial, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que se publicó.

5. A los efectos de la evaluación de la investigación, considere el valor y el impacto de todos los

los resultados de la investigación (incluidos los conjuntos de datos y los programas informáticos), además de las publicaciones de investigación, y tener en cuenta una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia en la política y la práctica.

Para los editores

6. Reducir en gran medida el énfasis en el factor de impacto de la revista como herramienta de promoción, idealmente dejando de promover el factor de impacto o presentando la métrica en el contexto de una variedad de métricas basadas en la revista (por ejemplo, factor de impacto de 5 años, EigenFactor [8], SCImago [9], índice h, tiempos editoriales y de publicación, etc.) que proporcionan una visión más rica del rendimiento de la revista.

7. Poner a disposición una serie de métricas a nivel de artículo para fomentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.

8. Fomentar las prácticas de autoría responsable y el suministro de información sobre las contribuciones específicas de cada autor.

9. Tanto si una revista es de acceso abierto como si está basada en una suscripción, eliminar todas las limitaciones de reutilización de las listas de referencias en los artículos de investigación y ponerlas a disposición bajo la Dedicación de Dominio Público de Creative Commons [10].

10. 10. Eliminar o reducir las limitaciones en el número de referencias en los artículos de investigación y, en su caso, obligar a citar la literatura primaria en favor de las revisiones para dar crédito al grupo o grupos que comunicaron por primera vez un hallazgo.

Para las organizaciones que suministran métricas

11. Sea abierto y transparente proporcionando los datos y los métodos utilizados para calcular todas las métricas.

12. Proporcionar los datos bajo una licencia que permita su reutilización sin restricciones, y proporcionar acceso computacional a los datos, cuando sea posible.

13. Dejar claro que no se tolerará la manipulación inadecuada de las métricas; ser explícito sobre qué constituye una manipulación inadecuada y qué medidas se tomarán para combatirla.

14. Tener en cuenta la variación de los tipos de artículos (por ejemplo, revisiones frente a artículos de investigación) y de las diferentes áreas temáticas cuando se utilicen, agreguen o comparen las métricas.

Para los investigadores

15. Cuando participe en comités que tomen decisiones sobre financiación, contratación, titularidad o promoción, realice evaluaciones basadas en el contenido científico y no en las métricas de publicación.

16. Siempre que sea apropiado, cite la literatura primaria en la que se reportan por primera vez las observaciones en lugar de las revisiones, con el fin de dar crédito a quien lo merece.

17. Utilice una serie de métricas de artículos e indicadores sobre declaraciones personales/de apoyo, como prueba del impacto de los artículos individuales publicados y otros resultados de investigación [11].

18. 18. Cuestionar las prácticas de evaluación de la investigación que se basan indebidamente en los factores de impacto de las revistas y promover y enseñar las mejores prácticas que se centran en el valor y la influencia de los resultados específicos de la investigación.

Referencias

1. Adler, R., Ewing, J., y Taylor, P. (2008) Citation statistics. Un informe de la Unión Matemática Internacional.

2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498-502.

3. Editorial (2005). Un impacto no tan profundo. Nature 435, 1003-1004.

4. Vanclay, J.K. (2012) Factor de impacto: Artefacto obsoleto o trampolín para la certificación de revistas. Scientometric 92, 211-238.

5. Los editores de PLoS Medicine (2006). El juego del factor de impacto. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.

6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091- 1092.

7. Rossner M., Van Epps H., y Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254-255.

8. http://www.eigenfactor.org/

9. http://www.scimagojr.com/

10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers

11. http://altmetrics.org/tools/

*El Factor de Impacto de la revista es ahora publicado por Clarivate Analytics.