Dado que el recuento de documentos publicados y el recuento de citas es tan abierto a la distorsión y al abuso, ¿deberían reemplazarse las métricas basadas en estas cosas?

No hay sustituto para leer lo que los investigadores han escrito. Si no puede leerlos, no puede juzgar el valor de su trabajo con precisión. Por desgracia, por todo tipo de razones prácticas, debemos juzgar a las personas sin poder entender su trabajo, por lo que inventamos métricas fáciles de calcular.

Sin embargo, mi experiencia ha sido que las personas que están siendo juzgadas sobrestiman las ponderaciones que algunas de estas métricas tienen a largo plazo. Eso es como los estudiantes A que piensan que sus calificaciones son extremadamente importantes cuando, de hecho, pueden terminar teniendo poco que ver con lo bien que lo hacen más tarde.

Las métricas son muy importantes, pero puede sorprenderse * que * las métricas son las que más importan. Es muy dependiente del contexto.

En cualquier caso, el truco es hacer tus propias métricas. ¿Escribiste el artículo más corto o más largo en tu campo este año? ¿Colaboraste con 50 personas diferentes este año? ¿Organizas más talleres que nadie? ¿Tu blog es leído por 25,000 personas? Sólo señálelo.

Sí.

Probablemente es posible encontrar mejores métricas. Por ejemplo, el índice h apesta un poco menos. Pero hasta ahora parece bastante difícil identificar métricas sociales que no se pueden jugar. Esto es cierto no solo de las métricas de reputación académica.

Personalmente, tengo muy poco interés en los números de publicación de nadie. Como regla general, cuanto mayor sea el número, más ortodoxo será el investigador; Estoy buscando bichos extraños.

Para aquellos interesados ​​en este tema, recomiendo The Mismeasurement of Science de Michael Nielsen : http://michaelnielsen.org/blog/t

No.

El uso de métricas de citas para evaluar investigaciones ha sido criticado.
en gran medida por muchos. El argumento principal es que las citas no capturan la esencia de la excelencia en la investigación. Déjame intentar derrotar este argumento.

Para entender lo que significa una cita, debemos reflexionar sobre nuestro propio comportamiento como científicos cuando en realidad citamos algo. La primera vez que usamos citas es en la introducción a un artículo. Todos saben que una buena práctica es mencionar todas las publicaciones directamente relacionadas con el artículo. Sin embargo, no necesariamente tienen que haber tenido una fuerte influencia en nuestra investigación, pero son útiles para que los lectores entiendan los resultados en un contexto. Las citas en la sección de discusión se usan generalmente para comparar los hallazgos del documento con el del campo, y así se realiza la misma función de establecimiento de contexto . Finalmente, las citas en los resultados y las partes de los métodos son raras y generalmente se refieren a protocolos y técnicas. Por lo tanto, la mayoría de las citas vinculan el artículo con otros similares en el campo. ¿Por qué entonces algunos artículos reciben órdenes de magnitud más citas que otros? Al emplear el concepto de establecimiento de contexto introducido anteriormente, se puede decir que esos artículos contribuyen al contexto de muchos más artículos que un artículo promedio, es decir, son fundamentales para el campo. Los artículos más citados trascienden los límites de un campo específico y crean el contexto para toda la biomedicina, la física o incluso la ciencia. Por lo tanto, no es casual que las principales revistas indiquen “influyentes en todos los campos”, “interesantes para un público interdisciplinario” o “mérito de reconocimiento más allá del proporcionado por las revistas especializadas” como sus criterios de selección. Descubrir algo tan ampliamente importante no es fácil y, por lo tanto, requiere excelencia en la investigación. Al cerrar el círculo, las citas, los recuentos de citas y los índices basados ​​en citas no han caído del cielo. Y están aquí para quedarse.

Para corregir el mal comportamiento en las prácticas de citas, algo como Eigenfactor, SCImago o el algoritmo Google PageRank se debe aplicar a los documentos individuales, en lugar de revistas o sitios web. Es cuando se da más peso a las citas de fuentes más relevantes , es decir, las fuentes que reciben muchas citas en sí mismas. El problema es una inmensa carga computacional requerida. Es probable que necesite clústeres de supercomputadoras como Google para calcular eso.

Para corregir las contribuciones de los coautores y otras cosas, recientemente propuse un índice novedoso para la evaluación de investigadores individuales que no depende del número de publicaciones, explica las diferentes contribuciones de los coautores y la edad de las publicaciones. y escalas de 0.0 a 9.9. Además, se puede calcular con la ayuda de software de libre acceso.

Un índice logarítmico basado en citas, normalizado por el autor y por edad para la evaluación de investigadores individuales independientemente de los recuentos de publicaciones