¿Deben las revisiones por pares doble ciego ser la norma en la ciencia?

Answer 1

Edit: Después de escribir el texto blando a continuación, he reconsiderado el asunto.

La revisión doble ciego es una idea equivocada, incluso si fuera práctica.

La ciencia es una actividad colegial, una interacción entre seres humanos reales. La identidad del autor y el laboratorio son parte integral del documento. El trabajo actual debe ser leído en el contexto de esfuerzos pasados.

Prejuicios de varias clases están siempre presentes. Los revisores responsables se esforzarán por superarlos o darles cuenta de ellos.

Los malos revisores harán malas críticas, sean anónimas o no.

(En 1905, las revistas alemanas de Física publicaron 5 artículos de un empleado de patentes judías. Desafortunadamente, en muchos campos es objetivamente difícil para cualquier persona fuera de los principales centros de investigación realizar un trabajo competitivo. La investigación moderna requiere equipos costosos y las habilidades especializadas de técnicos y estudiantes graduados. Los revisores, legítimamente, pueden exigir controles detallados y documentación que un investigador solitario no puede hacer. La solución a esto debe provenir de una mayor financiación y oportunidades laborales.

---

En la mayoría, o en muchos campos, no sería posible. Solo hay unos pocos laboratorios trabajando en un área determinada y los revisores estarán entre ellos. Los trabajos normalmente contienen referencias a trabajos anteriores del mismo laboratorio. Además, es común presentar los resultados como presentaciones de reuniones antes de la publicación. Los comentarios y la discusión resultantes son una parte importante del proceso.

Parte del proceso de revisión es evaluar la calidad del trabajo. La reputación y la experiencia del investigador son una parte legítima de esa evaluación.

Los científicos se agravan con la mala ciencia. “Revisión de amigos” puede suceder, pero no todo el tiempo.

Lo contrario también puede suceder: ponerle los tornillos a un rival.

Answer 2

La revisión por pares doble ciego debe ser la norma en la ciencia. Es casi seguro que no perjudicará a los autores, pero puede ayudar en ciertas circunstancias cuando el reconocimiento de nombre positivo / negativo de los autores hace que reciban una revisión injusta. Sí, existe la objeción habitual de que la mayoría de las personas calificadas para arbitrar el artículo podrían adivinar quiénes son los autores (o quizás el documento ya esté publicado en arXiv). Sin embargo, los árbitros no siempre están calificados, y el anonimato del autor vale la pena incluso si solo protege a una minoría de autores porque no tiene impactos negativos obvios.

El editorial Nature Nanotechnology en los detalles de la pregunta proporciona una discusión interesante, por lo que en esta respuesta, responderé a algunos de los puntos que plantea.

Nuestra decisión de ofrecer doble ciego ha sido motivada por las preocupaciones de las secciones de nuestra comunidad de que los prejuicios, como los que se oponen a las autoras o las investigadoras basadas en laboratorios e instituciones menos prestigiosas, podrían desempeñar un papel en el proceso de revisión.

Este, y especialmente el último punto, es un argumento importante para la revisión por pares doble ciego. También se debe tener en cuenta que en algunos campos, los principales grupos de investigación tienen un objetivo en sus espaldas y, a veces, se los juzga con más dureza que las personas con reconocimiento de nombre finito pero menor.

Hay problemas prácticos potenciales con la revisión por pares doble ciego, el más obvio es que, incluso sin nombres en un papel, un árbitro todavía puede adivinar la identidad de los autores.

Esta es la razón principal por la que muchos no han presionado enérgicamente a favor de una revisión por pares doble ciego. De hecho, la mayoría de las personas que están calificadas para revisar un artículo conocen el campo lo suficientemente bien como para (probablemente) adivinar quiénes son los autores. Sin embargo, las personas que más se beneficiarían de la revisión por pares doble ciego, en mi opinión, son personas de países en desarrollo o de universidades o grupos de investigación más pobres, es probable que no asistan a las mismas conferencias y publiquen en las mismas revistas que el ‘in -clique ‘y posiblemente pueda volar bajo el radar (si no publican su artículo en arXiv).

Ahora estamos realizando un cambio en este proceso y ofreceremos una revisión por pares ‘doble ciego’, en la que los árbitros revisan un documento sin saber quiénes son los autores, como una opción para los autores que envíen manuscritos a la revista.

Creo que ofrecer una revisión por pares a doble ciego como una opción es un error. Los árbitros pueden sospechar lo peor de un artículo con autores anónimos, si no es el predeterminado para la revista.

El grupo de publicación Nature tiene la oportunidad de probar si las revisiones de pares doble ciego producen resultados distintos porque Nature Nanotechnology tiene una superposición sustancial de colaboradores con otras revistas en su repertorio, especialmente Nature Materials. Durante un período de varios años, pueden cuantificar si la revisión de pares ciegos da como resultado una distribución diferente de los artículos publicados con respecto al género, la geografía, la edad de PI, la institución y otras variables.

Answer 3

Suena como un pequeño paso en la dirección correcta, pero es cierto que los revisores a menudo adivinarían al autor. Hay otros grandes problemas con el sesgo en las revistas que esto no ayudaría. Por ejemplo, la tendencia de las revistas a publicar resultados positivos con más frecuencia que resultados nulos, que son igual de importantes.

Me gustaría ver un sistema de revistas en línea con acceso abierto y un requisito para enviar la investigación propuesta antes de que se lleve a cabo; luego podemos registrar el resultado de la investigación o el hecho de que los resultados no se enviaron.

El problema es que estamos atrapados en un sistema que funciona económicamente, en lugar de un sistema que es bueno para la ciencia.

El hecho de que las revistas sean caras para suscribirse literalmente elimina a naciones enteras del circuito y hace imposible que la gente común evalúe la validez de los trabajos de investigación sin gastar mucho dinero. Si la investigación estuviera abierta para que todos la vieran, probablemente una tonelada de laicos informados descendería como un ladrillo en cualquier investigación con técnicas de asignación al azar deficientes o informes de datos inadecuados. En este momento, los intereses comerciales, por ejemplo, las compañías farmacéuticas, son capaces de evitar distorsiones de la ciencia.

El BMJ dedicó un tema completo al problema del sesgo hace unos años, pero nada parece haber cambiado.

Answer 4

Absolutamente. El antiguo sistema por el cual el revisor es anónimo y el remitente conocido está completamente al revés. Supongamos que eres un investigador principal en un laboratorio o institución de investigación bien conocida y recibes un documento de Joe Nobody que ni siquiera tiene un título de posgrado. Es una gran idea, pero ¿a quién cree este tipo que se está estrellando en tu campo sin siquiera un grado avanzado? Así que destruyes su idea y luego se la robas. Nada que te detenga, ¿por qué no?

Ahora revierta la situación: usted es un prometedor y recibe un documento para que un científico muy famoso lo revise en un laboratorio muy conocido. Bueno, no hay mucho también, pero ¿quién eres tú para decir? Estos tipos son realmente famosos, así que tal vez es que no entiendes el significado …

¿No debería la calidad de una idea ser juzgada solo por sus méritos y no por quién la escribió? Además, ¿no deberían los encargados de las revisiones rendir cuentas por su trabajo, especialmente en situaciones como el primer ejemplo que es un fraude absoluto?

Answer 5

Hay un caso para un revisor que tiene un conocimiento práctico de un grupo de laboratorio que está produciendo artículos para publicar. El conocimiento del trabajo anterior puede, de hecho, sesgar a un revisor, ya sea de manera positiva o negativa, pero el conocimiento previo del revisor les ayuda a superar ciertos problemas de confiabilidad en los datos y, aparentemente, debería permitirles evaluar el trabajo específico del documento en cuestión con un de cerca las conclusiones con respecto a los datos / resultados dados.

Por otro lado, si el revisor es ciego a la autoría del documento (lo que sugiero que sería difícil de ocultar), no se vería afectado por los logros positivos del pasado que podrían conducir a una aceptación acrítica de las conclusiones del documento o Incluso la idoneidad del diseño de investigación en primer lugar. De manera similar, un revisor ciego se vería menos influenciado por un trabajo presentado por un investigador o grupo que tiene menos experiencia o que cometió un error en su investigación en un momento anterior y ahora se le está mirando con ojos demasiado cautelosos.

Quizás lo que necesitamos en las ciencias es a la vez: varias revisiones con algunas “ciegas” y otras enviadas a colegas con un conocimiento práctico del grupo de investigación en cuestión.

Answer 6

Sí, es lo mejor para nosotros a pesar de la negatividad que se le atribuye. El mundo científico se está expandiendo y cuando una persona en los EE. UU. Está revisando un artículo de una persona en la India que no es muy conocida, es muy poco probable que pueda adivinarlo correctamente. Incluso si los revisores pudieran adivinar quiénes son los autores (podrían hacerlo si son de su parte del mundo o si conocen bien su trabajo), es una suposición ciega que podría no revelar las identidades verdaderas y mantener a raya los sesgos.
Conozco una situación en la que cuando uno de mis colegas le dijo un profesor que lo conocía que recibió su artículo por haberlo revisado hace algunos años. Y ambos discutieron el documento a través de correos electrónicos, mi colega le dio explicaciones sobre varias preguntas formuladas por el profesor que fueron aceptadas por el profesor revisor antes de enviar su respuesta positiva a la revista. En cierto modo, ¡mi propio colega fue responsable de la aceptación de su artículo por parte del diario! Sucedió ante mis propios ojos agonizantes.
¿La revisión por pares doble ciego hubiera detenido tales cosas? ¿Qué pasa si el profesor adivinó al autor y se contactó con sus amigos y le preguntó al respecto? Lo mismo hubiera pasado con los mismos resultados.
Creo que debe prohibirse estrictamente que los revisores se pongan en contacto con los autores o con los autores de los revisores, incluso si son amigos íntimos.
La mejor solución es enviar los documentos a todos los rincones remotos del mundo, evitando a los revisores locales. Si está revisando un artículo de una parte distante del mundo, incluso si puede adivinar quiénes son los autores, no siente ese apego asociado con sus pares y amigos de su región y puede ser neutral.

Answer 7

Los investigadores han encontrado formas fáciles de evitar las revisiones por pares a doble ciego. Una táctica que usan algunos investigadores es enviar una vista previa de un artículo a sus colegas para que comenten. Como las comunidades de investigación son pequeñas, las ideas y los autores detrás de la idea se vuelven conocidos antes de la publicación oficial.

Cuando se revisa el documento oficial, doble ciego o no, los revisores saben muy bien quiénes son los autores.

Las camarillas y las colusiones son difíciles de romper.

Answer 8

Cuando hay suficientes académicos trabajando en una especialidad para que tanto el escritor como el revisor sean anónimos en la práctica. Si solo unas pocas personas investigan y publican en áreas altamente especializadas, el autor, el revisor y / o el revisor sabrán quién está en ambos roles, o podrán averiguarlo. En tal caso, el proceso de revisión doble ciego podría hacer que sea más difícil lidiar con los problemas de sesgo que se supone que previene la revisión doble ciego. En circunstancias de un mundo tan pequeño, creo que una política destacada de evaluación en curso para garantizar contra el sesgo de género y / o etnia sería más efectiva.

Y creo que si EO Wilson estuviera revisando mi resumen, me gustaría que viera mi nombre y quisiera saber que era su crítica. Si él lo revisara positivamente, sería una pequeña estrella en mi corona. Si le dio una crítica negativa, sería una gran oportunidad de aprendizaje.

Answer 9

Iba a comenzar preguntando que no es una revisión por pares doble ciego entonces, sin embargo, parece que no lo es. Trabajo en ciencias sociales, y en las revistas donde envío y reviso, siempre es doble ciego.

La respuesta corta es que sí, en principio probablemente debería ser, sin embargo, podría no ser práctico. Hay otra pregunta, cuyas respuestas arrojan un poco de luz a esta problemática: ¿por qué el proceso de revisión por pares no es doble ciego en ciertos subcampos científicos? Aparentemente, en la ciencia, tiendes a usar más los repositorios de documentos de trabajo, por lo que es muy probable que hayas visto e incluso leído y comentado el manuscrito antes de que llegue a tu revisión.

Uno podría preguntarse cuál es el punto de cegar los manuscritos en ese tipo de campo. Incluso en campos relativamente grandes, empiezas a ver patrones, y sostengo que después de algunos años de investigación puedes distinguir al menos a los autores más reconocibles de los manuscritos ciegos que revisas. Sin embargo, conscientemente trato de bloquear ese pensamiento de mi mente y revisar con una mente abierta de acuerdo con los criterios de calidad de las revistas, pero sin embargo está ahí. Entonces, en principio, sería beneficioso para el proceso tener una revisión doble ciego. Sin embargo, desde un punto de vista práctico, en un campo pequeño y cerrado, podría terminar siendo una farsa y también podrías hacer revisiones ciegas simples (el autor es ciego) o no ciego.

Answer 10

Ooooh: las preguntas ‘deberían’ siempre me preocupan porque invitan a que se expresen opiniones prescriptivas y no se arriesguen a llevar a ninguna parte. Propondría considerar la pregunta en términos de costos y beneficios potenciales de doble ciego en los procesos de revisión por pares.

Ahora, ¿veo beneficios potenciales? Ciertamente. ¿Puedo anticipar costos adicionales significativos para las editoriales? Ninguno que venga a la mente. ¿Lo veo como práctico? Probablemente, en áreas de investigación suficientemente grandes donde es poco probable que los profesionales se conozcan entre sí, pero muy posiblemente no en áreas de investigación muy especializadas.

En cuanto a si se debe preferir el doble ciego “debería” o “debería”: se lo dejo a los demás.

Answer 11

Dada la frecuencia con la que los científicos pueden adivinar al revisor (anónimo) de sus subvenciones y documentos, donde las claves principales son simplemente lo que saben, tengo muchas dudas de que exista un gran anonimato cuando usted también restringe quién es capaz de hacer qué. Quien ha presentado parte de la investigación en conferencias etc.

Answer 12

Incluso si no saber las identidades fue útil para reducir el sesgo, no estoy seguro de lo práctico que sería. Una enorme cantidad de publicaciones son tales que el revisor podría inferir la identidad del escritor.