Además de otros mencionados aquí, el sesgo de publicación (también conocido como “efecto cajón de archivo”), donde, en general, solo se pueden publicar hallazgos positivos, y se desaconsejan las replicaciones directas, y por lo tanto, los hallazgos nulos o poco atractivos se “archivan” y Nadie lo sabe.
El sesgo de publicación dificulta nuestra capacidad de converger en los efectos verdaderos y acumular conocimiento y teoría, y nos lleva por interminables rastros de conejos. En el peor de los casos, perpetúa las teorías de los “muertos vivientes” (falsas teorías / hipótesis apoyadas por uno o dos estudios de alto perfil).
Una herramienta importante para la ciencia acumulativa es el metanálisis, pero siempre tenemos que tomar los que tienen un grano de sal debido al sesgo de publicación. Si hago un metanálisis de, digamos, los efectos de un breve descanso (Incubación) en el éxito creativo de la resolución de problemas, podría encontrar que, digamos, 8 de cada 10 estudios publicados muestran que un breve descanso ayuda. Pero, ¿qué pasaría si hubiera 50 estudios realizados sobre esta pregunta y, digamos, 35 de ellos estaban bien diseñados y ejecutados y encontraron efectos nulos o incluso negativos de una breve pausa, y ninguno de estos estudios se publicó o indizó en algún lugar? En ese caso, no podemos estar seguros de cuál es la relación real entre los descansos y la resolución creativa de problemas, ¿no es cierto? Innumerables estudiantes de posgrado podrían seguir ese camino sin salida, y los recursos se agotaron (potencialmente) de sendas teóricas / empíricas más prometedoras.
Definitivamente es un cáncer para la ciencia, y también es extremadamente difícil de erradicar debido a su atrincheramiento dentro del actual sistema de incentivos en la ciencia (principalmente academia, tal vez).
- ¿Cómo paramos la luz por un minuto?
- ¿Cuáles son algunos datos interesantes pero menos conocidos sobre la electrodinámica cuántica (QED)?
- Científicamente, ¿por qué las cosas son como son?
- ¿Qué factores llevaron a que nuestro planeta sea dominado por una sola especie?
- ¿Existe un arte marcial (sistema de lucha) demostrado científicamente y experimentalmente que sea el más efectivo?
Aquí hay un documento (acceso abierto, ¡hurra!) Que describe el alcance de la infección: por qué la mayoría de los hallazgos de investigación publicados son falsos
Y aquí hay una maravillosa charla de TED que realmente hace un buen trabajo de comunicar qué tan problemático es el sesgo de publicación:
Ben Goldacre: lo que los médicos no saben sobre los medicamentos que recetan | Video en TED.com
Creo que el sesgo de publicación podría ser menos común en la física (tal vez en parte debido a arxiv), pero definitivamente infecta la investigación biomédica, y está muy extendido en la disciplina de mi hogar (ciencia cognitiva).