Cómo saber fácilmente si un estudio científico publicado en Internet es preciso o simplemente BS

Su mejor apuesta para detectar BS científicas, como todas las BS, es evaluar la fuente y preguntar qué ganan al decir lo que dicen.

Las noticias de televisión, cable y radio intentan llamar su atención para que puedan venderle a los anunciantes. Lo mismo ocurre con los periódicos y sitios web. Quieren su atención, por lo que harán que los resultados suenen lo más significativos y espectaculares posible. Esto es particularmente cierto cuando se trata de afirmaciones de avances en la atención médica: todos nos enfermamos, todos vamos a morir, por lo que todos estamos interesados ​​en cualquier cosa que pueda ayudarnos a evitar, o al menos retrasar, estos destinos. Queremos creer que el nuevo tratamiento o dieta contra el cáncer nos dará muchos más años de vida.

No hay una manera infalible de detectar BS, y, por supuesto, hay un continuo que va desde falsedades absolutas a malas interpretaciones de hechos verdaderos a informes correctos pero sobrevaluados. Pero aquí hay algunas preguntas que puede hacer:

  1. ¿Suena demasiado bueno para ser verdad? Bueno, ¿qué te dijo tu papá?
  2. ¿Se atribuye el avance a un aficionado o forastero sin experiencia real? Cualquier problema importante tiene equipos de científicos inteligentes y trabajadores que trabajan en ello. No es probable que pasen por alto una solución simple identificada por un adolescente o un agricultor.
  3. Si es un estudio o encuesta observacional, ¿contradice estudios anteriores? Este tipo de estudios están inevitablemente llenos de todo tipo de sesgos y errores. Un estudio aislado de cualquier tema complejo, y todo lo que tenga que ver con la salud o el comportamiento es necesariamente complejo, no tiene sentido.
  4. ¿Se les pregunta a algún experto independiente su opinión? Si no, es probable que estés leyendo un comunicado de prensa disfrazado de periodismo.
  5. ¿Se trata de dieta? Entonces hay un 99% de probabilidad de que sea BS
  6. ¿Se trata de un tema social candente? Ídem.
  7. ¿Se trata del cáncer? Probablemente no BS (a menos que se aplique alguna de las anteriores). Pero el progreso en el tratamiento del cáncer ha sido tan lento, difícil y costoso que las mejoras incrementales se promocionan como si fueran avances.
  8. ¿Se están reportando grandes aumentos en eventos raros? Descubrir que comer tocino hace que tenga un 50% más de probabilidades de tener cáncer de estómago suena aterrador hasta que se da cuenta de que esto significa que sus probabilidades van desde un 0.00001% a un 0.000015%. Pero entonces el tocino ya está cubierto en la pregunta # 5.

Por supuesto, esta respuesta es completamente creíble y no contiene exageraciones ni BS en absoluto.

ACTUALIZACIÓN: FiveThirtyEight acaba de publicar una buena explicación de los puntos 5 y 8 anteriores.

No puedes confiar en lo que lees sobre nutrición

Aquí hay una lista rápida de cosas que puedes hacer:

  1. Si parece descabellado, intente Wikipedia y Snopes. Ambos se actualizan bastante rápido.
  2. Buscar el tema de la investigación. ¿Quién más está informando al respecto? ¿Son solo los sitios de locos o han sido recogidos por periodistas legítimos?
  3. ¿Es la fuente de la investigación de una publicación revisada por pares? Eso es fácil de buscar. Si no, entonces sigue siendo un artículo de opinión. La revisión por pares significa que muchas otras personas realmente inteligentes tienen que decir “ya sabes, tienes razón”.
  4. Lee la fuente más auténtica que puedes encontrar basada en los primeros tres elementos. ¿Está diciendo lo que hizo el artículo? Los blogueros entusiasmados a menudo malinterpretan una buena investigación y luego los periodistas, que deberían saber más, deben informarles.

La fuente importa. Si se trata de un sitio científico o de un sitio educativo de buena fe (universidad o colegio acreditado), es muy probable que sea un estudio válido real; por supuesto, incluso los estudios válidos pueden eventualmente ser falsificados (se comprueba que son incorrectos) Si la fuente es un sitio religioso o político, debe ser muy escéptico. La gente ideológica no dice nada acerca de la verdad de una afirmación, solo se preocupa por proporcionar su verdadera ideología preferida. Esto lleva a dudosos métodos de investigación y reclamaciones.

Siga los sitios escépticos como la revista The Skeptics Society & Skeptic o la Guía de The Skeptics para el Universo.

El tiempo , es tu mejor aliado. Con el tiempo, si es un trabajo confiable e interesante, la gente intentará repetirlo o desarrollar las conclusiones que se obtuvieron en ese manuscrito. Si la gente puede hacer eso y el campo avanza, entonces puede estar relativamente seguro. Si no hay publicaciones de seguimiento adicionales que hagan referencia a este documento o que se basen en él, entonces ciertamente está justificado sospechar de él.