¿Cuáles son las razones legítimas para no confiar en los resultados científicos?

La respuesta de Zen Faulkes es una muy buena guía para detectar la mala ciencia a nivel básico.

En el nivel de 30,000 pies recomiendo hacer estas preguntas:

  • ¿Quién se beneficia? Si es poderoso y cómodo, hay una buena probabilidad de que las declaraciones egoístas estén enmascaradas con una apariencia de afirmaciones científicas.
  • ¿Encaja con el conocimiento establecido? Descubrimientos revolucionarios de que los paradigmas de cambio ocurren, pero no a menudo; una vez cada 10-30 años sería mi estimación. “Las afirmaciones extraordinarias requieren evidencia extraordinaria” es un mantra útil a tener en cuenta.
  • ¿Se trata de nutrición o cáncer? Si es así, sé más escéptico. Estos campos tienen altos niveles de interés público, pero son muy complicados y complejos. La tentación de publicar afirmaciones de “avances” mal apoyadas es a menudo irresistible.

Y siempre recuerda que la ciencia es una serie justa de aproximaciones cada vez mejores de la realidad. No es verdad, es un viaje hacia la verdad. Puede que nunca llegue allí, pero es nuestro medio más confiable para dirigirnos en la dirección correcta.

No leerlo / entenderlo .

Si no lees o entiendes un resultado, no confíes en él. Dicho esto, no lo desconfíes tampoco. Reconoce que no sabes si es verdad o no. Esta no es una razón válida para negar el cambio climático. Es solo una razón válida para admitir que no sabes. Si eres político, es tu trabajo leerlo y entenderlo , por lo que los políticos no tienen el lujo de decir “No lo sé”.

Aquí hay algunas cosas que me hacen sospechar inmediatamente de un resultado:

  1. Declaración de causalidad.
  1. Se necesita mucho trabajo para mostrar la causalidad y las personas a menudo saltan a conclusiones al respecto. Esa es una razón importante por la cual la ciencia del clima es tan difícil.
  • “¡Este medicamento funciona!” Seguido de “nos gustaría dar las gracias al nombre de la compañía farmacéutica por financiar nuestra investigación y por comprarnos todos los autos nuevos”.
    1. Basta de charla…
  • Los siete de nuestros sujetos de prueba …
    1. Hay algunos resultados que podrían ser significativos con 7 sujetos de prueba, pero no muchos.
  • Resultados innecesariamente específicos.
    1. Conducir durante exactamente 13 minutos por día reduce el riesgo de sufrir un derrame cerebral.
    1. Exactamente 13? Parece que las personas se dividieron en grupos e hicieron que manejaran una cierta cantidad de minutos cada día y luego notaron que la cantidad de golpes en las personas en la categoría de 13 minutos era inferior al promedio
  • Esto es a menudo un signo de p-hacking
  • Título sesgado / demasiado bueno para ser verdad
    1. ¡El chocolate cura el cáncer!
    1. No no
  • Los liberales tienen un coeficiente intelectual más bajo (y herpes)
    1. De Verdad? ¿Todos ellos?

    Hay muchos otros, pero entiendes la idea.

    Es absolutamente posible que cualquiera de estos resultados sea cierto, pero estas son señales de advertencia para mí que me dicen

    “¡No hables sobre este tema como si supieras algo hasta que lo investigues!”

    Pero soy humano y a veces lo hago de todos modos. Después de todo, ¿no es asombroso cómo las judías verdes aumentan tu coeficiente intelectual? ¡Más gente necesita saber sobre eso!

    Las otras respuestas son muy buenas, y sin duda deben ser consultadas. Sin embargo, tienden a sugerir que los resultados científicos pueden no ser confiables debido a una metodología deficiente. Quiero decir que debe tener cuidado al confiar en los resultados científicos, incluso si tienen una metodología impecable.

    ¿Por qué es esto? Básicamente, no hay artículos (fuera de las matemáticas) que se publiquen donde se demuestre que el resultado es verdadero con un 100% de certeza; eso no es algo que se pueda hacer. Más bien, los investigadores tratan de obtener un alto nivel de confianza; para muchas aplicaciones en biología y química, por ejemplo, generalmente se dispara para tener una confianza del 95%; en términos generales, una probabilidad del 95% de que el papel haya encontrado un resultado significativo. (Digo “hablando en términos generales” porque hay un cierto desacuerdo sobre cómo deben interpretarse físicamente los niveles de confianza, pero esto es algo irrelevante para nuestra discusión).

    95% suena bien, ¿verdad? Sin embargo, debe darse cuenta de que si tiene 20 estudios, todos con un nivel de confianza del 95%, entonces debe esperar que al menos uno de esos estudios haya dado un resultado erróneo. Y, dado que literalmente se imprimen millones de estudios cada año, eso significa que hay muchos estudios que llegan a la conclusión errónea.

    Por supuesto, si tiene varias personas trabajando en el mismo problema, posiblemente desde diferentes ángulos, entonces esto generalmente está bien, claro, algunos de ellos pueden obtener datos incorrectos, pero la mayoría no. Esto es parte de por qué la capacidad de repetición es tan importante en la ciencia, y también por qué los meta-estudios que recopilan datos de muchos estudios diferentes son muy útiles: tienen una probabilidad significativamente mayor de dar el resultado correcto.

    Desafortunadamente, si bien la población general debe obtener su información de los metanálisis y los informes completos, con demasiada frecuencia eso no es lo que sucede. En cambio, recibimos noticias y anuncios de televisión que hacen afirmaciones como “Un nuevo estudio sugiere que colocar pepinos en sus oídos puede reducir su riesgo de cáncer”. Si bien esto puede ser cierto, generalmente ignora que puede haber otros 19 estudios que muestren pegar pepinos en sus diversos orificios no tiene ningún efecto sobre el cáncer en absoluto. También se ven cosas similares con la negación del cambio climático y la vacunación: alguien agita un papel que respalda su punto de vista, mientras ignora todos los otros resultados que lo contradicen. Es una actitud que es científicamente analfabeta en el mejor de los casos y, a propósito, engañosa en el peor.

    No sé si no confío en los resultados, pero creo firmemente que todos deben tener cuidado con los resultados científicos.

    Una de las mayores razones para preocuparse es la novedad. Si se trata de una marca nueva, pocos han tenido la oportunidad de evaluarla, y casi con seguridad nadie tiene la oportunidad de replicarla.

    “Una de las cosas que siempre se debe preguntar acerca de la evidencia científica es, ¿qué edad tiene? Es como el vino “. – Naomi Oreskes, citada por Justin Gillis,” Naomi Oreskes, un pararrayos en un clima cambiante “antes del 15 de junio de 2015, The New York Times , http://www.nytimes.com/2015/06/ 1 …

    Me gusta esta guía y la cito mucho:

    De una guía aproximada para detectar la mala ciencia.

    Los científicos son propensos a las mismas limitaciones que otras personas. Quieren creer que sus ideas son verificadas por sus experimentos y, cuando no lo están, están dispuestos a encontrar ideas plausibles para justificar la validez de las suposiciones originales. Esto se llama sesgo positivo.

    Otro problema es la financiación de la investigación. Las áreas de estudio sin potencial comercial tendrán que trabajar duro para obtener dinero y luego se limitarán a las áreas que suenan válidas para el oído científico. Es posible que los resultados deban satisfacer los deseos del benefactor para mantener el flujo de dinero.

    Es bastante posible que los artículos publicados revisados ​​por pares sean falsos. Las áreas de estudio pueden ser limitadas y la revisión por pares puede significar solo que tres personas revisaron el artículo y lo aprobaron. Estas tres personas pueden tener un conocimiento limitado del área o pueden estar trabajando en esa área y estar alineadas con los investigadores.

    Es raro que vea a alguien que publique información en una respuesta que realmente se base en la información proporcionada en un documento. Uno ve enlaces publicados como si esto fuera prueba suficiente. Este es un pobre sustituto para una lectura cuidadosa y completa.