¿Cómo puedo evaluar la calidad de un estudio?

Answer 1

No existe una técnica universal, solo un conjunto de herramientas que puede recoger y aplicar a cualquier estudio que parezca ser sospechoso. Un conjunto exhaustivo de herramientas también es imposible, pero esto es lo que me viene a la mente.

• Comience por determinar si la conclusión es merecida por los datos. (En realidad, comience por ignorar la “conclusión” como se informa en la versión de la historia de los medios populares, que siempre es “APOCALIPSIS OMG”.)
• Cuando la conclusión es de la forma “X causa Y”, comience intentando transformarla. ¿Podría Y causar X? ¿Podría algún otro factor causar tanto X como Y?
• Pregúntese qué factores podrían confundir los resultados. Si el estudio estudia a las personas, ¿cómo se seleccionan? ¿Cuando? ¿Dónde? Si es un modelo animal, ¿cuál es la relación entre ese animal y los humanos? En general, ¿el alcance coincide con las conclusiones?
• Mantenga un ojo en el margen de error. Un efecto significativo hará más que solo limpiar el nivel de confianza. Hay tantos estudios por hacer que el problema de las comparaciones múltiples plagará las pruebas que se sientan cerca de la sensibilidad.
• Lea el informe completo. Esto aclarará las limitaciones de la metodología. Si no puedes entender la metodología, entonces no entiendes la conclusión. La mala escritura puede ofuscar incluso un estudio bien realizado, pero parte del punto de la revisión por pares es ayudar a aclarar la escritura. Si un documento aún no está claro, entonces tiene serias preocupaciones sobre la calidad de la revisión por pares.
• Los estudios no se hacen de forma aislada. Se hacen como parte de un cuerpo de trabajo. Las personas dentro del campo conocen a todos los jugadores y la calidad de su trabajo. Evaluar eso desde el exterior es difícil, pero (como seguirá apareciendo en estos puntos) las cosas que no sabes son precisamente las que dificultan poner el resultado en contexto.

Tenga en cuenta que, en particular, es poco lo que puede hacer contra el fraude. El engaño deliberado en un estudio será difícil de identificar, incluso si eres un experto en la materia. El único mecanismo que es una prueba contra el engaño es la replicación.

Answer 2

No puedo sugerir una solución totalmente general y segura, pero la mejor aproximación que puedo encontrar es analizar detenidamente el tratamiento de la investigación relacionada.

Normalmente debería haber una sección que discuta estudios similares, con referencias. Los estudios que intentan pasar los resultados mejor de lo que son no pueden contener antecedentes bien fundamentados y secciones de investigación relacionadas, porque la literatura que los pone en contexto, naturalmente, será escasa cuando no se puedan hacer observaciones similares. La investigación en profundidad hace que cualquier investigador sea muy consciente de sus defectos, y es responsabilidad del autor señalarlos y analizar su importancia, por lo que debe hacerse con una cantidad convincente de detalles. Los estudios débilmente fundados tendrán que pasar por alto sus debilidades, debido al daño que sufrirían sus argumentos si las debilidades se hicieran visibles.

Sugeriría seguir y evaluar la relevancia de las citas y la bibliografía. Esto puede hacerte leer fácilmente 14 artículos en lugar de uno, pero es un obsequio para los documentos dudosos, porque argumentar que una explicación no válida encaja dentro de un cuerpo de trabajo relacionado suele ser más problemático que obtener resultados válidos en primer lugar. Los puntos que solo son vagamente relevantes para el tema estudiado pueden obtener un tratamiento de salud con la mano también en un buen estudio, pero si se descartan temas importantes con una referencia a un libro de texto básico y una mención como “el problema también se discute en Foobar y Baz”. en [12] ‘, ciertamente merece una mirada cuidadosa a lo que [12] realmente tiene que decir al respecto.

Usando este tipo de estimación, podría ocurrir un falso positivo si alguien tiene una idea tan novedosa que nadie más haya pensado en formular la pregunta de investigación. En el espíritu de que los resultados notables exigen pruebas notables, prefiero cobrar tal genio con la tarea de escribir una justificación excepcionalmente buena de por qué nadie ha pensado en algo relacionado, que otorgar el beneficio de la duda a cualquier revolucionario autoproclamado que no se puede molestar en anclar una contribución al contexto de su campo.

Así que hojee la bibliografía también, y hágalo críticamente.
Puede ser mucho más trabajo que solo leer el estudio en sí, pero eso es precisamente lo que hace que sea lo último que cualquier autor descuidado quiera que revises.
No lo dirá todo categóricamente, pero creo que es un buen lugar para comenzar las evaluaciones.

Answer 3

Gran pregunta
Desafortunadamente no hay una respuesta fácil.

Es bien sabido que hay mentiras, mentiras sucias y estadísticas.
Los números se pueden manipular en base a suposiciones, y la redacción se puede ajustar para llevar una connotación (ya sea positiva o negativa).
Además, el lenguaje legal se puede utilizar para promover el propósito a través de sugerencias.

Por lo tanto, la única manera de encontrar cosas en realidad es ver el estudio (documentación real) y verificar todas las variables como se describe: supuestos, requisitos, razones para la inclusión / exclusión de ciertos sujetos y si el estudio es doble ciego.
Esta no es una tarea fácil, simplemente llegar al estudio toma algo de tiempo, y examinar las suposiciones subyacentes es un trabajo aún mayor.

Para combatir esto, lo tomo todo con un grano de sal: si hay un estudio patrocinado por la Asociación de Productores de Leche que indica que la leche es excelente, habrá otro estudio de la Asociación de Agricultores de Soya que indica que la leche es potencialmente mortal. (para personas con intolerancia a la lactosa, en letra pequeña, en la página 15, segundo párrafo, línea 4).

Answer 4

Respuestas geniales y más suficientes arriba. Para un truco adicional si el estudio que desea evaluar es algo más antiguo, busque qué tan bien fue citado. En general, los grandes estudios se citan más que los estudios de baja calidad. Use ISI o Google Citations.

(Tenga en cuenta que habrá algunas excepciones a esta regla y que no se puede usar para estudios más recientes. También tenga en cuenta que el método puede estar sesgado hacia resultados positivos)