¿Cuáles son algunas técnicas para diferenciar entre correlación y causalidad?

Los experimentos aleatorizados y los contrafactuales de las intervenciones son mejoras clave con respecto a los enfoques anteriores para abordar la causalidad, aunque estos se utilizan en combinación con las estadísticas tradicionales (por lo tanto, la correlación) no ofrecen realmente un enfoque realmente diferente del inconveniente de la correlación estadística. No solo están limitados por el número de experimentos que se pueden realizar, sino también por las estadísticas tradicionales. En otras palabras, mientras se avanza en técnicas anteriores más defectuosas, la mayoría de las técnicas aún se basan en las mismas técnicas de correlación defectuosa.

Algo que debe tenerse en cuenta es que siempre habrá algunas estadísticas involucradas porque la única forma de tener una certeza total sobre la causalidad es no solo presenciarlo de primera mano sino también aislar el sistema y tener acceso a todos los procesos involucrados en todas las escalas. , algo difícil si no siempre imposible en el mundo real.

La respuesta que leí en Quora que más me gustó es la de Alan McNeill, porque resume todas las demás respuestas de una manera muy sucinta sin dar la impresión de que las nuevas técnicas se eliminan de la correlación:

La estadística no se ocupa de la causalidad.
La causalidad es el estado de determinar un modelo confiable que describe por qué sucede algo.
A las estadísticas no les importa por qué, solo se preocupa por la frecuencia.

Ahora, permítame ofrecerle un enfoque realmente diferente , uno que se basa en el modelo, es decir, pasa de ajustar los datos observados a encontrar modelos generativos capaces de producir los datos observados. Esto es usar la teoría de la probabilidad algorítmica que ofrece la respuesta definitiva. En pocas palabras: la probabilidad algorítmica ofrece el método óptimo para el razonamiento inductivo, la selección de características y la generación de modelos. Esto es lo que Marvin, Minsky , un padre fundador del campo de la Inteligencia Artificial , dijo al respecto:

Me parece que el descubrimiento más importante desde Gödel fue el descubrimiento por Chaitin, Solomonoff y Kolmogorov del concepto llamado Probabilidad Algorítmica, que es una nueva teoría fundamental sobre cómo hacer predicciones en una colección de experiencias y esta es una hermosa teoría, todo el mundo debería aprenderlo, pero tiene un problema, es decir, que realmente no puede calcular lo que predice esta teoría porque es demasiado difícil, requiere una cantidad infinita de trabajo. Sin embargo, debería ser posible hacer aproximaciones prácticas a la teoría de Chaitin, Kolmogorov, Solomonoff que haría mejores predicciones que cualquier cosa que tengamos hoy. Todos deberían aprender todo sobre eso y pasar el resto de sus vidas trabajando en ello.
Marvin Minsky
Mesa redonda sobre los límites del entendimiento
Festival mundial de ciencia
Nueva York, 14 de diciembre de 2014

Aquí el video fuente:

Sin embargo, las herramientas de Probabilidad Algorítmica (que llamaré AP) son muy difíciles de aplicar para producir estimaciones confiables y requieren muchos cálculos (es por esto que muchos científicos continúan utilizando estadísticas tradicionales que pueden producir resultados sin sentido pero son extremadamente fáciles de usar). aplicar y calcular). Sin embargo, recientemente se ha avanzado mucho en la aplicación de nuevas herramientas poderosas para tratar mejor los datos de causalidad que las estadísticas tradicionales (incluida la Entropía de Shannon) y utiliza la última información sobre factores de hecho y cálculo intervencionista, pero elimina las estadísticas tradicionales y la necesidad de estimaciones alocadas. de distribuciones de probabilidad fuera del centro.

Tenga en cuenta que incluso las áreas más modernas, como el Aprendizaje automático, son estadísticas tradicionales, e incluso los enfoques de Aprendizaje Profundo encuentran dificultades para hacer frente a las tareas más simples relacionadas con la causalidad y se pueden engañar fácilmente; por ejemplo, Predicciones de alta confianza para imágenes irreconocibles (y mucha más bibliografía en línea que puedes encontrar).

Aquí está el conjunto de referencias sobre el nuevo enfoque AP a la causalidad que se aleja de la correlación:

Un cálculo de información algorítmica para sistemas de descubrimiento y reprogramación causales [en línea]

Un método de descomposición para la evaluación global de la entropía de Shannon y las estimaciones locales de la complejidad algorítmica [en línea]

Ab initio Deconvolución Causal de Mecanismos Generadores Entrelazados [en línea]

Métodos de reducción de datos no supervisados ​​y universales y de redistribución de la información por pérdida de información algorítmica mínima [en línea]

Descargo de responsabilidad: Mi laboratorio es el creador y soy el autor principal o coautor de muchos de los documentos anteriores.

Estás preguntando cómo averiguar por qué suceden las cosas. Eso es la mayor parte de la ciencia.

La mejor respuesta es experimentar. Por ejemplo, observa que cuando las hojas cambian de verde a marrón, se enfrían y los días se acortan. Eso es correlación. Para averiguar qué causa qué, haces experimentos. Podría construir una carpa alrededor de algunos árboles para evitar que se enfríen, y ver si las hojas todavía giran. Puedes pintar algunas hojas verdes de color marrón y ver si se enfría. A través de una experimentación cuidadosa, puede ser capaz de resolver la cadena causal.

Cuando los experimentos no son posibles, hay que buscar experimentos naturales, por qué son menos confiables. La otra técnica principal son las variables instrumentales, o métodos similares. Busca cadenas causales a través de nuevas variables que solo son plausibles en una dirección.

Por ejemplo, supongamos que se da cuenta de que los estados con leyes estrictas de control de armas tienen tasas de mortalidad más bajas debido a las armas de fuego. Pero, ¿reducen las leyes las muertes por armas de fuego, o los lugares con menos delitos están más dispuestos a restringir los derechos de autodefensa? Puede buscar experimentos naturales, dos lugares similares en todos los aspectos, excepto las leyes sobre armas de fuego, lugares que cambiaron las leyes sobre armas de fuego, etc. Pero las comparaciones rara vez son lo suficientemente claras para resolver la causalidad.

Un mejor enfoque a menudo es buscar variables instrumentales para ayudar. Por ejemplo, podría ver las tasas de propiedad de armas y las tasas de delitos no relacionados con armas. Si las leyes estrictas de control de armas no reducen las tasas de propiedad de armas, es más difícil creer que tengan un efecto causal en las tasas de muerte de armas. No es imposible, las leyes pueden desalentar el uso en lugar de la propiedad, pero el caso es mucho más débil. Por otro lado, si las leyes se asocian con más delitos sin armas de fuego y suicidio, el caso es mucho más fuerte. Es muy plausible que las leyes empujen a los criminales y los suicidios a elegir medios sin armas, y no es muy plausible que las altas tasas de delitos sin armas hagan que los votantes estén más inclinados a entregar sus armas.

Lo más importante es darse cuenta de que no hay cálculo de causalidad, a diferencia de la correlación. Ciertamente, hay componentes calculables de causalidad, que requieren datos de algún tipo, ya sean experimentales o simplemente observados, pero eso no es suficiente. Para que A sea la causa de B, la ocurrencia de A debe aumentar las posibilidades de que ocurra B, con B no precediendo a A a tiempo. La clave, sin embargo, es una explicación mecánica de una conexión física entre A y B. Esa es la parte que no se puede calcular.