¿Cómo resuelves las disputas entre dos hipótesis que explican la misma evidencia pasada pero predicen diferentes resultados futuros?

Esta es una gran pregunta. Resume un gran problema: tener que tomar decisiones ahora basadas en datos que no estarán ‘maduros’ por algún tiempo.

Un enfoque es buscar las suposiciones subyacentes a cada predicción y luego encontrar nuevas variables que puedan probar esas suposiciones subyacentes utilizando los datos existentes.

A modo de ejemplo, digamos que el gráfico anterior tiene registros de usuarios de Quora en el eje Y.

Algunas personas piensan que seguirá creciendo a un ritmo saludable (Hipótesis A). Otros piensan que es un destello en la sartén y se caerá (Hipótesis B).

No hay respuesta en los datos de registro del usuario. Pero ambas hipótesis surgen de un conjunto subyacente de suposiciones y creencias sobre los usuarios y sus motivaciones. Mira lo que subyace.

Quizás ambas partes puedan estar de acuerdo en que la eficacia de Quora para obtener respuestas a sus preguntas impulsará el crecimiento de la inscripción. Si ese es el caso, querría ver la proporción de respuestas a preguntas no respondidas a lo largo del tiempo. Si las preguntas se vuelven cada vez más sin respuesta, y usted piensa que la eficacia de la respuesta impulsa el crecimiento, probablemente se opondría a la Hipótesis B. Si la proporción se mantiene estable o mejora, podría optar por la Hipótesis A.

Esto es solo un ejemplo, por supuesto. Pero en la ausencia de datos, en lugar de simplemente tirar los dados o esperar a que los datos se filtren, uno de los mejores enfoques es eliminar los supuestos que subyacen a las hipótesis y probar esos supuestos utilizando otras variables encontradas en los datos existentes.

A veces, las simulaciones pueden ser útiles. Y analizando qué tan creíbles son los resultados de estas simulaciones. Y, básicamente, simplemente barremos el espacio de parámetros de nuestras suposiciones

Esto es solo un ejemplo, por supuesto. Pero en ausencia de datos, en lugar de simplemente tirar los dados o esperar a que los datos se filtren, uno de los mejores enfoques es eliminar las suposiciones que subyacen a las hipótesis y probar esas suposiciones utilizando otras variables encontradas en los datos existentes

Suponiendo que todo lo demás sigue siendo el mismo, supongo que la forma más lógica de hacerlo sería esperar a que surjan más pruebas. Cuando esto sucede, ambas predicciones pueden compararse nuevamente a la luz del nuevo conocimiento y una de ellas puede ser un resultado más probable que la otra.

Si nada cambia, entonces espera un poco más.