Si interpreta Occam’s Razor desde una perspectiva de aprendizaje automático, en realidad es posible probar su formalización matemática sin tener que recurrir a la filosofía o las pruebas empíricas. La explicación es aproximadamente esto:
Dada alguna evidencia, está buscando una explicación / regla / ley / principio / función que produjo esa evidencia. Ahora, hay muchas más explicaciones complicadas posibles que simples explicaciones . No siempre es obvio cómo cuantificar la complejidad, pero una forma de verlo es que hay más posibles explicaciones válidas de 100 palabras que explicaciones válidas de 10 palabras. Simplemente hay más espacio para trabajar en la elaboración de una explicación cuando tiene espacio para una mayor complejidad.
Eso solo no significa mucho; todavía estamos buscando la mejor explicación, independientemente de la complejidad. La cuestión clave se llama sobreajuste. Su evidencia es siempre incompleta y, a menudo, ruidosa. Es por eso que es evidencia y no la explicación en sí misma. Debido a que su evidencia está incompleta, lo que realmente está buscando es una explicación que generalizará y explicará los datos futuros a los que aún no tiene acceso. Si cada explicación tiene una probabilidad aproximadamente igual de ajustar los datos que tiene, ya que existen muchas más explicaciones complicadas posibles que simples, será más probable que una explicación complicada se ajuste a sus datos mejor que una simple. Entonces, si considera todas estas posibles explicaciones complicadas, es probable que encuentre una que se ajuste a sus datos mejor que una explicación más simple. Pero a pesar de que se ajusta mejor a los datos actuales, ¿cuál es la probabilidad de que sea correcta en los datos futuros que aún no ha visto? Es menos probable que estas explicaciones complicadas se generalicen porque hubo muchas de ellas que tuvieron la oportunidad de ajustarse bien a los datos, y su capacidad de generalizar no se vio afectada.
Si te limitas a explicaciones simples, no hay muchas de ellas, por lo que una que se ajuste será más probable que se generalice y que, por lo tanto, sea “correcta”. (Lo mismo se aplica a la precisión de alguien que solo considera un pequeño número de explicaciones complicadas sin parámetros, pero en la ciencia es difícil probar qué teorías se consideraron y cuáles no, por lo que la simplicidad intrínseca de un modelo es lo que confiamos como evidencia que una gran cantidad de explicaciones no fueron consideradas.)
- ¿Cómo restauramos la confianza en la ciencia? ¿Cómo sabemos a quién creer más? Los estudiantes de medicina se dan el almuerzo por las empresas farmacéuticas. Los científicos son comprados por la industria.
- ¿Cuál es la creación más fascinante e increíble de la naturaleza?
- ¿Qué es lo más extraordinario que te sucedió como científico investigador?
- ¿Cuáles son algunas cosas que la ciencia sabe acerca del negocio que el negocio está haciendo mal?
- El punto de luz láser verde se vuelve naranja / rojo cuando toca el botón plástico, ¿por qué?
Hay más detalles sobre una forma de demostrar esto formalmente en este documento en la sección 2.1: http://www.cs.washington.edu/hom…