¿Cuál es el concepto más importante para entender el aprendizaje automático?

Answer 1

El concepto más importante es sin duda la compensación sesgo-varianza.

Qué significa eso? Para aprender de algunos puntos de datos necesitamos hacer algunas suposiciones, por ejemplo, todo lo que se mueve rápido es peligroso. Esto te permitirá aprender y decidir rápido, pero también te hará cometer varios errores, por ejemplo, un pequeño pájaro que pasa rápido no es peligroso. Este es el sesgo, cometes algunos errores porque hiciste algunas suposiciones erróneas.

Por otro lado, puedes decir que no generalizaré nada y solo memorizaré las propiedades de lo que veo. Por ejemplo pequeño pájaro seguro, león no seguro. Aquí no tienes ningún sesgo, pero tienes mucha variación porque lo que sabes depende mucho de lo que has visto.

En el primer caso, las conclusiones no dependían mucho de lo que había visto y, por lo tanto, tiene una varianza baja.

Siempre tendremos que hacer una compensación entre hacer suposiciones para aprender rápidamente con conclusiones estables pero con errores, y asumir menos, pero aprender más lento con conclusiones menos estables.

Las suposiciones pueden tomar diferentes formas, por ejemplo, la forma de la función, las características del animal a observar, …

La mayoría de los otros conceptos en aprendizaje automático provienen de variantes de esto.

Vea otra pregunta sobre el tema, algunas de ellas con respuestas ya muy buenas y más técnicas.

¿Cuál es la mejor manera de explicar la compensación de sesgo-variación en términos sencillos?

Algunas cosas útiles que debe saber sobre el aprendizaje automático por Pedro Domingos

Answer 2

Sobre-ajuste es sin duda uno de mis favoritos. La idea es que si tiene más parámetros que datos, puede entrenar un modelo que memorice perfectamente el patrón de entrada-salida sin aprender realmente las características subyacentes. Por lo tanto, el modelo no se generalizará bien a las nuevas entradas.

Al estudiar el aprendizaje humano y animal, siempre me he preguntado si el ajuste excesivo también ocurre con el sistema de aprendizaje biológico. Intuitivamente sí: si quiero aprobar un examen sin mucho tiempo de estudio, simplemente memorizo ​​lo más posible. Pero tal conocimiento rara vez se generaliza a nuevos problemas dados en el examen exam

Por lo general, las personas que aprenden a máquina abordan el ajuste excesivo al tener una gran cantidad de datos de entrenamiento y / o regularización (forzando un modelo más pequeño). En nuestro caso de examen, esto significa que usted estudia más instancias de un problema o intenta obtener un modelo sucinto al resumir las instancias.