¿Cuáles son los conceptos más importantes para dominar en el aprendizaje automático, más específicamente para el aprendizaje automático estadístico?

Generalidad de la solución.
Maldicion de la dimensionalidad
Sobreajuste
Cálculo vectorial
Minimización (de funciones)
Tratar con los datos faltantes
Tratar con los valores atípicos
Limpieza de datos
Árboles de decisión vs soluciones numéricas
Teoría de grafos
Procesamiento distribuido
Computación distribuída
Cálculo multi hilo
Publicación por entregas
Normalización
Estadística descriptiva e inferencial.
Aleatoriedad
Transformación de coordenadas
Funciones no lineales
Núcleo
Truco de kernel
Perceptron
Arquitecturas lambda
Tolerancia a fallos en la arquitectura.
Cuándo usar el caché persistente
Cuando ese problema de big data no es realmente, y debería ejecutarlo en la memoria
Cómo en términos generales funcionan todos los algoritmos populares y cuáles son sus puntos débiles y sus puntos fuertes.
Que por lo general, más datos supera una mejor hipótesis.
La correlación no implica causa
No hay una talla única para todos los métodos.
Tienes que entender el contenido de los datos.
Siempre hay gente más inteligente que tú, así que aprende de ellos.