¿Qué tan útil le parece útil la teoría del aprendizaje en el trabajo de la industria?

La teoría del aprendizaje se ocupa de la pregunta “¿por qué un algoritmo de aprendizaje puede aprender a hacer predicciones precisas a partir de una muestra de entradas y etiquetas verdaderas?”. Existen varios marcos para responder a esta pregunta en función de la clase de algoritmos de aprendizaje (lote vs. en línea) o la clase de funciones de predicción (binario vs. valor real). Considero que la teoría del aprendizaje es muy útil, ya que me brinda una buena guía sobre qué es y qué no se puede lograr en términos de precisión cuando se utilizan algoritmos de aprendizaje específicos y el tipo de función de predicción. El marco que más me gusta usar para este cálculo de “respaldo en el sobre” se llama “marco de compresión”: la idea es que aprender el mejor predictor es la tarea de seleccionar el predictor correcto o las predicciones de un conjunto grande. Si se tratara de un juego de adivinanzas, ¿cuántas preguntas binarias necesito al menos para encontrar el predictor correcto entre N? Si todos ellos son igualmente probables, la respuesta es log (N). Por lo tanto, a menos que tenga al menos log (N) etiquetas binarias u otra información complementaria, no es posible que ningún algoritmo de aprendizaje automático aprenda el predictor correcto (sin tener en cuenta el ruido). y predicciones probabilísticas en este momento).