¿Qué piensa David Karger sobre el futuro del aprendizaje automático?

Pensé que sería divertido ver lo que otros responden, pero creo que debería agregar el mío. Creo que el futuro del aprendizaje automático a largo plazo es muy brillante (y que finalmente resolveremos la IA, aunque eso es un tema aparte de ML). El aprendizaje automático ya es una herramienta increíblemente poderosa que puede hacer un trabajo sorprendentemente bueno para resolver problemas de clasificación realmente difíciles.

Pero, como área de investigación, realmente no me atrae. Como teórico (y como Joe señala acertadamente en su respuesta), tiendo a ser (i) resolver problemas específicos en lugar de idear paradigmas generales y (ii) diseñar soluciones que pueden ser difíciles de pensar, pero eso Son intuitivos y fáciles de entender y explicar. Entonces, si ve mi (pasado) trabajo pasado en aprendizaje automático, verá que he abordado problemas como “¿cómo establecemos los parámetros de un clasificador lineal ponderado simple para recuperar documentos relevantes?”. El campo del aprendizaje automático ha ido más allá de ese tipo de pregunta, desarrollando algoritmos increíblemente poderosos y generales que se basan en matemáticas profundas y sofisticadas. No estoy tan interesado en hacer ese tipo de trabajo abstracto.

Otro desvío para mí es que con estos algoritmos increíblemente poderosos, puedes resolver problemas realmente difíciles, pero mientras la computadora sabe la respuesta, simplemente funciona como magia. Realmente no sabes * por qué * esa es la respuesta. Un ejemplo concreto de esto es la diferencia entre los llamados modelos “generativos” y “discriminativos”. Los modelos generativos en el aprendizaje automático afirman que hay algún proceso subyacente (generalmente aleatorio) que está generando los datos que está observando, y apunta a utilizar los datos para inferir los parámetros de ese proceso subyacente, que luego le permite clasificar los datos. A los modelos discriminatorios no les importa cómo se generan los datos; simplemente encuentran una fórmula que distingue efectivamente las diferentes clases de datos. En mi opinión, si logra resolver un modelo generativo, ha “comprendido” los datos y el problema. Si tiene éxito usando un modelo discriminativo, es posible que obtenga excelentes respuestas, pero no entiende por qué, solo la computadora, y eso es realmente insatisfactorio. Desafortunadamente para mí, los modelos discriminativos tienden a funcionar mejor que los modelos generativos para resolver muchos problemas de aprendizaje automático, por lo que me desconecto.

Como practicante, estoy muy feliz de usar el aprendizaje automático. Una vez más, realmente me gusta la simplicidad, por lo que tiendo a apostar por algoritmos de aprendizaje automático súper simples como Naive Bayes. Mi experiencia ha sido que para muchos problemas, estos algoritmos simples funcionan lo suficientemente bien como para demostrar la validez de una idea de investigación. Los algoritmos mucho más sofisticados a menudo te brindarán * un * mejor rendimiento, pero rara vez te darán un rendimiento significativamente mejor, y la mejora no vale la pena por los sistemas de investigación que construyo.

Como Joe nuevamente observa correctamente, soy sensible al hecho de que * todos * los algoritmos de aprendizaje automático tienden a tener errores, y estoy muy interesado en cómo podemos mantener a los humanos informados para mejorar las consecuencias de esos errores. Esto refleja un aspecto más general de mi investigación: me interesa más la computadora como una herramienta que puede ayudar a las personas a ser mejores en lo que hacen, en lugar de una herramienta que puede reemplazar a las personas.

Uno de mis proyectos de investigación favoritos que reflejan esta perspectiva fue Feedme (http://people.csail.mit.edu/marc…), un sistema en el que trabajé con Michael Bernstein y Adam Marcus. Feedme te ayuda a compartir contenido con tus amigos. Mientras lees cosas en la web, aparece una pequeña barra de herramientas con una lista de amigos específicos tuyos que podrían estar interesados ​​en leer lo que estás leyendo. Puede hacer clic en sus nombres, y Feedme les enviará un enlace a la página web. Feedme usa un algoritmo de aprendizaje automático súper simple para aprender qué tipo de contenido compartes con cada uno de tus amigos y lo usa para adivinar con qué amigos debería recomendarte compartir un contenido determinado. Fíjate en el humano en el ciclo de aprendizaje automático: Feedme sugiere que compartas cosas con personas específicas, pero tú eres el que decide si realmente quiere compartir, así que tus amigos solo obtienen cosas que realmente les gustan (asumiendo que eres bueno compartiendo). Contrasta esto con algo como reddit, que solo te muestra lo que todos los demás están votando, por lo que terminas leyendo muchas cosas que luego decides que son una pérdida de tiempo.

Feedme está caído ahora mismo debido a un cambio en nuestra infraestructura de servidor. Pero espero recuperarlo pronto porque lo usé todos los días. Cuando vuelva a estar en servicio, estará en http://feedme.csail.mit.edu/

No soy un experto en aprendizaje automático ni en David Karger, pero me pidieron que respondiera. Entonces, por el infierno, eché una breve ojeada a esta lista de publicaciones http://people.csail.mit.edu/karg … y, por lo tanto, deduje lo siguiente sobre los pensamientos de David Karger sobre el aprendizaje automático:

  • El aprendizaje automático se aplica de manera más útil a los dominios estrechos en lugar de tratar de descubrir un paradigma generalizado y completamente versátil. Esto podría interpretarse en el sentido de que David no es un creyente en la viabilidad a medio plazo de la inteligencia general artificial, o IA difícil. La historia lo apoyaría en esto (y está mal).
  • Se puede lograr una mayor productividad en las tareas de aprendizaje automático si se incluye a los humanos como diferenciadores en el sistema, tal vez en el futuro inmediato.
  • A riesgo de extrapolación bruta, David puede admitir una visión de aprendizaje automático futuro que incluya wetware además de hardware / software.

Además, me recuerda a un cambio de paradigma que ocurrió en los años 80 en torno a la programación de la producción y la gestión de las operaciones. Inicialmente, a partir de los años 60, los científicos informáticos pensaron que podían construir programas para predecir y controlar de manera precisa las operaciones del mundo real. Sin embargo, después de millones (mucho en esos días) de dólares de inversión y fallas, se dieron cuenta de que una solución mucho más factible es crear un proceso interactivo interactivo para el control de operaciones mediante el cual un supervisor humano trabaja en concierto con el programa. El ser humano proporciona la evaluación de nivel superior y la planificación de escenarios con el programa generando predicciones y sugerencias iterativas. El último enfoque de David para el aprendizaje automático es el siguiente, excepto que el programa está a cargo y los humanos son componentes. Futuro distópico, aquí vamos :-).