¿Qué conocimientos de la neurociencia tienen más probabilidades de tener un impacto en el aprendizaje profundo para 2020 o 2025?

Answer 1

Los algoritmos de “aprendizaje profundo” se han inspirado tradicionalmente en la estructura de los sistemas de visión viva, que analizan los subsistemas biológicos identificados con capas de “neuronas” computacionales. Los sistemas computacionales luego intentan “aprender” características simples (por ejemplo, “bordes”) en las capas “neuronales” inferiores y características más complejas (por ejemplo, “caras”) en las capas superiores.

Especuleando entonces, veo varias áreas donde podría haber un impacto.
1) Una mejor comprensión de las capas de visión biológica “codificadas duras” más bajas que podrían informar mejor su emulación en los sistemas de aprendizaje profundo.
2) Una mejor comprensión de cómo las capas biológicas codificadas más altas se interconectan con el sistema de razonamiento del cerebro.
3) Mejor comprensión de qué tan aplicable es este modelo a otras modalidades de entrada sensorial, por ejemplo, audición, gusto, olfato y tacto. Tenga en cuenta que hay algunas teorías bastante antiguas al respecto. Algunos opinan que el sistema de procesamiento temporal auditivo (en algún nivel) comparte el mismo procesamiento que el sistema espacial de la visión. Los objetos visuales se entienden de la misma manera que los sonidos, con las características de audio “niveladas” a frases tonales en el caso de la música (consulte el Instituto McGovern para la Investigación del Cerebro en el MIT en salida (no entrada)) y oraciones en el caso del lenguaje. Vea la charla BAMMF de Richard Socher sobre una forma de combinar lenguaje y visión a través del aprendizaje profundo.

Answer 2

Una de las ideas que realmente me impresionaron con la neurociencia es la siguiente:

Cuando estamos aprendiendo una nueva habilidad, apoyamos el ajedrez, el golf, el fútbol, ​​etc., a menudo nos encontramos con un movimiento / truco en particular que creemos que, si se ejecuta bien, mejorará significativamente nuestro rendimiento / precisión. Esto podría ser algo como aprender cuándo hacer enrojecimiento en el ajedrez, o algo así como cuándo decidir apuntar el objetivo desde cualquier posición particular en el campo de fútbol. Este truco es lo que siempre queremos aprender y, a menudo, dependemos de eso para aumentar nuestras probabilidades de éxito.

Creo que esta percepción de la neurociencia relacionada con la forma de aprender una nueva habilidad y dominar lentamente ese truco en particular tendrá un gran impacto en el aprendizaje profundo en el futuro. Interesado en saber lo que otros piensan que son otras ideas.

Answer 3

Personalmente, creo que la neurociencia debe ayudar al aprendizaje automático en muchos aspectos, el aprendizaje de un solo disparo y el aprendizaje de un solo disparo entre los más importantes. Hoy podemos ver muchos resultados excelentes del aprendizaje profundo, pero con una cantidad cada vez mayor de datos, el aprendizaje supervisado ya no funcionará: simplemente porque no hay una etiqueta disponible para todos los datos.