Esos dos algoritmos de entrenamiento se utilizan para entrenar dos tipos de redes neuronales.
En el caso general, tienes neuronas (también llamadas unidades), conectadas a otras neuronas, que forman un gráfico de neuronas.
Pero cuando se propagan los valores, se realizará un ciclo dentro de la gráfica de las neuronas antes de converger después de unas pocas iteraciones (como los algoritmos de Page Rank). Esto toma iteraciones para obtener un resultado. Esas redes neuronales generales se llaman redes neuronales recurrentes.
Para reducir el tiempo de computación, la mayoría de las personas utilizan redes neuronales formadas por capas, con las neuronas de una capa conectando sus salidas a la siguiente capa (y tomando sus entradas de la capa anterior). Con esas restricciones, no hay ciclos, por lo que una iteración es suficiente. Esos son llamados Feedforward Neural Networks.
Los FNNs se entrenan usando la propagación de espalda.
Los RNN están entrenados por varios algoritmos (no hay un solo algoritmo que domina), siendo RTRL uno de los más famosos.
- Cómo asegurarse de que aprendas todos los días.
- ¿Cuáles son los objetivos no tradicionales de aprendizaje?
- ¿Qué son los derechos humanos? ¿Creemos y practicamos eso efectivamente?
- ¿Cuál es la manera más rápida (1 día, digamos) de aprender sobre la historia del mundo?
- ¿Cómo puedo ser mejor memorizando nombres en idiomas extranjeros?
Las primeras diapositivas de este PDF lo explican muy bien: Página en cmu.edu