¿Cuáles son los temas de matemáticas detrás de ‘Reconocimiento de patrones y aprendizaje automático’ por Christopher Bishop y cuáles son algunos recursos para aprender esos temas? Aprendiendo y Estudiando para siempre

El libro en cuestión, “Reconocimiento de patrones y aprendizaje automático” por Christopher Bishop, viene con la aprobación de Geoffrey Hinton, como se desprende del prólogo al libro. El libro es un buen recurso para aprender sobre el reconocimiento de patrones como se hace usando redes neuronales y estoy seguro de que, al menos para mí, seguirá siendo un buen libro de referencia durante muchos años. El libro tiene un rigor matemático y se enfoca en aspectos de reconocimiento de patrones y redes neuronales solamente. Sin embargo, he encontrado por experiencia que necesita conocer el cálculo, las estadísticas y el aprendizaje automático a un nivel práctico antes de intentar leer este libro.

Una lista no exhaustiva de los temas matemáticos mencionados o referenciados aquí son:

Álgebra lineal: un tema ampliamente requerido para aquellos que se involucran seriamente en el aprendizaje automático o la ciencia de datos de cualquier tipo. Recomiendo las conferencias de Gilbert Strang en MIT OCW. Aparte del álgebra matricial y las soluciones a las ecuaciones, hay aspectos como las propiedades de las matrices y los métodos iterativos para resolver sistemas de ecuaciones, que son lecciones útiles de este conjunto.
Métodos de mínimos cuadrados: Estos son métodos estadísticos que se originan a partir de estudios de correlación y regresión realizados para comparaciones de factor-respuesta individuales. En las últimas décadas, los métodos se han expandido a modelos estadísticos avanzados utilizando mínimos cuadrados que usan el mismo principio básico pero de diferentes maneras. Recomendaría la probabilidad aplicada y las estadísticas para ingenieros de Montgomery para aprender las estadísticas y los métodos básicos que conducen a la correlación y la regresión de mínimos cuadrados. También hay imprimaciones de la Academia Khan para aquellos que lo desean.
El teorema de Bayes y las estadísticas bayesianas vs frecuentistas. Un tema importante para quienes se adentran en el aprendizaje estadístico automático y áreas relacionadas. Recomendaría un buen libro de texto de estadísticas básicas como el de Montgomery mencionado anteriormente. Aquí también son relevantes las estadísticas multivariadas: probabilidades marginales, condicionales y conjuntas
Distribuciones de probabilidad y funciones de densidad / masa de probabilidad: El trasfondo de esto es en sí mismo un conocimiento del cálculo, y estos pueden aprenderse de un buen libro de texto de estadísticas. Hay muchos recursos en línea, y puedes aprenderlos interactivamente si estás usando R, usando R y el paquete Swirl para R.
Recomendaría conocer los siguientes otros conceptos antes de intentar leer el libro:

Teorema del límite central
Inferencia estadística básica
Intervalos de confianza y estimación.
La distancia de Mahanalobis como una generalización de las métricas de distancia en las funciones de densidad de probabilidad
Aprendizaje automático básico y su clasificación, regresión y sus formas y métodos, al menos a un alto nivel. Discriminantes, determinantes y aspectos prácticos como el intercambio de sesgo-varianza, la maldición de la dimensionalidad, etc. Un buen recurso para esto es Introducción al aprendizaje estadístico por Gareth James, Hastie y Tibshirani.
Métodos de descenso de gradiente: el cálculo detrás de los gradientes, las explicaciones intuitivas, las definiciones matemáticamente rigurosas, como las funciones de costo y cómo funcionan en los enfoques de aprendizaje automático.
EDOs y PDE y algunas de las matrices especiales que surgen en estas matemáticas, como los jacobianos y los hessianos.

Los conceptos que he mencionado anteriormente se encuentran en las primeras 70-80 páginas del libro. El resto del libro incluye tratamientos avanzados de la capa única y perceptrones multicapa, y luego trata temas avanzados relacionados con la optimización y los enfoques de modelado avanzados como parte de la extracción de características. Este es un libro avanzado destinado a estudiantes de posgrado, y por lo tanto no es sorprendente que un amplio conocimiento en las áreas matemáticas mencionadas anteriormente ayude.