¿Cuáles son algunos buenos recursos para aprender sobre la reducción de la dimensionalidad? ¿Por qué?

Answer 1

Uno podría enumerar muchos artículos seminales dada la importancia fundamental y la amplitud de esta área.

Pero en el caso de que estés buscando algo que sea
1. holístico
2. Encuesta en una gran cantidad de literatura en el área (y por lo tanto, enumera los documentos importantes sobre KPCA, Eigenmaps, etc.
3. Dibuja conexiones entre estos métodos básicos. Esto podría ser útil si usted es nuevo en el área y carece de una visión amplia que podría tener más experiencia.

entonces recomendaría esta encuesta de Chris JC Burges, que se publicó como volumen de Fundamentos y Tendencias en Aprendizaje Automático :

Reducción de la dimensión: PDF de una visita guiada aquí: http://research.microsoft.com/pu…

Pero por supuesto hay muchas cosas que falta. Una de las muchas cosas: el uso de redes neuronales profundas para la reducción de la dimensionalidad no lineal. Un ejemplo es el artículo científico de Ruslan Salakhutdinov y Geoff Hinton:
http://www.cs.toronto.edu/~hinto… y los muchos otros métodos relacionados que utilizan autocodificadores, etc. Estos son, en mi humilde opinión, más útiles (al menos para la tarea de reducción de la dimensionalidad) que muchos de los más famosos. Métodos como Laplacian Eigenmaps, LLE, ISOMAP, etc., en los que no existe una extensión directa fuera de la muestra (el uso de Nystrom no funciona lo suficientemente bien en mi opinión).

Answer 2

Aquí hay algunos artículos que mejoraron en gran medida la comprensión matemática de la reducción de la dimensionalidad.

• Una prueba elemental del lema de Johnson-Lindenstrauss por Dasgupta y Gupta [1]
• Un marco geométrico global para la reducción de la dimensión no lineal (ISOMAP) por Tennenbaum, Silva y Langford [2]
• Mapas propios laplacianos para reducción de dimensiones y representación de datos por Niyogi y Belkin [3]

[1] http://cseweb.ucsd.edu/~dasgupta …
[2] http://web.mit.edu/cocosci/Paper …
[3] http://www.mitpressjournals.org/…

Recomiendo encarecidamente leer la conferencia de David Donoho titulada “Análisis de datos de alta dimensión: sobre las maldiciones y bendiciones de la dimensionalidad”. La “bendición” de los datos en dimensiones altas es que la información de interés se encuentra efectivamente en una dimensión inferior que podemos aprovechar, por lo general, esto implica representaciones dispersas o variedades de dimensiones bajas.
http://www-stat.stanford.edu/~do …

Answer 3

Modelos lineales:

• Reconocimiento facial bayesiano por Moghaddam, Jebara y Pentland [1]
• Indización de objetos utilizando una memoria distribuida icónica dispersa de Rao y Ballard [2]

Reducción de la dimensionalidad no lineal.

• Autoencoders profundos: reduciendo la dimensionalidad de los datos con redes neuronales por Hinton y Salakhutdinov

• Una introducción a la incrustación lineal local por Saul & Roweis [3]
• Análisis de componentes no lineales como un problema de valor propio del kernel por Scholkopf, Smola & Muller [4]
• Aprendizaje de una matriz de núcleo para la reducción de la dimensionalidad no lineal por Weinberger, Sha y Saul [5]
• Volumen mínimo de incrustación de Shaw y Jebara [6]

[1] http://www.cs.columbia.edu/~jeba …
[2] http://citeseerx.ist.psu.edu/vie …
[3] http://citeseerx.ist.psu.edu/vie …
[4] http://www.mitpressjournals.org/…
[5] http://portal.acm.org/citation.c …
[6] http://www.cs.columbia.edu/~jeba …

Referencia: materiales del curso de aprendizaje automático avanzado por Tony Jebara: http://www.cs.columbia.edu/~jeba…

Ver también

• Spencer autoencoder: Página en stanford.edu
• Hash semántico
• Hash espectral
• Hasheado semi-supervisado para búsquedas a gran escala.
• Las conferencias de Sanjiv Kumar: http://www.sanjivk.com/EECS6898/ …

• El artículo de Lv sobre estructuras de datos compactas (y el resto de su trabajo): http://citeseerx.ist.psu.edu/vie …
• El trabajo de Indyk y sus colegas en LSH: portal.acm.org/citation.cfm?id=671516 y [1306.1547] Más allá del hash sensible a la localidad
• “Aprendizaje práctico de máquina” de Michael Jordan: http://www.cs.berkeley.edu/~jord …
• Jolliffe, Análisis de componentes principales: http://www.amazon.com/Principal- …
• Piedra, análisis de componentes independientes: una introducción de tutorial:
  http://www.amazon.com/Independen…
• Lee & Verleysen, Reducción de la dimensionalidad no lineal: http://www.amazon.com/Nonlinear- …
• Samet, Fundamentos de estructuras de datos métricos y multidimensionales, ISBN
  0123694469
  , http://www.amazon.com/Foundation …
• Hastie, Tibshirani y Friedman, Los elementos del aprendizaje estadístico: http://www-stat.stanford.edu/~ti… (gracias a Ido Rosen por el enlace)
• Selección de estabilidad: http://www.stats.ox.ac.uk/~meins… (gracias a Quora User por el enlace)
• Recursos de detección comprimida: ¿Cuáles son algunos buenos recursos para aprender acerca de la detección comprimida?
• Formas y formas de galaxias de medición: http://www.astro.caltech.edu/~rj …
• O’Brien, Factorización de matriz dispersa en simulaciones de ” Star Wars: The Force Unleashed “: http://www.cs.berkeley.edu/~job/ …
• La serie Discovery Discovery de alto rendimiento de Shasha: http://www.amazon.com/High-Perfo …
• Weber et al., Un análisis cuantitativo y un estudio de rendimiento para métodos de búsqueda de similitud en espacios de alta dimensión: http://www.vldb.org/conf/1998/p194.pdf
• http://www.mdl-research.org/read …
• Weinberger et al., Feature Hashing for Large Scale Multitask Learning (2011): http://arxiv.org/abs/0902.2206
• ¿Análisis robusto de componentes principales?
• ¿Cuáles son algunos buenos recursos para aprender sobre la compresión de datos? ¿Por qué?
• ¿Cómo realizo la selección de características?
• ¿Cuáles son algunos recursos introductorios para aprender sobre el aprendizaje automático a gran escala? ¿Por qué?
• ¿Cuáles son algunos enfoques principales para la reducción de la dimensionalidad para la clasificación?