¿Qué es una red tensorial? Aprendiendo y Estudiando para siempre

Una red tensorial es una “red” de tensores. En términos menos descarados, es una gráfica cuyos vértices representan tensores y los bordes representan los índices del tensor. Recuerde que el “rango” de un tensor es algo así como su dimensionalidad, entonces los tensores de rango 0 son números escalares, los tensores de rango 1 son vectores, los tensores de rango 2 son matrices, etc. En fotos:

Luego, puede conectar a algunos de estos tipos para representar algunas operaciones simples. Por ejemplo,

(a) representa un producto de matriz, y (c) representa un producto interno del vector. Los bordes entre vértices (tensores) denotan una suma. Observe los “índices abiertos” en (a), los bordes que no se conectan a nada. Estos representan índices que se conservan, o se excluyen de la suma. Para dar sentido a esa idea, escribamos (a) en términos de fórmula:

[math] C_ {ik} = \ sum_ {j = 1} ^ D A_ {ij} B_ {jk} [/ math]

donde [math] D [/ math] denota la cantidad de valores posibles que puede tomar el índice [math] j [/ math], o si se dice en términos imprecisos, la cantidad de elementos a lo largo de [math] j [/ math] th Dimensión de estos tensores. Por otro lado, representaríamos (c) como

[math] C = \ sum_ {i} ^ D A_i B_i [/ math]

que es solo un número, en lugar de un elemento de matriz como la fórmula anterior.

Ahora está claro que si tiene un espacio de producto tensorial (un espacio de vector creado mediante la toma de productos tensoriales de espacios más pequeños), puede aumentar de tamaño realmente rápido. Por ejemplo, la dimensionalidad de un espacio puede ir como [math] 2 ^ k [/ math] si toma los productos tensoriales de [math] k [/ math] matrices de dos por dos. El punto es que tal vez no necesite todo ese espacio, y las operaciones que desea hacer en el espacio se pueden hacer de manera mucho más eficiente si pudiera operar en las piezas en su lugar. En el ejemplo de [math] k [/ math] matrices 2 × 2, sus requisitos de memoria son esencialmente [math] \ mathcal {O} (k) [/ math], mientras que con el gran producto tensorial de todos ellos ‘ al tratar con [math] \ mathcal {O} (2 ^ k) [/ math], ¡un aumento exponencial en los requisitos de memoria!

Claramente, no siempre es posible hacer este tipo de estrategia de divide y vencerás, y algunas veces necesitarás operar directamente en un gran espacio vectorial. La idea es que puede ser capaz de hacerlo con un conjunto de tensores más pequeños. Los argumentos de por qué puede hacer esto dependen de la aplicación. Para los sistemas cuánticos es bastante bueno porque el hecho de que la mayoría de las interacciones físicas son de naturaleza local impone restricciones al entrelazamiento entre dos subsistemas elegidos al azar en el espacio de Hilbert. De hecho, si enfoca la atención en la dinámica de baja energía, puede probar que los estados de baja energía están obligados a estar en una sub-matriz particular del espacio de Hilbert exponencialmente grande. En términos sencillos, tiene un gran espacio de posibilidades, pero gracias a la física, sabemos que podemos ignorar todo menos una pequeña parte. Si está trabajando en aprendizaje automático, puede imaginar que puede ignorar las correlaciones entre dos variables diferentes si tiene un argumento sólido para hacerlo, y de hecho esto con el mismo espíritu que la mayoría de los esquemas de reducción de la dimensionalidad como PCA y otros. excepto que la red tensorial le permite representar una descomposición arbitraria, en lugar de solo los valores propios o singulares.

Todas las cifras son de este excelente tutorial, que tiene una excelente introducción que creo que sería accesible incluso para los no físicos: Introducción práctica a las redes de tensores: Estados de productos matriciales y Estados de pares enredados proyectados.