Suscríbete a DeepL Pro para poder traducir archivos de mayor tamaño.

Más información disponible en [Link]/pro.

SV-Learn: Aprendizaje de valores singulares de

matrices con redes neuronales
Derek Xu William Shiao Jia Chen Evangelos E. Papalexakis
Instituto Ayala Dpto. de CSE Dpto. de ECE Dpto. de CSE
derekxu888@[Link] UC Riverside UC Riverside UC Riverside
wshia002@[Link] jiac@[Link] epapalex@[Link]

Resumen-La descomposición de valores singulares (SVD)

enfoque basado en redes neuronales para la predicción rápida y
descompone una matriz en tres matrices separadas: dos matrices eficaz de los valores singulares de una matriz determinada. La
(semi)unitarias cuyas columnas son los vectores singulares mayoría de los trabajos existentes se basan en el cálculo directo
izquierdo/derecho y una matriz diagonal cuyas entradas de SVD o descomposición de valores propios en una matriz o
diagonales son los valores singulares. Normalmente, realizar la submatriz. Recientemente, se propuso un nuevo modelo en [6]
SVD en matrices de gran tamaño es complicado debido a su
complejidad computacional en el orden cúbico de sus
dimensiones. Con los avances y el rápido crecimiento de las
técnicas de aprendizaje profundo en un amplio espectro de
aplicaciones, surge una pregunta fundamental: ¿pueden las redes
neuronales profundas aprender los valores singulares de una
matriz? Para responder a esta pregunta, proponemos un
algoritmo novedoso, concretamente SV-learn, para predecir los
valores singulares de una matriz de entrada dada aprovechando
los avances de las redes neuronales. Los resultados numéricos
demuestran que el método propuesto supera a las alternativas de
la competencia en términos de lograr un menor error cuadrático
medio normalizado en la predicción de valores singulares cuando
se utilizan conjuntos de datos del mundo real. Además, los
valores singulares predichos combinados con los vectores
singulares de un dato de entrada nos permiten reconstruir las
matrices de entrada con un rendimiento prometedor.

I. INTRODUCCIÓN
La descomposición de valores singulares (SVD) y la
descomposición de valores propios son de gran importancia en
un amplio espectro de aplicaciones del mundo real, como la
visión por ordenador [1], el procesamiento de señales [2] y la
ciencia de datos [3], [4], [5]. Una característica clave de la
SVD es que revela el rango, lo que significa que identifica el
rango de una matriz dada, además de proporcionarnos un
medio para evaluar el llamado "rango bajo" de una matriz de
datos dada, que sería un rango típicamente mucho menor que
el rango completo de la matriz al que podemos aproximar la
matriz con una pérdida mínima de precisión en la
reconstrucción. El concepto de bajo rango es fundamental en
prácticamente todos los intentos de utilizar la SVD (u otras
factorizaciones de matrices) con fines de reducción de la
dimensionalidad, ya sea como paso previo al procesamiento
en un proceso analítico o como análisis propiamente dicho
(por ejemplo, mediante la identificación de conceptos latentes
en matrices término-documento [3]). Además, la SVD es
extremadamente útil para calcular la pseudoinversa con bajo
coste.
Como resultado, el perfil de valores singulares de una
matriz es un producto extremadamente importante del SVD,
ya que puede caracterizar un conjunto de datos matriciales
dado con respecto al número de patrones latentes que
contiene. Por lo tanto, en este trabajo proponemos un nuevo
para predecir la dimensionalidad latente de la factorización
de matrices no negativas mediante redes neuronales.
Hasta donde sabemos, aún no se ha estudiado el uso de
redes neuronales profundas para explorar todo el espectro de
valores singulares. Nuestras contribuciones incluyen:
• Propuesta de un nuevo marco basado en el aprendizaje
profundo para predecir los valores singulares de una
matriz.
• Evaluar la eficacia del método propuesto mediante
pruebas numéricas con resultados prometedores
visualizados y cuantificados.

II. FONDO

La SVD se ha aplicado con éxito a una gran variedad

d e c o n j u n t o s d e d a t o s , con
aplicaciones en compresión de imágenes [7], [8], sistemas de
recomendación [9], etc. Sin embargo, la complejidad
temporal del cálculo de la SVD es significativa, lo que
dificulta su escalado a conjuntos de datos extremadamente
grandes. Esto ha dado lugar a trabajos centrados en acelerarlo
para matrices dispersas [10], [11], distribuirlo entre varias
máquinas [12], [13] y aumentar su eficiencia en aceleradores
[14].
En este t r a b a j o , aprovechamos las redes neuronales para
ayudar a a c e l e r a r el cálculo de una aproximación de la
SVD alimentando un modelo con un conjunto de datos de
entrenamiento para hacer predicciones más rápidamente. Las
redes neuronales han demostrado ser muy eficaces en el
aprendizaje y el modelado de relaciones no lineales y
complejas. En nuestro caso, teorizamos que con la
optimización y el entrenamiento adecuados, podemos utilizar
una red neuronal para predecir una cantidad significativa de
los valores singulares y vectores con menos complejidad de
tiempo que el SVD típico.
Esta aplicación tiene un uso importante en big data, donde
el tiempo de ejecución es extremadamente importante. En
lugar de tener que calcular la SVD desde cero sobre todas las
matrices, podemos utilizar un modelo compartido entrenado
sobre muchas matrices de muestra para disminuir el uso de
recursos y los tiempos de ejecución de la factorización futura.
En conjunción con un modelo de este tipo, es posible realizar
muchas tareas que dependen de la SVD, como el análisis de
componentes principales, el análisis espectral y la
incrustación de múltiples, mucho más rápido, especialmente
en grandes conjuntos de datos.

III. FORMULACIÓN DEL PROBLEMA Y MÉTODO PROPUESTO

A. Formulación del problema
U
1, 2, 3..................32
A
Abordamos el problema de la predicción de los valores
2
3 Aplanar
.
. A
singulares de matrices bidimensionales entrenando redes
1, 2, 3 .... 32
2 .
3
4.
5
A SVD Σ 32

neuronales supervisadas con matrices y su respectiva

.
.

32 Σ
descomposición de valores singulares. Para obtener resultados
Aplanar

Σ 1,2,... 32
más precisos, es necesario entrenar nuestro modelo con
V
matrices de distintos rangos. Hay un par de maneras de
hacerlo, pero nuestro método consiste en utilizar conjuntos de
datos reales y "windowar"
× (crear matrices de cierto tamaño
moviendo una ventana de tamaño m n sobre los datos con
En la capa 1 L .1 L . 2 L .2 L . 3 L.3 Fuera

A D D Σpred
1,2,... 32
distintas dimensiones) los datos para que se ajusten a nuestro
ro ro
p p
ot ot

modelo. El objetivo de este proceso es que un modelo prediga

con éxito los valores singulares de cualquier matriz del Fig. 1: Visión general del modelo propuesto.
tamaño con el que fue entrenado. Esto puede compararse con
otros métodos para resolver la descomposición de una matriz,
como nuestro SVD-LIGHT de la Tabla 1, que utiliza un matriz para que coincida con las dimensiones del conjunto
subconjunto de un conjunto de datos para los valores CIFAR-10. Elegimos como ejemplo los datos tabulares. Para
singulares y los vectores, o el SVD completo. En teoría, esto todas las matrices de estos conjuntos, se tomó la SVD para
reducirá los tiempos de ejecución y el uso de recursos para calcular los valores singulares de los datos. A continuación,
grandes conjuntos de datos en los que es necesario encontrar guardamos las matrices originales, junto con sus valores
repetidamente los valores singulares de las matrices. singulares tomados de la SVD, para utilizarlas en el
entrenamiento de nuestra red neuronal.
Algoritmo 1 SVD-LIGHT Entrenamiento del modelo de regresión neuronal:
Entradas: matriz M; k, el número de filas y columnas de Nuestro objetivo con nuestra red neuronal es encontrar los
M utilizado para la aproximación de vectores singulares valores singulares de una matriz dada. Después de obtener los
Salidas: vectores singulares de la submatriz almacenados valores singulares de la SVD, desarrollamos un modelo para
en las columnas de UC y VR ; matriz de valor singular entrenar los datos. A partir de nuestras pruebas, encontramos
sparsificada ΣO que el uso de un modelo de regresión con 2 capas ocultas con
Descripción: Método de descomposición de una matriz en el 2 capas de abandono funcionó mejor para predecir nuestros
que la SVD se aplica a un subconjunto más pequeño de una valores singulares. Para poder entrenar las redes neuronales,
matriz que actúa como necesitan una matriz 1D para cada unidad. Para conseguirlo,
forma de comparación contra el uso del SVD completo y aplanamos nuestras matrices originales, obteniendo un
nuestro modelo entrenado. conjunto de datos lleno de matrices 1D mf y sus
1: procedimiento SVD-LIGHT(M, k) correspondientes matrices 1D de valores singulares sf donde f
2: Σ → PREDECIRSVD(M) denota el índice de la muestra. Las matrices y los valores
3: MR → SAMPLEROWS(M, k) // Seleccionar singulares se introdujeron en la red neuronal con mf como
aleatoriamente k entrada y sf como verdad de base. Para el entrenamiento,
filas de M para formar una submatriz MR utilizamos la pérdida L1 para ajustar los pesos de las neuronas.
4: MC → SAMPLECOLS(M, k) // Seleccionar De este modo se obtiene un modelo que produce una matriz
aleatoriamente k 1D de valores singulares para mf ; la visión general de
columnas de M para formar una submatriz MC nuestra red neuronal propuesta es la siguiente
5: UR , ΣR , VT →RSVD(MR ) // Realiza SVD en M.R
6: UC , ΣC , VT →C SVD(MC ) // Realiza SVD en M.C
7: diag(ΣO ) = [diag(Σ)(1 : k), 0, ..., 0] // Preservar la grises de la imagen en cada píxel de la imagen original. Para
los k valores singulares superiores de M y elimina los nuestro otro conjunto de datos, optamos por utilizar el
restantes formando la matriz diagonal ΣO conjunto de datos Spambase [16], que obtuvimos del UCI
8: return UC , ΣO , VT R Machine Learning Repository [17]. Extraemos ventanas de 32
9: fin procedimiento =0 × 32 de la característica

B. Método propuesto
Conjunto de datos: Optamos por utilizar el conjunto de
datos CIFAR-10 [15] para obtener
32 ×32 matrices cuadradas para obtener las predicciones
SVD más precisas a partir de datos reales. El conjunto de
datos también nos permite visualizar fácilmente la
precisión de nuestras predicciones. A continuación,
redujimos las dimensiones
× de cada imagen para crear una
matriz M 2D 32 32, que contiene los valores en escala de
en la Fig. 1. El propósito de hacer esto es que para
aplicaciones más amplias, los usuarios simplemente
necesitarán realizar las operaciones SVD una sola vez para
unas pocas muestras de sus conjuntos de datos. Pueden
utilizar el modelo entrenado utilizando la SVD de un par de
muestras para la totalidad de sus datos, eliminando la
necesidad de realizar operaciones repetitivas en matrices
similares.

IV. EVALUACIÓN EXPERIMENTAL

Para evaluar la precisión del modelo de predicción de
valores singulares, dividimos los datos originales en
entrenamiento y prueba. Al buscar posibles conjuntos para
entrenar y probar nuestro modelo de regresión, es importante
que utilicemos datos reales en lugar de datos construidos
artificialmente. Así obtendremos matrices de distintos
rangos, pero con suficientes patrones significativos para que
nuestra red neuronal pueda aprender y predecir. Con el
conjunto de datos CIFAR-10 [15], seleccionamos
aleatoriamente 50.000 imágenes para el entrenamiento y
10.000 para las pruebas. En Spambase
[16], elegimos aleatoriamente 104.858 y 18.505 (alrededor del
15% del conjunto de datos) para las matrices de entrenamiento Conjunto de datosNMSE MAE
y prueba, respectivamente. CIFAR-10 [15] 1.59% ± 0. 89%43.36 ± 11.95
Spambase [16] 4.04% ± 2. 89%1.00 ± 2.14
A. Métricas
TABLA I: NMSE y MAE de los valores singulares predichos;
A continuación, evaluamos nuestro modelo propuesto en a ± b donde a y b son la media y la desviación típica.
diferentes dimensiones: (1) Comparación entre los valores
singulares reales y los predichos, (2) Error de reconstrucción
de la matriz, y
(3) Comparación visual entre la imagen real y la reconstruida. 3000
15000

2000 10000
Comparación de valores singulares: Nuestro primer método
1000 5000
para valorar la eficacia del modelo propuesto consiste en
comparar directamente los valores singulares reales y los 0
20 40 60 80 100
0
0 20 40 60
predichos. En la prueba MAE MAE

alimentamos las matrices aplanadas a la red neuronal ((a)) MAE para CIFAR-10 [15] ((b)) MAE para Spambase [16]
entrenada, recibiendo una matriz de 32 valores singulares
6000
predichos para cada matriz de prueba. Para una comparación 6000

numérica, utilizamos el error cuadrático medio normalizado 4000 4000

(NMSE) y el error absoluto medio (MAE) de todas las 2000 2000

matrices de prueba, que, para cada matriz,

}N son los verdaderos
se definen en la Ecuación 1, i=1 y {σˆ i 0 0
}N
donde {σi i=1
y los valores singulares estimados, representando N el número 0.00 0.05 0.10 0.15 0.00 0 .05 0 .10 0 .15 0 .20 0 .25
NMSE NMSE
total de valores singulares. ((c)) NMSE para CIFAR-10. ((d)) NMSE para Spambase.
ΣN ΣN Fig. 2: Histogramas de error de nuestro método propuesto para
i=1 (σi - σˆ i=1 |σi - σ ˆ
NMSE = Σ) 2 , MAE = |
CIFAR-10 y Spambase. El gráfico de la figura 2(a) muestra una
i i distribución bastante normal del error absoluto, lo que indica
N N
i=1 σ 2i coherencia. Aunque el gráfico de la figura 2(b) no presenta una
(1) distribución normal como la de 2(a), el MAE sigue siendo
En la Tabla I, el rendimiento de nuestro método propuesto coherente. El gráfico de la figura 2(c) muestra un NMSE bajo en
en la estimación de los valores singulares de matrices de el que la mayoría de los errores se sitúan entre el 0 y el 5%. El
gráfico de la figura 2(d) muestra que los errores oscilan
CIFAR-10 principalmente entre el 0 y el 10%, lo que, combinado con los
[15] y Spambase [16]. En concreto, presentamos la media y la resultados de la figura 2(c), demuestra que nuestro método se
desviación estándar de NMSE y MAE entre todas las muestras generaliza a distintos tipos de conjuntos de datos.
de prueba, lo que demuestra que nuestro
Las redes neuronales pueden utilizarse para predecir valores Mate 1 Mate 2 Mate 3 Mate 4
singulares de forma precisa y coherente. Con el fin de 103
103
Valor (LogY)

presentar en su totalidad nuestro rendimiento de predicción, 102

102

también mostramos los histogramas de error en la Figura 2, 100

101 101

que muestra errores bastante bajos y consistentes que dan 100

u n a i d e a d e la precisión de nuestro modelo a 0 20 0 20 0 20 0 20

pesar de tener una cantidad moderada de datos para 6000

e n t r e n a r . En el futuro, estos valores podrían mejorarse con 4000
4000
un modelo de aprendizaje profundo más avanzado y más datos
Valor

2000 2000
2000
de entrenamiento. 2000

Además, realizamos una comparación directa entre los 0 0 0 0

0 20
valores verdaderos y los predichos de algunos datos elegidos Índice de valor
0 20 0 20 0 20

al azar de los conjuntos de datos CIFAR-10 y Spambase. En la 0

singular
0 0 0
Figura 3, representamos los valores singulares predichos y
verdaderos en una escala logarítmica frente a sus índices en el
Image

20 20 20 20
n

panel superior, los valores singulares predichos y verdaderos

en una escala lineal frente a sus índices en el panel central, y 0 20 0 20 0 20
Predicció
0 20 n
52.77
las imágenes en escala de grises en el panel inferior, seguidas MAE: 38,74
28.98 40.72
Verdader
de su correspondiente MAE de los valores singulares o

predichos, donde cada columna representa los resultados de

una muestra de imagen específica. Claramente, nuestros
valores singulares predichos
son muy próximos a los reales, y los significativos son casi resultados de las pruebas con los datos de Spambase de la
idénticos a los valores reales, lo que indica que el método figura 4.
propuesto es una buena herramienta para predecir el rango de Reconstrucción de matrices: Otro método para evaluar
una matriz. Se pueden extraer conclusiones similares de los nuestro algoritmo consiste en reconstruir matrices utilizando
los valores singulares predichos combinados con los vectores Fig. 3: Comparación directa de los valores singulares predichos y
reales
singulares verdaderos. En de un CIFAR-10; véanse los valores singulares logarítmicos y los
valores singulares en la primera y segunda filas, respectivamente.
Podemos ver que, en general, nuestro método se aproxima bien a los
valores singulares, pero tiende a fallar al predecir 0 para los valores
más pequeños.

realizó esto específicamente en los conjuntos de datos CIFAR-

10, ya que nos permite visualizar también las imágenes
reconstruidas. Especif-
 Mate 1 Mate 2 Mate 3 Mate 4
Número de valores singulares (rango)
Valor (LogY)

10-2 10-2 10-2 10-2

10-9 10-9 10-9 10-9 32 5 2 1

Sigma real
0 20 0 20 0 20 0 20
Índice de valor
singular
20

10 10
20 10
Valor

0 0 0 0

Sigma previsto
0 20 0 20 0 20 0 20
Predicció
MAE: 0,3786 0.3512 0.1472 0.3956
n

Fig. 4: Comparación directa d e los valores singulares predichos y Verdader para la reconstrucción de matrices. Existen ligeras diferencias
o
reales del conjunto de datos Spambase; véanse los valores singulares como la oscuridad o el contraste, aunque los detalles y la
logarítmicos y los valores singulares en la primera y segunda filas, imagen en general se mantienen al utilizar nuestra red
respectivamente. Podemos ver que, en general, nuestro modelo neuronal. Al comparar el valor singular aleatorio y las
predice los valores singulares con precisión para los primeros valores
significativos, pero tiende a predecir 0 para más números que el SVD reconstrucciones SVD-LIGHT, se obtienen peores resultados y
real. detalles ininteligibles.
En general, el error es mínimo cuando se utiliza una red
neuronal para predecir valores singulares. Especialmente con
Desde el punto de vista gráfico, representamos: 1) las
imágenes reconstruidas utilizando SVD en los 4 paneles
superiores de la Figura 5, donde el número de valores
singulares se establece como k = 1, 2, 5 y 32; y 2) las
imágenes reconstruidas utilizando los mismos vectores
singulares izquierdo y derecho que en 1), así como los k
valores singulares superiores obtenidos a partir de nuestro
método propuesto, que se muestran en los 4 paneles inferiores
de la Figura 5. A partir de los resultados de la Figura 5, vemos
que nuestros valores singulares predichos son precisos incluso
en la reconstrucción de imágenes de bajo rango. A partir de
los resultados de la Figura 5, podemos ver que nuestros
valores singulares predichos son precisos incluso en la
reconstrucción de imágenes de bajo rango. Esto viene a
demostrar una aplicación factible como el SVD- LIGHT donde
podemos utilizar una cantidad mucho menor de datos con las
aproximaciones de la red neuronal para obtener resultados
similares al SVD real. Vale la pena mencionar que para la
imagen elegida aleatoriamente en la Figura 5, el rango
estimado es
6, ya que el error de reconstrucción de la imagen empieza a
estabilizarse en torno a 6 filas y columnas de la matriz
× original
de 32 32, lo que coincide con nuestra observación de que la
reconstrucción de la imagen a k = 5 es muy parecida a la que
utiliza el rango completo, es decir, k = 32. La combinación del
método SVD-LIGHT y nuestro método de estimación de valores
singulares propuesto actúan como un caso de estudio para una
posible aplicación de la reconstrucción de datos en un entorno
más rápido.
Comparación visual: En la figura 6, comparamos las
imágenes reconstruidas (tres ejemplos de imágenes) utilizando
los valores singulares reales, aleatorios y de predicción de red
de nuestro método, así como los vectores singulares
verdaderos; véanse los resultados en las tres primeras
columnas de la figura 6, y el método SVD-LIGHT 1; véanse los
resultados en la última columna de la figura 6. También
utilizamos una comparación con una imagen-reconstrucción
utilizando valores singulares ran- dom para determinar que
nuestro sigma predicho no está simplemente emitiendo
números aleatorios y dando datos característicos. Nuestros
resultados muestran una drástica similitud al utilizar las
predicciones de nuestro modelo y los valores singulares reales
Fig. 5: Reconstrucción de una imagen CIFAR-10 [15] utilizando
varios números de valores singulares ( e s d e c i r , rangos donde k
= 1, 2, 5 y 32) a partir de los valores singulares reales y predichos
(es decir, Sigma en la figura), y los vectores singulares verdaderos.
Los valores singulares de la red neuronal sirven como alternativa
precisa, especialmente a partir de rangos bajos de 5.

Estos resultados son indicativos de que el uso de redes

neuronales puede ser un método práctico para reducir el
tiempo de ejecución y manejar grandes conjuntos de datos de
entrada en lugar del SVD.

Real Aleatorio PredictedSVD-Light

1
3

Fig. 6: Tres ejemplos de reconstrucción de imágenes del CIFAR-10

[15]. Las tres primeras columnas son las imágenes reconstruidas
2

utilizando valores singulares reales, aleatorios y predichos por el

modelo, así como los vectores singulares verdaderos. La última
columna muestra los resultados del método SVD-LIGHT.

B. Debate
Nuestros experimentos cubren la predicción de los valores
singulares de las matrices pero no cubren la descomposición
completa para los vectores singulares. En el futuro, este
mismo proceso puede aplicarse para encontrar estas matrices
para hacer una red neuronal que sea completamente
independiente del SVD después del entrenamiento. Nuestros
conjuntos de datos tampoco eran muy grandes como para
poder aplicar nuestros modelos a todos los tipos de datos. Al
entrenar, especializamos nuestra red para predecir
correctamente los valores singulares
de matrices con propiedades similares. Esto puede mejorarse valores singulares que estaban muy cerca de lo que el SVD
proporcionando muchos más datos para entrenar, de modo que podría calcular. Al comparar nuestros valores singulares con
la aplicación de ese modelo sea más amplia. El artículo datos aleatorios o con nuestro SVD-LIGHT1, la red neuronal
también se centra más en la viabilidad de utilizar una red superó drásticamente a estos métodos, lo que demuestra la
neuronal para encontrar valores singulares y no exactamente viabilidad de utilizar métodos entrenados para calcular valores
en el tiempo que lleva el entrenamiento y las predicciones singulares.
posteriores. Sin embargo, el trabajo futuro puede centrarse en
reducir el tiempo y el uso de recursos para aplicaciones de
grandes conjuntos de datos de la SVD mediante la creación de
modelos más optimizados.
V. TRABAJOS RELACIONADOS
En cuanto a los métodos SVD más rápidos, [18] propone un
método que utiliza una mezcla de Monte Carlo (muestreo
aleatorio repetido) y muestreo empírico para utilizar un
subconjunto de una matriz a gran escala para aproximar la
SVD dentro de un límite de error. Similar a nuestro SVD-LIGHT
su método implica tomar partes de una matriz pero disminuye
aún más el error ajustando la varianza de los datos
estratificados para alcanzar la precisión objetivo, encontrando
un método más eficiente de muestreo para el SVD. Esto da
una idea de cómo nuestra red neuronal puede reducir
prácticamente el tiempo de ejecución, pero también producir
resultados precisos mediante la disminución de la cantidad de
datos utilizados para la descomposición de los vectores
singulares izquierdo y derecho, mientras que también utiliza el
modelo para dar valores singulares precisos basados en toda la
matriz original.
[19] y [20] proponen un método similar en el que utilizan
un subconjunto de las columnas de las matrices, pero l o
repiten utilizando esquemas de muestreo fijos y adaptativos
para disminuir los límites er- rores al generar aproximaciones
de matrices de bajo rango. Añaden a este trabajo la aplicación
de la SVD en una submatriz de una matriz grande utilizando
un algoritmo aleatorio de aproximación de bajo rango para
mantener efectivamente la precisión de una SVD grande con
la complejidad de tiempo de una SVD pequeña. Al igual que
SVD-LIGHT y [18], una posible adición que nuestro trabajo
puede hacer a esto es utilizar una red neuronal para calcular
los valores singulares precisos basados en toda la matriz
mientras se utiliza su método para realizar el resto de la SVD.
Si se puede utilizar un modelo para predecir toda la
descomposición SVD, entonces la complejidad de utilizar
SVD s e puede eliminar por completo con el [19].
VI. CONCLUSIÓN Y TRABAJO FUTURO
Aunque todavía queda mucho trabajo por hacer en este
campo, este trabajo muestra la viabilidad de utilizar una red
neuronal supervisada para predecir con precisión los valores
singulares de una matriz dada y la futura aplicación de una
alternativa más rápida y ligera a la descomposición del valor
singular. A lo largo de nuestro proceso, exploramos la
aplicación de modelos de regresión neuronal en conjuntos de
datos visuales como el CIFAR-10 [15] y numéricos como el
Spambase de la UCI [16].
Para la evaluación, utilizamos una combinación de
comparación visual con los datos de CIFAR-10 [15] y
comparaciones directas del error medio absoluto y el error
medio cuadrático normalizado entre nuestros valores
singulares predichos y los de la SVD. Como resultado de estas
pruebas, encontramos resultados significativos que nos dieron
en lugar del típico algoritmo SVD, con errores de entre el 1 y
el 5% y menos de 100.000 instancias para entrenar.
Hasta ahora, hemos presentado un marco de prueba de
concepto, demostrando la viabilidad y plausibilidad de
nuestro objetivo original. En el futuro, prevemos que estos
hallazgos abrirán paso a una alternativa mucho más rápida y
ligera a la SVD para aplicaciones en grandes datos en las que
la complejidad temporal de la SVD se vuelve demasiado
significativa. Aplazamos esta exploración para futuros
trabajos, en los que los principales retos interesantes
incluirán formas de representar mejor los datos de entrada y
el diseño de la arquitectura más adecuada que pueda
aprovechar la estructura del problema para aprender de forma
más eficiente.

VII. AGRADECIMIENTOS
La investigación ha sido financiada por la National
Science Foundation con la beca CAREER no. IIS 2046086 y
CREST Center for Multidisciplinary Research Excellence in
Cyber-Physical Infrastructure Systems (MECIS) grant no.
2112650, y UCR Regents Faculty Fellowship. Las opiniones,
conclusiones y con- clusiones o recomendaciones expresadas
en este material son las del autor o autores y no reflejan
necesariamente los puntos de vista de las partes
financiadoras.

REFERENCIAS
[1] M. Turk y A. Pentland, "Eigenfaces for recognition", Journal of
cognitive neuroscience, vol. 3, nº 1, pp. 71-86, 1991.
[2] F. Gao y A. B. Gershman, "A generalized esprit approach to direction-
of-arrival estimation," IEEE signal processing letters, vol. 12, no. 3,
pp. 254-257, 2005.
[3] S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer, y
R. Harshman, "Indexing by latent semantic analysis", Journal of the
American Society for Information Science, vol. 41, nº 6, pp. 391-407,
sep. 1990.
[4] B. A. Prakash, A. Sridharan, M. Seshadri, S. Machiraju y C. Falout-
sos, "Eigenspokes: Surprising patterns and scalable community
chipping in large graphs", en Pacific-Asia Conference on Knowledge
Discovery and Data Mining. Springer, 2010, pp. 435-448.
[5] U. Von Luxburg, "A tutorial on spectral clustering", Statistics and
computing, vol. 17, no. 4, pp. 395-416, 2007.
[6] B. T. Nebgen, R. Vangara, M. A. Hombrados-Herrera, S. Kuksova, y
B. S. Alexandrov, "A neural network for determination of latent
dimensionality in non-negative matrix factorization," Machine
Learning: Science and Technology, vol. 2, no. 2, p. 025012, 2021.
[7] H. Prasantha, H. Shashidhara y K. Balasubramanya Murthy, "Image
compression using svd", en International Conference on
Computational Intelligence and Multimedia Applications (ICCIMA
2007), vol. 3, 2007,
pp. 143-145.
[8] S. K. Singh y S. Kumar, "A framework to design novel svd based color
image compression", en 2009 Third UKSim European Symposium on
Computer Modeling and Simulation, 2009, pp. 235-240.
[9] Y. Koren, R. Bell y C. Volinsky, "Matrix factorization techniques for
recommender systems", Computer, vol. 42, nº 8, pp. 30-37, 2009.
[10] M. W. Berry, "Large-scale sparse singular value computations", The
International Journal of Supercomputing Applications, vol. 6, nº 1, pp.
13-49, 1992.
[11] D. Yang, Z. Ma y A. Buja, "A sparse svd method for high-dimensional
data", 2011. [En línea]. Disponible: [Link]
[12] I. Hegedu˝s, M. Jelasity, L. Kocsis y A. A. Benczu'r, "Fully distributed
robust singular value decomposition", en 14-th IEEE International
Con- ference on Peer-to-Peer Computing, 2014, pp. 1-9.
[13] M. A. Iwen y B. Ong, "A distributed and incremental svd algorithm for
agglomerative data analysis on large networks," SIAM Journal on
Matrix Analysis and Applications, vol. 37, no. 4, pp. 1699-1718, 2016.
[14] H. Mehta, S. Rendle, W. Krichene y L. Zhang, "Alx: factorización de
matrices a gran escala en tpus", 2021. [En línea]. Disponible:
[Link]
[15] A. Krizhevsky, G. Hinton et al., "Learning multiple layers of features [19] M. Li, W. Bi, J. T. Kwok, y B.-L. Lu, "Large-scale nystro¨m kernel
from tiny images", 2009. matrix approximation using randomized svd," IEEE Transactions on
[16] M. Hopkins, E. Reeber, G. Forman y J. Suermondt, "Spambase", UCI Neural Networks and Learning Systems, vol. 26, no. 1, pp. 152-164,
Machine Learning Repository, 1999. 2015.
[17] D. Dua y C. Graff, "Repositorio de aprendizaje automático de la UCI", [20] S. Kumar, M. Mohri y A. Talwalkar, "Sampling techniques for the
2017. [En línea]. Disponible: [Link] nystrom method", en Artificial intelligence and statistics. PMLR, 2009,
[18] M. Holmes, A. Gray y C. Isbell, "Fast svd for large-scale matrices", 01 pp. 304-311.
2007.