Corrección de errores a través de la

programación lineal
Emmanuel Candes
Matemáticas Aplicadas y
Computacionales, Caltech,
Pasadena, CA 91125, Estados
Unidos
emmanuel@acm.caltech.edu
Marcos Rudelson Terence Tao
Departamento de Matemáticas de Departamento de
la Universidad de Missouri, Matemáticas
Columbia, MO 65203, Estados Universidad de California,
Unidos Los Ángeles, CA 90095,
rudelson@math.missouri.edu Estados Unidos
Versinina romana tao@math.ucla.edu
Departamento de Matemáticas
Universidad de California,
Davis, CA 9595616, Estados
Unidos
vershynin@math.ucdavis.edu

Abstracto En el caso de que la matriz de medida A sea gaussiana,

Supongamos que deseamos transmitir un vector f ∈ Rn
de forma fiable. Un enfoque frecuentemente discutido
consiste en codificar f con una matriz de codificación m
por n A. Supongamos ahora que una fracción de las
entradas de Af están corrompidas de una manera
completamente arbitraria por un error e. No sabemos qué
entradas se ven afectadas ni sabemos cómo se ven
afectadas. ¿Es posible recuperar f exactamente delvector
m-dimensional dañado?
Este documento demuestra que en condiciones
adecuadas en la matriz de codificación A,la entrada f es la
solución única para el
1-problema de minimización (
el problema es equivalente al de contar facetas de baja
dimensión de un politopo convexo, y en particular de una
sección aleatoria del cubo unitario. En este caso podemos
fortalecer un poco los resultados mediante el uso de un
enfoque de análisis funcional geométrico.
Palabras clave. Códigos lineales, decodificación de
códigos lineales (aleatorios), soluciones dispersas a
sistemas subdeterminados, minimización 1,programación
lineal, ortonormalidad restringida, matrices aleatorias
gaussianas.
1 Introducción

1.1El problema de corrección de errores

siempre que la fracción de entradas dañadas no sea
demasiado grande, es decir, no exceda de alguna constante
estrictamente positiva ρ∗ (se dan realmente valores
numéricos para ρ∗ ). En otras palabras, f se puede
recuperar exactamente resolviendo un simple problema de
optimización convexa; de hecho, un programa lineal.
Informamos sobre experimentos numéricos que sugieren
que la minimización de 1es increíblemente efectiva; f se
recupera exactamente incluso en situaciones en las que una
fracción muy significativa de la producción está dañada.
Este artículo considera el problema del modelo de
recuperación de un vector de entrada f ∈ Rn a partir de
mediciones dañadas
. Aquí, A es una matriz m por n (asumiremos
a lo largo del documento que m > n),y e ∈ Rm es un vector
desconocido de errores. Asumiremos que a lo sumo las
entradas r están dañadas, por lo que a lo sumo las entradas
r de e son distintas de cero, pero aparte de esta restricción
e será arbitraria. El problema que consideramos es si es
posible recuperar f exactamente de los datos y. Y si es así,
¿cómo?

Actas del 46º Simposio Anual IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05
$20.00 © 2005 IEEE
 En su forma abstracta, nuestro problema es, por ejemplo, campo finito) de este problema, para obtener un
supuesto, equivalente al problema clásico de corrección de algoritmo de recuperación de tiempo polinómico es más
errores que surge en la teoría de la codificación, ya que razonable esperar como condición necesaria el límite de
podemos pensar en A como un código lineal;un código Gilbert-Varshamov
lineal es una colección dada de palabras clave que son
vectores a1,...,an ∈ Rm—las columnas de la matriz A. n/m ≥ 1 − H(Cr/n) (1.1)
Dado un vector f ∈ Rn (el "texto plano") podemos generar
un vector Af en Rm (el "texto cifrado"); si A tiene rango
que es fundamental en la teoría de la codificación (véase
completo, entonces se puede recuperar claramente el texto
[34]); aquí H(x) es la función de entropía, y C, c, c1,etc. se
plano f del texto cifrado Af. Pero ahora suponemos que el
utilizará para denotar varias constantes absolutas positivas.
texto cifrado Af está corrompido por un vector arbitrario e
Esta heurística se puede hacer rigurosa si se requiere una
∈ Rm con entradas a lo sumo r distintas de cero, de modo
cierta propiedad de estabilidad para el algoritmo de
que el texto cifrado corrompido es de la forma Af + e. La
recuperación; véase la sección 6.
pregunta es entonces: dada la matriz codificante A y Af
En su lugar, se puede considerar un enfoque cuadr
+e,¿se puede recuperar f exactamente?
cuadrado medio, basado en el problema de minimización.
Digamos que el código lineal A es un (m,n,r)-código de
corrección de errores si se puede recuperar f de Af + e
siempre que e tenga como máximo r coeficientes distintos (P2) min
de cero. Como es bien sabido, si el número r de entradas
dañadas es demasiado grande, entonces, por supuesto, no o equivalentemente
tenemos ninguna esperanza de tener un código de
corrección de errores (m,n,r). Por ejemplo, si n + 2r > m ) min
entonces el álgebra lineal elemental muestra que existen
textos sin formato pero el minimizador f (resp. y) puede estar arbitrariamente
y errores con a lo sumo r coeficientes distintos lejos del texto plano f (resp. y) ya que no tenemos control
de cero cadauno tal que , y por lo tanto no se puede de tamaño sobre el error e.
distinguir f de f en este caso. En
particular, si la fracción de entradas dañadas excede 1.2Solución a través de 1-minimización
1/2, entonces un código de corrección de errores (m, n,
r)es imposible independientemente de cuán grande uno Para recuperar f con precisión de los datos dañados
haga m con respecto a n. e, consideramos resolver el siguiente problema
Esta situación plantea una pregunta importante: ¿para de minimización 1(o Basis Pursuit)
qué fracción ρ de las entradas dañadas es posible la
decodificación precisa con algoritmos prácticos? Es decir, (P1) mín. (1,2)
¿con algoritmos cuya complejidad es a lo sumo polinómica
en la longitud m de las palabras clave? o equivalentemente
Estableciendo y := Af, ydejando que Y ⊂ Rm sea la
imagen de A,podemos reformular el problema más
geométricamente de la siguiente manera: cómo reconstruir Por lo tanto, el minimizador es la proyección
un vector y en un subespacio n-dimensional Y de Rm de métrica de y sobre el espacio vectorial Y con respecto a la
un vector que difiere de y en a lo sumo r norma 1. Este es un programa convexo que puede ser
¿Coordenadas? reformulado clásicamente como un programa lineal. De
hecho, el problema de la minimización 1 (P1) es equivalente
Si la matriz A es elegida al azar, por ejemplo por el
a
conjunto gaussiano, entonces es fácil demostrar que con
probabilidad uno que todos los textos llanos pueden
distinguirse en un sentido teórico de la información tan
,
pronto como n + 2r ≤ m. Sin embargo, este resultado no
proporciona ningún algoritmo para recuperar el texto plano
̃
f del texto cifrado dañado Af +e, aparte de la búsqueda donde las variables de optimización son t ∈ Rm y f ∈ Rn
defuerza bruta, que tiene una complejidad exponencial en
(como es estándar, la desigualdad vectorial generalizada x
m. Basado en la analogía con análogos discretos (por
≤ y significa que xi ≤ yi para cada coordenada i). Por lo

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 tanto, (P1) es un LP con restricciones de desigualdad y
puede resolverse de manera eficiente utilizando algoritmos
de optimización estándar o especializados, ver [4], [5].
La principal afirmación de este artículo es que para las
matrices de codificación adecuadas A,la solución f a
nuestro programa lineal es realmente exacta; !
(Equivalentemente,
y Luego [11] define la constante de isometría restringida S δS
(MLS) (BP)
El potencial de Basis Pursuit para la reconstrucción
exacta se ilustra con las siguientes heurísticas,
esencialmente debido a [18]. El minimizador u to es el
punto de contacto donde la bola euclidiana más
pequeña centrada en y se encuentra con el subespacio Y.
Este punto de contacto es, en general, diferente de y. La
situación es mucho mejor en : típicamente la solución
coincide con y. El minimizador es el punto de
contacto donde el octaedro más pequeño centrado en y (la
bola con respecto a la norma 1)se encuentracon Y. Debido
a que el vector se encuentra en un subespacio de
coordenadas de baja dimensión, el octaedro tiene una cuña
en y. Por lo tanto, muchos subespacios Y a y perderán el
octaedro de radio (a diferencia de la bola euclidiana).
Esto obliga a la solución, que es el punto de
contacto del octaedro, a coincidir con y.
La idea de utilizar la norma 1en lugar de la norma 2para
una mejor recuperación de datos se haexplorado desde
mediados de los años setenta en diversas áreas aplicadas, en
particular la geofísica y la estadística (la historia temprana
se puede encontrar en [47]). Con el desarrollo posterior de
métodos de punto interior rápido en Programación Lineal,
(P1) se convirtió en un problema efectivamente
solucionable, y fue presentado más recientemente por
Donoho y sus colaboradores, desencadenando un trabajo
experimental y teórico masivo [5,7,8,10,14,15,17–
21,23,27,33,45–47].
Validaremos rigurosamente la heurística anterior de dos
maneras ligeramente diferentes. Primero presentamos un
enfoque determinista y axiomático, en el que asumimos una
cierta condición de isometría restringida sobre la matriz de
medición A,y deducimos que el minimizador es
exactamente igual a f. Luego presentamos un enfoque de
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
análisis funcional más geométrico, en el que A es una matriz
gaussiana aleatoria, y establecemos la afirmación como
consecuencia de hechos geométricos sobre las facetas de
secciones aleatorias del cubo unitario.
1.3 Matrices de isometría restringidas
Comenzamos introduciendo la condición de isometría
restringida. Considere una matriz fija p por m B y sea BT,
T ⊂ {1,...,m} sea la p × | T| submatriz obtenida extrayendo
las columnas de B correspondientes a los índices en T.
de B, que es la cantidad más pequeña tal que
(1.3)
para todos los subconjuntos T con | T| ≤ S y secuencias de
coeficientes
cj bis) j∈ T. Esta propiedad esencialmente requiere que cada
conjunto de columnas con cardinalidad menor que S se
comporte aproximadamente como un sistema ortonormal.
Volvamos a nuestro problema de corrección de errores,
y consideremos una matriz B cuyo núcleo es igual al rango
de A, por lo queen particular BA = 0 (B es cualquiera (m
− n)× matriz n cuyo núcleo es el rango de A en Rm).
Aplicar B en ambos lados de la ecuación ,y
obtener
(1.4)
ya que BA = 0. Por lo tanto, el problema de decodificación
se reduce al de recuperar el vector
de error e del vector conocido.
Una vez que se conoce
e, se conoce y, por lo tanto, también se conoce f ya que
tiene rango completo.
Para resolver el sistema indeterminado de ecuaciones
lineales
, buscamos entre todos los vectores ẽ ∈ Rm
obedeciendo para aquello con mínimo 1-norma
) min ,
(1.5)
Este programa convexo se ve fácilmente como
equivalente a , y puede ser refundido como un
LP.
Ahora indicamos el primer resultado principal de este
documento, que probamos en la Sección 2.
IEEE
 Teorema 1.1. Sea f ∈ Rn,sea A una matriz m × n, sea
e tenga como máximo r entradas distintas de cero, sea, y
sea B una matriz cuyo núcleo sea igual al
rango de A. Supongamos que también tenemos la
condición
δ3r + 3δ4r < 2, (1.6)
y que e ∈ Rm tengan como máximo r entradas distintas de
cero. Luego la solución a (resp. ) es único e
igual a e
(resp. f, y). En particular, A es un código de corrección
de errores (m,n,r), con (P1) como algoritmo de
recuperación exacto.
Este último teorema afirma, quizás, un resultado bastante
sorprendente. En efecto, dice que minimizar 1 recupera
todas las señales de entrada f ∈ Rn independientemente
de los patrones de corrupción, siempre que, por supuesto, el
soporte del vector de error no sea demasiado grande. En
particular, uno puede introducir errores de grandes tamaños
arbitrarios y aún así recuperar el vector de entrada f
exactamente, resolviendo un programa lineal conveniente;
en otras palabras, mientras la fracción de entradas corruptas
no sea demasiado grande, no hay nada que un adversario
malévolo pueda hacer para corromper Af como para
engañar a la simple estrategia de decodificación (1.2).
1.4 El conjunto gaussiano
Para que el Teorema 1.1 sea de interés real, se deben usar
matrices B con buenas constantes de isometría restringidas
δS;es decir, tales que la condición del Teorema 1.1 se
mantenga con grandes valores de S. Cómo diseñar tales
matrices es una cuestión delicada, y no conocemos ninguna
matriz que obedezca demostrablemente (1.6) para valores
interesantes de S. Sin embargo, si simplemente
muestreamos una matriz B con entradas i.i.d., obedecerá
(1.6) para valores grandes de S con probabilidad
abrumadora. Por ejemplo, mediante el uso de la
concentración de desigualdades de medida y la ley de
Marchenko-Pastur [39] como en [11, Teorema 1.6] (véase
también [22,35,44] para algunos resultados relevantes) se
puede establecer
Teorema 1.2. Supongamos que n < m,sea p := m−n, ysea
B una matriz p por m cuyas entradas son i.i.d. gaussianas
con media cero y varianza 1/p. Entonces la condición del
Teorema 1.1 se mantiene con probabilidad al menos 1 −
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
O(e−αm) para alguna constante fija α > 0, siempreque r ≤
ρ∗ m,donde ρ∗ depende sólo de la relación n/m. Para
valores grandes de n y m, se puededemostrar que ρ∗ ≥
1/3,000 para m = 2n,y ρ∗ ≥ 1/2,000 para m = 4n.
En particular, vemos que una matriz gaussiana n por m
será un código de corrección de errores (m,n,r)con
altaprobabilidad, siempre y cuando la fracción de entradas
dañadas sea menor que una constante ρ∗
dependiendo solo de n/m. Esto se debe a que el aniquilador
B de una matriz gaussiana aleatoria puede ser elegido para
ser otra matriz gaussiana aleatoria.
Declaraciones similares con diferentes constantes se
mantienen para otros tipos de conjuntos, por ejemplo, para
matrices binarias con entradas i.i.d. que toman valores
/
±1 √p con probabilidad 1/2. Es interesante que nuestros
métodos en realidad dan valores numéricos, en lugar del
tradicional "para alguna constante positiva ρ". Sin
embargo, los límites numéricos que derivamos en este
artículo son demasiado pesimistas. Estamos seguros de que
argumentos más finos y quizás nuevas ideas permitirán
derivar versiones del Teorema 1.2 con mejores límites. Los
experimentos numéricos en realidad sugieren que el umbral
es de hecho mucho más alto, ver Sección 5.
Volviendo al caso gaussiano, resulta que cuando r es
algo pequeño entonces podemos acercarnos al límite teórico
n + 2r ≤ m. Más precisamente, en la Sección 3
demostraremos
Teorema 1.3. Sea m, n y r < cm enteros positivos tales
que
m = n + R, donde R ≥ Crlog(m/r). (1.7)
Sea G una m m × n matrices cuyas entradas sean
independientes N(0,1) variables aleatorias normales.
Entonces, con probabilidad al menos 1−e−cR, lamatriz G
es un código de corrección de errores (m,n,r) con algoritmo
de recuperación exacta.
La assymption (1.7) cumple, hasta una constante, con el
límite de Gilbert-Varshamov (1.1), y puede reformularse en
términos de la tasa de corrupción ρ = r/m como m ≥ (1 +
Cρlog 1
ρ )n. El teorema 1.3 afirma entonces que m × n
matrices gaussianas será un código de corrección de errores
(m,n,r)con alta probabilidad una vez que se alcance
estacondición.
IEEE
 En el procesamiento de señales, los códigos lineales se en la intersección entre {h : Bh = 0} y el conjunto de h
conocen como códigos de transformación. El paradigma obedeciendo
general sobre los códigos de transformación es que las
(2.1).
redundancias en los coeficientes de y que provienen del
Comenzamos dividiendo en subconjuntos de tamaño
exceso de la dimensión m > n deben garantizar una
estabilidad de la señal con respecto al ruido, cuantización, M (elegiremos M más adelante) y enumeramos como
borrados, etc. Esto es confirmado por un extenso trabajo n1,n2,...,nm−| T0|
experimental y algunos teóricos, véase, por ejemplo, en orden decreciente de magnitud de
[3,6,13,29–32,36] y la bibliografía contenida en el mismo.
Por lo tanto, el teorema 1.3 establece que la mayoría de los
1) . Es decir, T1 contiene los índices de
códigos de transformación ortogonal son buenos códigos
los coeficientes M más grandes de hT0c, T2 contiene los
de corrección de errores.
índices de los siguientes coeficientes M más grandes, y así
sucesivamente.
Agradecimientos.
Con esta descomposición, la norma 2de h se concentra en
E.C. es parcialmente apoyado en parte por una T01 = T0 ∪ T1. De hecho, el
subvención de la Fundación Nacional de Ciencias DMS 01-
40698 (FRG) y por una beca Alfred P. Sloan. M. R. cuenta késimo mayor valor de hT0c
con el apoyo parcial de la subvención DMS de la NSF
0245380. T. T. cuenta con el apoyo de una subvención de obedece y, por lo tanto,
la Fundación Packard. R. V. es un Alfred P. Sloan Research
Fellow También fue parcialmente apoyado por la
subvención de la NSF DMS 0401032 y por la Beca Miller
de la Universidad de Missouri-Columbia. R. V. agradece a
la Universidad de Missouri por su hospitalidad durante este Además, la restricción de 1-cono da
período, cuando se inició parte de esta investigación. E.C. y
T. T. desean agradecer a Rafail Ostrovsky por señalar
y así
posibles conexiones entre su trabajo anterior y el problema
de corrección de errores. Partes de este documento son una
(2.2)
versión abreviada de [11] y [43].
.
Observe ahora que
2Demostración del teorema 1.1
La demostración del teorema hace uso de dos hechos
geométricos especiales sobre la solución.
Primero, que geométricamente dice que d
pertenece a un plano conocido de co-dimensión p donde
p. En segundo lugar, debido a que e es factible, debemos
tener . Descomponer d como, por
lo tanto Bh = 0. Como se observa en [19]
,
donde T0 es el soporte de e, y hT0(t)= h(t) para t ∈ T0 y
Conjunto ρM = | T0| /M. Como veremos más adelante,
cero en otros lugares (de manera similar para hT0c). Por lo
tanto, h obedece a la restricción del cono
, (2.3)
(2.1)
que expresa la idea geométrica de que h debe estar en el y dado que Bh = 0, esto da
cono de descendencia de la norma 1en e. La recuperación
exacta ocurre siempre que el vector nulo sea el único punto

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 Se deduce entonces de (2.2) que h = 0 siempre que la cubo por el subespacio Y ⊥ forma un politopo simétrico de
cantidadsea positiva. origen de dimensión R y con 2m de facetas.
Tomar Por lo tanto, nuestro problema puede ser enunciado
M = 3| T0| por ejemplo. Entonces esta cantidad es positiva si como un problema de contar facetas de menor dimensión de
politopos. Consideremos un politopo simétrico de origen R-
dimensional con facetas de 2 m. ¿Cuántas facetas
. Desde | T0| ≤ r, esto se deducede
dimensionales (R − r)puede tener?
Queda por discutir sobre (2.3). Observe que por 1
Claramente, no más de . ¿Existe un politopo con
construcción, la magnitud de cada coeficiente en Tj+1 es tantas facetas? Nuestra capacidad para construir tal politopo
menor que el promedio de las magnitudes en Tj: es equivalente a la existencia del código eficiente de
corrección de errores. De hecho, mirando la realización
canónica de tal politopo como una sección del cubo unitario
por un
Entonces
subespacio Y ⊥ , vemos que Y ⊥ intersecta todas las
y (2.3) se desprende de facetas dimensionales (m − r)delcubo. Así Y satisface la
conclusión del Teorema 1.3. Por lo tanto, podemos ensa
decir el Teorema 1.3 en la siguiente forma:

. Teorema 3.1. Existe un politopo simétrico R-dimensional

con m facetas y con el número máximo de (R − r)facetas
3Demostración del teorema 1.3 -dimensionales (que es ), siempre que R ≥
Crlog(m/r). Una sección aleatoria del cubo forma tal
3.1 Facetas de baja dimensión de los politopos. politopo con probabilidad 1 − e−cR.

El teorema 1.3 resulta ser equivalente a un problema de

contar facetas de menor dimensión de politopos. 3.2 Notación.
Denotemos la bola unitaria con respecto a la norma 1;a
veces se le llama octaedro unitario. El cuerpo polar es la La p-norma (1 ≤ p < ∞)en Rm está definida por
unidad cúbica Bm := [−1,1]m. Tenga en cuenta que el rango , y para p = ∞ es . La bola
de la matriz unitaria con respecto a la p-norma en Rn se denota por
∞ Bpm. Cuando la p-norma se considera en un subespacio de
G es un subespacio n- coordenadas RI, I ⊂ {1,...,m},la bola unitaria
dimensionaldistribuidouniformemente sobre el correspondiente se denota por . La unidad esfera
Grassmanniano. Por lo tanto, la conclusión del Teorema 1.3 euclidiana en un subespacio E se denota por S(E). La
puede reformularse de la siguiente manera. Sea y ∈ Y un medida de Lebesgue invariante rotacional normalizada en
vector desconocido, y se nos da un vector que difiere S(E) se denota por σE. La proyección ortogonal en un
de y en el máximo de las coordenadas r. subespacio E se denota por PE. La medida gaussiana
Entonces y se puede reconstruir exactamente a partir de y estándar en E (con la matriz de covarianza de identidad)
como la solución al problema de minimización se denota por γH. Cuando E = Rd,escribimos σd−1 para
. Esto significa que el subespacio afín z + Y es tangente σE y γd para γE.
a la unidad octaedro en el punto z,donde . Esto
debería suceder para todo z de los subespacios de
3.3 Dualidad.
coordenadas RI con | Yo| = r. Por la dualidad, esto significa
que el subespacio Y ⊥ intersecta todas las facetas La demostración del teorema 1.3 comienza con un
dimensionales (m − r)del cubounitario. La sección del argumento de dualidad típico, lo que lleva a la misma
reformulación del problema que en [10]. La conclusión del

1 Cualquier faceta de este tipo es la intersección de algunos r facetas

del politopo de dimensión completa R−1; hay m facetas para elegir, cada
una con su opuesto por la simetría.

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 teorema 1.3 es en realidad equivalente al hecho de que Y Podemos realizar el subespacio afín aleatorio E ∩
forma un espacio tangente a la unidad octaedro en todos los aff(F) (o más bien un subespacio aleatorio con la misma
puntos cuyo tamaño de soporte es r (ver la imagen en p.2):
ley) mediante el siguiente algoritmo:

(z + Y ) ∩ interior para todos. 1. Seleccione una variable aleatoria D con la misma ley
que dist(θ,E ∩ aff(F)).
Por el teorema de Hahn-Banach, esta separación es 2. Seleccione un subespacio aleatorioL0
equivalente a la siguiente (denotando E = Y ⊥ ): en el
Unsubespacio aleatorio R-dimensional E en Rm Grassmanian Gm−r,l. Se dará cuenta de la "dirección"
intersecta todas las facetas (m − r)-dimensionales del de E ∩ aff(F) en aff(F).
−cR
cubo unitario con probabilidad de al menos 1 − e .
3. Seleccione un punto aleatorio z en la esfera euclidiana
Bastará con demostrar que E intersecta una faceta fija D · de radio D, según la distribución uniforme
con la probabilidad 1 − e−cR. De hecho, dado que el en la esfera. Aquí está el complemento ortogonal
número total de facetas es , la probabilidad de de L0 en Rm−r. El vector z realizará la distancia desde
el subespacio afín E ∩ aff(F) hasta el centro θ de F.
que E pierda alguna faceta sería como máximo Ne−cR ≤
e−c1R con una elección apropiada de la constante absoluta 4. Conjunto L = θ + z + L0. Así, el subespacio afín
aleatorio L tiene la misma ley que E ∩ aff(F).
en (1.7). 3.4 Realización de un subespacio aleatorio.

Debemos demostrar que unsubespacio aleatorio R-

dimensional E intersecta una faceta fija (m−r)-
dimensional del cubo unitario con alta probabilidad.
Sin pérdida de generalidad, podemos asumir que nuestra
faceta es

F = {(en1,...,wm−r,1,...,1), todos los | enj| ≤ 1},

Por lo tanto
cuyo centro es θ = (0,...,0,1,...,1) (con m−r ceros). Nos
interesa es

. es un subespacio aleatorio en Gm−r,m−r−l =

Restringiremos nuestra atención al tramo lineal de F, Gm−r,m−R. Por la invariancia rotacional de z ∈ D · S(H),

lin(F):={(w1,...,wm−r,t,...,t): t,w1,...,wm−r ∈ R}, e incluso a él

es el vano afín aff( F):={(w1,...,w m−r,1,...,1) : w1,...,wm−r

donde ν es la medida de Haar normalizada en Gm−r,m−R y
∈ R}. μ es la ley de D. Vamos a encuadernado P en dos pasos:

1. Demostrar que la distancia D es pequeña con alta

Sólo el subespacio afín aleatorio E ∩aff(F) nos importa, probabilidad;
porque 2. Demuestre que un múltiplo adecuado de la proyección
aleatoria tiene una medida gaussiana casi
. completa (por lo tanto, también esférica).
La dimensión de ese subespacio afín es casi seguramente

l := dim(E ∩ aff(F)) = R − r.

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 3.5 La distancia D desde el centro de la faceta a un
subespacio aleatorio
Primero relacionaremos D, la distancia al subespacio
afín E∩aff(F), a la distancia alsubespacio lineal E∩lin(F).
Equivalentemente, calculamos la longitud de la proyección
sobre E ∩ lin(F).
Lema 3.2.
.
Prueba. Sea f el múltiplo del vector PE∩lin(F)θ tal que f −
θ es ortogonal a θ. Tal múltiplo existe y es único, ya que
este es un problema bidimensional.
! 3.6 Medida gaussiana de proyecciones aleatorias del
E lin(F)
0 !
Entonces f ∈ E ∩ aff(F). Tenga en cuenta que
. Por la similitud de los triángulos con los vértices
(0,θ,PE∩lin(F)θ) y (0,f,θ),concluimos que
porque . Esto completa la prueba.
La longitud de la proyección de un vector fijo en un
subespacio aleatorio en el Lema 3.2 es bien conocida. La
estimación asintóticamente aguda fue calculada por S.
Artstein [1], pero estaremos satisfechos con una estimación
elemental mucho más débil, véase, por ejemplo, [40,
Teorema 15.2.2].
Lema 3.3. Sea θ ∈ Rd−1 y sea G un subespacio aleatorio
en Gd,k. Entonces
Aplicamos este lema para G = E ∩ lin(F),que esun
subespacio aleatorio en el Grassmanian de (l+1)-
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
subespacios dimensionales de lin(F). Dado que dimlin(F)
= m − r + 1, tenemos
.
Junto con el lema 3.2 esto da
. (3.2)
Nóteseque √m − r es el radio de la bola euclidiana cir-≤
√ −
cumcrito en la faceta F. La afirmación D m r solo nos diría
que el subespacio aleatorio E intersecta la bola
circunscrita, aún no la faceta en sí. La relación r/l en (3.2)
se elegirá logarítmicamente pequeña, lo que obligará a E a
intersectar también la faceta F.
cubo
Por (3.1) y (3.2),
Podemos reemplazar la medida esférica σH por la medida
gaussiana γH a través de un lema simple:
Lema 3.4. Sea K un conjunto en forma de estrella en Rd.
Entonces
.
Prueba. Pasando a coordenadas polares, por la invariancia
rotacional de la medida gaussiana vemos que existe una
medida de probabilidad μ sobre R+ de modo que la medida
gaussiana de cada conjunto A se puede calcular como,
donde σt denota la medida de Lebesgue
normalizada sobre la esfera euclidiana de radio t en Rd.
Dado que K tiene forma de estrella, σt(K) es una función
no creciente de t. Por lo tanto
y
Las grandes desigualdades de desviación clásicas implican
IEEE
 √
√ Cd ( c d ·
C Db d . Uso del
(√ · 2) ≥√ 1· − e≥−d/2 ·√ −· El resultado óptimo en las proyecciones aleatorias del
cubo se debe a Garnaev y Gluskin [28].
c
argumento anterior para d K, concluimos que γd(cd Teorema 3.7 (Proyecciones euclidianas del cubo [28]).
Dejar
y γd(Cd K)
σd−1(K)(1 Entonces con probabilidad al menosH sea un subespacio

Usando el lema 3.4 en el espacio H de dimensión d =

aleatorio en G1n,n−−ek−,dondeck en el grassmaniano,k = αn
m− R,obtenemos

< n/2.tenemos

Al elegir la constante absoluta c en el supuesto r < cm

apropiadamente pequeño, podemos suponer que 2r < R
<m/2. Así Dónde

Ahora calculamos la medida gaussiana de proyecciones
aleatorias del cubo.
Proposición 3.5. Sea H un subespacio aleatorio en Gn,n−k,
k < n/2. Luego la desigualdad
Prueba de la Proposición 3.5. Deje g1,g2,... ser variables
aleatorias gaussianas estándar independientes. Entonces
para una constante absoluta positiva adecuada c y para cada
0 < ε < 1/2,

1 −ck Dado que para cada conjunto medible A y cada subespacio

se mantiene con probabilidad al menos −e en el H se tiene γH(PHA)≥ γ(A),concluimos que
Grassmanian.

La prueba de esta estimación se derivará de la

concentración de la medida gaussiana, combinada con la para 0 < ε < 1/2.
existencia de una gran bola euclidiana dentro de una Luego por lema 3.6,
proyección aleatoria del cubo.

Lema 3.6 (Concentración de la medida gaussiana). Sea ε >

0 y sea A ⊂ Rn un conjunto medible tal que γn(A)≥ e−ε2n. para 0 < ε < 1/2. El teorema 3.7 nos dice que para un
subespacio aleatorio, entonces la
Entonces
bola euclidiana es absorbida por la proyección del cubo en
(3.4):
.
Con la suposición más fuerte γ(A)≥ 1/2, este lema es la
desigualdad deconcentración clásica, ver [37] 1.1. El hecho .
de que la concentración se mantenga también para
Por lo tanto, para un subespacio aleatorio H y para ε como
conjuntos exponencialmente pequeños sigue formalmente
el anterior, tenemos
un argumento de extensión simple que fue notado por
primera vez por D. Amir y V. Milman en [2], véase [37]
Lema 1.1. ,

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 que completa la prueba.

Volviendo a (3.3), usaremos el lema 3.5 para un

subespacio aleatorio H en el Grassmanian Gm−r,m−R. Con-
clude que si

, (3,5)
entonces con probabilidad al menos 1 − e−cR en el Por el lema de Anderson (véase [38]), γF(Z + tPFxs)≤ γF(Z).
Grassmanian,
Así

.
Dado que, la elección de R en (1.7)
satisface la condición La prueba del lema se completa por inducción.
(3.5). Así (3.3) implica
La medida gaussiana de una proyección del cubo se
P ≥ 1 − 3y−cR. puede estimar de la siguiente manera.
Proposición 3.9. Sea H cualquier subespacio en Gn,n−k, k
Esto completa la prueba. < n/2. Entonces

3.7 Optimalidad . (3.7)

Prueba. Descomponer I en la unión disjunta de los
El término logarítmico en los teoremas 1.3 y 4.1 es conjuntos
necesario, al menos en el caso de rpequeño. De hecho,
J1,... Js+1, de modo que cada uno de losconjuntos J1,... Js
combinando la fórmula (3.1) y los lemas 3.2, 3.3, 3.4,
obtenemos contiene k+1 elementos y (k+1)s <n ≤ (k+1)(s+1). Sea 1
≤ j ≤ s. Sea Uj = H∩(PHei,i ∈ {1,... n}\Jj)⊥ ,donde e1,...
en es la base estándar de Rn. Entonces Uj es un subespacio
.
unidimensional de H. Poner
(3.6)
Para estimar la medida gaussiana necesitamos lo siguiente:
,
Lema 3.8. Deje x1,... xs ser vectores en Rs. Entonces
donde los signos εi ∈ {−1,1} se eligen para maximizar
. Sea E = span(x1,... xs−1). Desde
, [−xj,xj] , obtenemos
donde .
La suma en el lema se entiende como la suma de
Minkowski de conjuntos de vectores, A + B = { a + b | a ,
∈ A, b ∈ B}. donde la suma se entiende en el sentido de la suma de
Minkowski. Desde y por
⊥ Lema
Prueba. Sea F = span(x1,... xs−1) y sea V = F . Sea v ∈
3.8,
V un vector unitario. Establecer .
Entonces

IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005 IEEE
 para alguna constante elegida apropiadamente
Finalmente, la logconcavidad de la medida gaussiana
implica que para cualquier cuerpo simétrico convexo K ⊂
H γH(K) ≤ γE(K ∩ E).
P 1 −const
Combinando (3.6) y (3.7) obtenemos ≤ 2e−cR,siempre
que R ≤ clog(m/r).
4 Reconstrucción de señales a partir de
mediciones lineales.
La idea heurística que guía la Teoría del Aprendizaje
Estadístico es que una función f de una clase pequeña debe
ser determinada por pocas mediciones lineales. Las
medidas lineales generalmente están dadas por algunos
funcionales lineales Xk en el espacio dual, que son fijos (en
particular son independientes de f). Las mediciones más
comunes son funcionales de evaluación de puntos; el
problema es interpolar f entre valores conocidos
manteniendo f en la clase conocida (pequeña). Cuando los
puntos de evaluación se eligen al azar, esto se convierte en
el problema de "aprendizaje adecuado" de la Teoría del
Aprendizaje Estadístico (ver [41]).
Sin embargo, nos interesarán las mediciones lineales
generales. La propuesta de aprender f de las mediciones
lineales generales ('detección')seha originado recientemente
a partir de una crítica a la metodología actual de compresión
de señales. La mayoría de las señales de la vida real parecen
pertenecer a clases pequeñas, ya que llevan gran parte de la
información no deseada que puede descartarse. Donoho
[16] luego cuestiona el esquema convencional de
procesamiento de señales, donde la señal completa debe ser
adquirida primero y solo luego comprimida. En cambio, ¿se
puede adquirir directamente ('sentido') la parte esencial de
la señal, a través de pocas mediciones lineales? Cuestiones
similares se plantean en [10]. Operaremos bajo el supuesto
de que alguna tecnología nos permite tomar medidas
lineales en ciertas 'direcciones' fijas Xk.
Asumiremos que nuestra señal f es discreta, por lo que
la vemos como un vector en Rm. Supongamos que podemos
tomar medidas lineales con algunos vectores fijos
X1,X2,...,XR en
Rm. La discusión en la introducción sugiere reconstruir f
como una solución al problema de minimización de Basis
Pursuit
sujeto a
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
c̄. 4.1 Funciones con soporte pequeño
En la clase de funciones con un pequeño soporte, uno
puede esperar una reconstrucción exacta. En trabajos
anteriores [10], dos de los autores demostraron que toda
función fija f con soporte |suminiof| ≤ r puede ser
recuperada por (BP), correctamente con la probabilidad
polinómica −m , dela R = Crlogm Medidas
gaussianas. Sin embargo, la probabilidad polinómica
claramente no es suficiente para deducir que hay un
conjunto de vectores Xk que se puede utilizar para
reconstruir todas las funciones f de soporte pequeño. La
siguiente forma equivalente del teorema 1.3 produce una
reconstrucción exacta uniforme. Nos proporciona un
conjunto de mediciones lineales a partir de las cuales
podemos reconstruir eficazmente cada señal de soporte
pequeño.
Teorema 4.1 (Reconstrucción exacta uniforme). Sea m, r <
cm y R enteros positivos que satisfagan R ≥ Crlog(m/r).
Los vectores gaussianos estándar independientes Xk en Rm
satisfacen lo siguiente con probabilidad al menos 1−e−cR.
Sea f ∈ Rm una función desconocida de soporte pequeño,
|suminisupf| ≤ r, y senos dan medidas R . Entonces
f se puede reconstruir exactamente a partir de estas
mediciones como una solución al problema de búsqueda de
base (BP).
Este teorema da uniformidad en [10], mejora la
probabilidad polinómica a una probabilidad exponencial y
mejora el número R de mediciones (que era R ≥ Crlogm
en [10]). Donoho [16] demostró una forma más débil del
teorema 4.1 con R/r acotado por debajo por alguna función
de m/r.
Prueba. Escriba g = f − u para algunos u ∈ Rm. Entonces
(BP) se lee como
sujeto a
Las restricciones aquí definen unsubespacio dimensional
aleatorio (n = m − R) Y de Rm. Ahora aplique el Teorema
1.3 con . Establece que la solución única
al problema de minimización anterior es u = 0. Por lo tanto,
la solución única para (BP .
IEEE
 4.2 Funciones compresibles
En una clase más grande de funciones compresibles [16],
solo podemos esperar una reconstrucción aproximada. Esta
es una clase de funciones f que son bien compresibles por
una transformada ortogonal conocida, como Fourier o
wavelet. Esto significa que los coeficientes de f con
respecto a una cierta base ortogonal conocida tienen una
desintegración de potencia:
f∗ (s)≤ s−1/p, s = 1,...,m
donde f∗ denota un reordenamiento no creciente de f.
Muchas señales naturales son compresibles durante unos 0
< p < 1, como señales suaves y señales con variaciones
acotadas (ver [10]), el teorema 4.1 implica, por el
argumento de [10], que las funciones compresibles en
alguna base pueden ser aproxi-
reconstruido a partir de pocas mediciones lineales fijas. Esta
es una mejora de un resultado de Donoho [16].
Corolario 4.2 (Reconstrucción aproximada uniforme). Sean
m y r enteros positivos. Los vectores gaussianos estándar
independientes Xk en Rm satisfacen lo siguiente con
probabilidad al menos 1 − e−cR. Supongamos que una
función desconocida f ∈ Rm satisface (4.1) para unos 0
<p< 1 o
. Supongamos que se nos dan medidas
R. Entonces f se puede reconstruir
aproximadamente a partir de estas mediciones: una
solución única g al problema de búsqueda de base (PA)
satisface
donde Cp depende de p solamente.
El corolario 4.2 fue probado por Donoho [16] bajo una
suposición adicional de que m ∼ CRα durante algún α >
1. Observe que en este caso log(m/R) ∼ logm. Ahora se
elimina esta suposición. En [10] el corolario 4.2 se demostró
sin la uniformidad en f debido a una probabilidad más débil
(polinómica). Finalmente, el Corolario 4.2 también mejora
el error de aproximación.
(ahora existe la relación m/r en lugar de m en el logaritmo).
2 Los resultados presentados aquí no parecen depender de la
distribución real utilizada para muestrear los errores.
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
5 Experimentos numéricos
En esta sección, investigamos empíricamente el
rendimiento de nuestra estrategia de decodificación. De
especial interés es la ubicación del punto de interrupción
más allá del cual 1 no se decodifica con precisión. Para
estudiar este tema, realizamos una primera serie de
experimentos de la siguiente manera:
1. seleccionar n (el tamaño de la señal de entrada) y m
(4.1) para que con las mismas notaciones que antes, A sea
una matriz m por n; muestree A con entradas
gaussianas independientes y seleccione el texto plano
f al azar;
2. seleccione S como porcentaje de m;
3. Seleccione un conjunto de soporte T de tamaño | T| =
S uniformemente al azar, y muestrear un vector e en
T con entradas gaussianas independientes e
idénticamente distribuidas, y con desviación estándar
sobre la de las coordenadas de la salida (Af) (los
errores son entonces bastante grandes en comparación
con las coordenadas "limpias" de Af)2;
4. hacer ỹ = Af + e,resolver (P1) y obtener f;comparar
;
5. repetir 100 veces para cada S, y para varios
tamañosde n y m.
Los resultados se presentan en la Figura 1. En estos
experimentos, elegimos n = 128, y establecemos m = 2n
(Figura 1(a)) o m = 4n (Figura 1(b)). Nuestros
experimentos muestran que el programa lineal recupera el
vector de entrada todo el tiempo siempre y cuando la
fracción de las entradas dañadas sea menor o igual al 15%
en el caso donde m = 2n y menor o igual al 35% en el
caso donde m = 4n. Repetimos estos experimentos para
diferentes valores de n, por ejemplo, n = 256 y obtuvimos
curvas de recuperación muy similares.
IEEE
 Figura 1. 1-recuperación de una señal de entrada de
con A una matriz m m por n con
entradas gaussianas independientes. En estos
experimentos, establecemos n = 128. (Arriba) Tasa
de éxito de (P1) para m = 2n. (Abajo) Tasa de éxito
de (P1) para m = 4n. Además, la recuperación
exacta se produce siempre que la tasa de
corrupción no supere el 15%. El desglose inferior
está cerca del 35%.
Está claro que existen versiones del Teorema 1.2 para
otro tipo de matrices aleatorias, por ejemplo, matrices
binarias. En el siguiente experimento, tomamos el texto
plano f como una secuencia binaria de ceros y unos (que se
genera al azar), y la muestra A con entradas i.i.d que toman
valores en {±1},cada una con probabilidad 1/2. Para
recuperar f,resolvemos el programa lineal
sujeto a 0 ≤ g ≤ 1, (5.1)
y redondear las coordenadas de la solución al entero más
cercano. Seguimos el mismo procedimiento que antes,
excepto que ahora, seleccionamos las ubicaciones S de Af
al azar (la tasa de corrupción es nuevamente S /
m)yvolteamos el signo de las coordenadas seleccionadas.
De nuevo nos interesa la ubicación del punto de ruptura.
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
Figura 2. 1-recuperación de una secuencia binaria
a partir de datos dañados una m m por n
matriz con entradas binarias independientes y el
vector de errores se obtiene seleccionando
aleatoriamente las coordenadas de Af y volteando
su signo. En estos experimentos, establecemos n =
128. (Arriba) Tasa de éxito para m = 2n. (Abajo)
Tasa de éxito para m = 4n. Además, la
recuperación exacta se produce siempre que la tasa
de corrupción no supere el 22,5%. El desglose
inferior está cerca del 35%.
Los resultados se presentan en la Figura 2. En estos
experimentos, elegimos n = 128 como antes, y
establecemos m = 2n (Figura 2(a)) o m = 4n (Figura 2(b)).
Nuestros experimentos muestran que el programa lineal
recupera el vector de entrada todo el tiempo siempre que la
fracción de las entradas dañadas sea menor o igual al 22,5%
en el caso donde m = 2n y menor que aproximadamente
el 35% en el caso donde m = 4n. Repetimos estos
experimentos para diferentes valores de n, por ejemplo, n
= 256 y obtuvimos curvas de recuperación similares.
En conclusión, nuestra estrategia de corrección de
errores parece gozar de una amplia gama de efectividad.
IEEE
 6 Discusión
Un primer impulso para encontrar la solución más escasa
a un sistema subdeterminado de ecuaciones lineales podría
ser resolver el problema combinatorio.
sujeto a Bd = Be.
Hasta donde sabemos, resolver este problema
esencialmente requiere búsquedas exhaustivas en todos los
subconjuntos de columnas de B y es NP-hard [42].
Nuestros resultados, sin embargo, establecen una
equivalencia formal entre y siempre que el vector
desconocido e sea suficientemente escaso. En esta
dirección, nos gustaría mencionar una serie de artículos
[17,19,33,46] que muestran la equivalencia exacta entre los
dos programas y para matrices especiales
obtenidas por concatenación de dos bases ortonormales. En
este litro-
ature, la equivalencia se mantiene si e tiene menos de ρ ·
√m entradas; comparar con el teorema 1.2 que tolera una
fracción de entradas distintas de cero proporcional a m.
Para las matrices aleatorias gaussianas, sin embargo,
[14] demostró que la equivalencia se mantiene cuando el
número de entradas distintas de cero puede ser tan grande
como ρ · m, donde ρ > 0 es una constante positiva muy
pequeña y no especificada independiente de m. Este
hallazgo es, por supuesto, similar al nuestro, pero las ideas
de este documento van mucho más allá. En primer lugar, el
artículo establece resultados deterministas que muestran
que la decodificación exacta se produce siempre que la
matriz codificante A obedezca a las condiciones del
teorema 1.1. Es de interés porque nuestro propio trabajo
[8,10] muestra que la condición del Teorema 1.1 con
grandes valores de r para muchos otros tipos de matrices, y
especialmente matrices obtenidas por muestreo de filas o
columnas de matrices de Fourier más grandes. Estas
alternativas podrían ser de gran interés práctico porque
vendrían con algoritmos rápidos para aplicar A o A∗ a un
vector arbitrario g y, por lo tanto, acelerar los cálculos para
encontrar el minimizador 1. Y en segundo lugar, el documento,
por supuesto, vincula las soluciones a sistemas dispersos
subdeterminados a un problema de programación lineal
para la corrección de errores, que creemos que es nuevo.
Una característica natural de nuestro código de
corrección de errores es su robustez. El álgebra lineal
simple produce que la solución a es estable con
respecto a la 1-norma , de la misma manera que la solución
a es estable con respecto a la 2-norma, ver [10]. De
hecho, no es difícil demostrar que, una vez que el teorema
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
1.3 se mantiene, el vector desconocido y en el teorema 1.3
se puede recuperar aproximadamente de,
donde h ∈ Rm es cualquier vector de error adicional de 1-
norma pequeña (ver [10]). A saber, la solución u al
problema de Basis Pursuit
satisface .
Esto implica una posibilidad de cuantización de los
coeficientes en el proceso de codificación y produce
códigos robustos de corrección de errores sobre alfabetos
de tamaño polinómico, con un encuadernado tipo Gilbert-
Varshamov, y con codificadores de tiempo cuadráticos y
decodificadores de tiempo polinómicos. De hecho, ahora
podemos describir un código de corrección de errores
(m,n,r)bajo el supuesto de tipoGilbert-Varshamov (1.7),
con palabras de entrada x de longitud n sobre el alfabeto
{1,...,p} y las palabras codificadas y de longitud m sobre el
alfabeto {1,...,Cpn3/2}. El codificador toma x ∈
{1,...,p}n,calcula y = Qx donde Q es la proyección
ortogonal sobre Y = rango(A), y producela yˆ cuyos
coeficientes son los coeficientes cuantizados de y con paso
p m,p
. Entonces [− √ √m]m,
quemediante el reescalado se puede identificar con
{1,...,Cpn3/2},porque podemos suponer que m ≤ 2n.
El decodificador toma , encuentra el
minimizador u a
, invierte a y produce cuyos coeficientes
son los coeficientes cuantizados de x con paso 1.
De hecho, este es un código decorrección de errores
(m,n,r). Si y difiere de yˆ en coordenadas como máximo
r, esto y la condición implica por la
robustez que
0.
4
− 2 − 1 , por lo que el decodificador se recupera
correctamente.
La robustez también implica una "continuidad" de
nuestros códigos de corrección de errores. Si el número de
coordenadas dañadas en el mensaje recibido y es mayor que
r pero sigue siendo una pequeña fracción, entonces el
código decorrección de errores (m,n,r)anterior aún puede
recuperar y hasta una pequeña fracción de las coordenadas.
Véase [9] para un análisis más a fondo de la estabilidad de
los métodos de búsqueda de bases.
En nuestro modelo de programación lineal, el texto plano
y el texto cifrado tenían componentes de valor real. Otro
modelo intensamente estudiado ocurre cuando el texto
plano y el texto cifrado toman valores en el campo finito F2
IEEE
 := {0,1}, y latransformación es lineal con respecto
a F2 en lugar de R (nótese que estas no son lo mismo que
las transformaciones lineales cuantizadas discutidas
anteriormente). En trabajos recientes de Feldman et al. [24],
[25], [26], se desarrollaron métodos de programación lineal
(basados en relajar el espacio de las palabras clave a un
politopo convexo) para establecer un decodificador de
tiempo polinómico que puede corregir una fracción
constante de errores, y también lograr la capacidad teórica
de información del código. Por lo tanto, hay algunos
paralelismos intrigantes entre esos trabajos y los resultados
de este documento, sin embargo, no parece haber una
superposición directa ya que nuestros métodos están
restringidos a textos de valor real, y el trabajo citado
anteriormente requiere textos en F2. Además, nuestro
análisis de errores es determinista (asumiendo la condición
de isometría) y, por lo tanto, se garantiza que corrija errores
arbitrarios siempre que sean lo suficientemente escasos.
Nos gustaría cerrar este artículo señalando que para las
matrices gaussianas, digamos, hay un punto crítico ρc
(dependiendo de n y m)tal que se produce
unadecodificación precisa para todos los textos planos y
patrones corruptos (en el sentido del Teorema 1.1) siempre
que la fracción de entradas corruptas no exceda ρc. Sería de
interés teórico identificar este umbral crítico, al menos en el
límite de m y ngrandes, con tal vez n/m convergiendo a
una relación fija. Desde un punto de vista diferente, esto se
pregunta hasta dónde se mantiene la equivalencia entre un
problema combinatorio y un problema convexo
relacionado. Planteamos esto como un desafío interesante.
Referencias
[1] S. Artstein, Fenómenos de concentración proporcional en la
esfera, Israel J. Math. 132 (2002), 337–358.
[2] D. Amir, V. D. Milman, Conjuntos incondicionales y
simétricos enespacios normados n-dimensionales, Israel J.
Math. 37 (1980), 3–20.
[3] B. Beferull-Lozano, A. Ortega, Cuantificación eficiente para
expansiones sobrecompletas en Rn, IEEE Trans. Teoría 49
(2003), 129–150.
[4] S. Boyd, y L. Vandenberghe, Convex
Optimization,Cambridge University Press, 2004.
[5] S. Chen, D. Donoho, M. Saunders, Atomic decomposition by
basis pursuit, SIAM J. Sci. Comput. 20 (1998), no. 1, 33-61;
reimpreso en: SIAM Rev. 43 (2001), no. 1, 129–159
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
[6] P. G. Casazza, J. Kovacevic, Marcos ajustados de igual
norma con borrados. Frames, Adv. Computación.
Matemática. 18 (2003), 387–430.
[7] E. J. Candes, J. Romberg, Quantitative Robust Uncertainty'
Principles and Optimally Sparse Decompositions, to appear
Foundations of Computational Mathematics,noviembre
de2004.
[8] E. J. Candes, J. Romberg y T. Tao, Robust uncertainty'
principles: exact signal reconstruction from highly
incomplete frequency information, to appear IEEE
Transactions on Information Theory, junio de2004.
Disponible en el servidor de preimpresión ArXiV:
math.NA/0409186.
[9] E. J. Candes, J. Romberg y T. Tao, Stable Signal Re-' covery
from Incomplete and Inaccurate Measurements, to appear
Comm. Pure Appl. Math. Disponible en el servidor de
preimpresión ArXiV: math.NA/0409186.
[10] E. J. Candes, y T. Tao, Near optimal signal recovery' from
random projections: universal encoding strategies?,
Presentado a IEEE Transactions on Information
Theory,octubre de2004. Disponible en el servidor de
preimpresión ArXiV: math.CA/0410542.
[11] E. J. Candes y T. Tao, Decoding by linear program-' ming,
presentado, diciembre de 2004. Disponible en el servidor de
preimpresión ArXiV: math.MG/0502327.
[12] S. S. Chen, D. L. Donoho y M. A. Saunders. Descomposición
atómica por búsqueda de bases, SIAM J. Scientific
Computing 20 (1999), 33–61.
[13] I.Daubechies, Ten lectures on wavelets,SIAM, Filadelfia,
1992.
[14] D. L. Donoho, For Most Large Underdetermined Systems of
Linear Equations the Minimal 1-norm Solution is also the
Sparsest Solution, Manuscrito, septiembre de 2004.
[15] D. Donoho, For Most Large Underdetermined Systems of
Linear Equations, the minimal l1-norm near-solution
approximates the sparsest near-solution, Manuscrito de
septiembre de 2004.
[16] D. Donoho, Compressed sensing, Manuscrito, septiembre de
2004.
[17] D. L. Donoho y M. Elad, Optimally sparse representation in
general (nonorthogonal) dictionaries via 1 minimization,
Proc. Natl. Acad. Sci. USA 100 (2003), 2197–2202.
[18] D. Donoho, M. Elad, V. Temlyakov, Stable Recovery of
Sparse Overcomplete Representations in the Presence of
Noise, preprint.
IEEE
 [19] D. L. Donoho y X. Huo, Principios de incertidumbre y
descomposición atómica ideal, IEEE Transactions on
Information Theory,47 (2001), 2845–2862.
[20] D. Donoho, Y. Tsaig, Extensiones de la detección
comprimida, preimpresión.
[21] D. Donoho, Y. Tsaig, Desglose de la equivalencia entre la
solución mínima l1-norma y la solución dispersa,
preimpresión.
[22] N. El Karoui. Nuevos resultados sobre matrices de
covarianza aleatoria y aplicaciones estadísticas. Stanford Ph.
. D. Tesis, agosto de 2004.
[23] M. Elad, A. Bruckstein, A generalized uncertainty principle
and sparse representation in pairs of bases, IEEE Trans.
Inform. Teoría 48 (2002), 2558–2567
[24] J. Feldman. Decodificación de códigos de corrección de
errores a través de la programación lineal. Tesis Doctoral
2003, Massachussets Institute of Technology.
[25] J. Feldman, LP decoding achieves capacity, 2005
ACMSIAM Symposium on Discrete Algorithms (SODA),
preprint (2005).
[26] J. Feldman, T. Malkin, C. Stein, R. A. Servedio, M. J.
Wainwright, LP Decoding Corrects a Constant Fraction of
Errors, Proc. IEEE International Symposium on Information
Theory (ISIT), junio de 2004.
[27] A. Feuer, A. Nemirovski, Sobre la representación dispersa
en pares de bases, IEEE Trans. Teoría 49 (2003), 1579-
1581.
[28] A. Yu. Garnaev, E. D. Gluskin, Los anchos de una bola
euclidiana (ruso), Dokl. Akad. Nauk SSSR 277 (1984), 1048-
1052. Traducción al inglés: Soviet Math. Dokl. 30 (1984),
200–204.
[29] V. K. Goyal, Theoretical Foundations of Transform Coding,
IEEE Signal Processing Magazine 18 (2001), no. 5, 9–21.
[30] V. K. Goyal, Multiple Description Coding: Compression
Meets the Network, IEEE Signal Processing Magazine 18
(2001), no. 5, 74–93.
[31] V. K. Goyal, J. Kovacevic y J. A. Kelner, Quantized Frame
Expansions with Erasures, Applied and Computational
Harmonic Analysis 10 (2001), 203–233.
[32] V. K. Goyal, M. Vetterli y N. T. Thao, Quantized
Overcomplete Expansions in RN: Analysis, Synthesis and
Algorithms, IEEE Trans. on Information Theory 44 (1998),
16–31.
[33] R. Gribonval y M. Nielsen. Escasas representaciones en
uniones de bases. IEEE Trans. Informar. Teoría 49 (2003),
3320–3325.
IEEE 2005 sobre Fundamentos de Ciencias de la Computación (FOCS'05) 0-7695-2468-0/05 $20.00 © 2005
[34] Manual de teoría de la codificación. Vol. I, II. Editado por
V. S. Pless, W.C. Huffman y R. A. Brualdi. Holanda
septentrional, Ámsterdam, 1998.
[35] I.M. Johnstone. Sobre la distribución del mayor valor propio
en el análisis de componentes principales, Ann. Statist. 29
(2001), 295–327.
[36] J. Kovacevic, P. Dragotti y V. Goyal, Filter Bank Frame
Expansions with Erasures, IEEE Trans. on Information
Theory,48 (2002), 1439–1450.
[37] M. Ledoux. El fenómeno de la concentración de la medida.
Mathematical Surveys and Monographs 89, American
Mathematical Society, Providence, RI, 2001.
[38] M. A. Lifshits, Funciones aleatorias
gaussianas,Matemáticas y sus aplicaciones, 322. Kluwer
Academic Publishers, Dordrecht, 1995.
[39] V. A. Marchenko y L. A. Pastur. Distribución de valores
propios en ciertos conjuntos de matrices aleatorias, Mat. Sb.
(N.S.) 72 (1967), 407–535 (en ruso).
[40] J. Matousek, Lectures on discrete geometry,Graduate Texts
in Mathematics, 212. Springer-Verlag, Nueva York, 2002.
[41] S. Mendelson, Geometric parameters in learning theory,
Geometric aspects of functional analysis, Lecture Notes
inMathematics, 1850, Springer, Berlín, 2004 193–235.
[42] B. K. Natarajan, Soluciones dispersas aproximadas a
sistemas lineales, SIAM J. Comput. 24 (1995), 227 a 234.
[43] M. Rudelson, R. Vershynin, Enfoque geométrico para la
corrección de errores de códigos y reconstrucción de señales,
presentado. Disponible en el servidor de preimpresión
ArXiV: math.FA/0502299.
[44] S. J. Szarek, Condition numbers of random matrices, J.
Complexity 7 (1991), 131–149.
[45] J. Tropp, Recuperación de combinaciones lineales cortas y
complejas a través de la minimización 1, para aparecer
IEEE Trans. Teoría.
[46] J. Tropp, Greed is good: Algorithmic results for sparse
approximation, IEEE Trans. Inform. Teoría, Vol. 50, Núm.
10, octubre de 2004, 2231-2242.
[47] J. Tropp, Just relax: Convex programming methods for
subset selection and sparse approximation, ICES Report 04-
04, UT-Austin, febrero de 2004.
IEEE