Mquinas de vectores de soporte

1
Mquinas de vectores de soporte
Las mquinas de soporte vectorial o mquinas de vectores de soporte (Support Vector Machines, SVMs) son
un conjunto de algoritmos de aprendizaje supervisado desarrollados por Vladimir Vapnik y su equipo en los
laboratorios AT&T.
Estos mtodos estn propiamente relacionados con problemas de clasificacin y regresin. Dado un conjunto de
ejemplos de entrenamiento (de muestras) podemos etiquetar las clases y entrenar una SVM para construir un modelo
que prediga la clase de una nueva muestra. Intuitivamente, una SVM es un modelo que representa a los puntos de
muestra en el espacio, separando las clases por un espacio lo ms amplio posible. Cuando las nuevas muestras se
ponen en correspondencia con dicho modelo, en funcin de su proximidad pueden ser clasificadas a una u otra clase.
Ms formalmente, una SVM construye un hiperplano o conjunto de hiperplanos en un espacio de dimensionalidad
muy alta (o incluso infinita) que puede ser utilizado en problemas de clasificacin o regresin. Una buena separacin
entre las clases permitir un clasificacin correcta.
Idea bsica
Dado un conjunto de puntos, subconjunto de un conjunto mayor (espacio), en el que cada uno de ellos pertenece a
una de dos posibles categoras, un algoritmo basado en SVM construye un modelo capaz de predecir si un punto
nuevo (cuya categora desconocemos) pertenece a una categora o a la otra.
Como en la mayora de los mtodos de clasificacin supervisada, los datos de entrada (los puntos) son vistos como
un vector p-dimensional (una lista de p nmeros).
La SVM busca un hiperplano que separe de forma ptima a los puntos de una clase de la de otra, que eventualmente
han podido ser previamente proyectados a un espacio de dimensionalidad superior.
En ese concepto de "separacin ptima" es donde reside la caracterstica fundamental de las SVM: este tipo de
algoritmos buscan el hiperplano que tenga la mxima distancia (margen) con los puntos que estn ms cerca de l
mismo. Por eso tambin a veces se les conoce a las SVM como clasificadores de margen mximo. De esta forma, los
puntos del vector que se etiquetados con una categora estarn a un lado del hiperplano y los casos que se encuentren
en la otra categora estarn al otro lado.
Los algoritmos SVM pertenecen a la familia de los clasificadores lineales. Tambin pueden ser considerados un caso
especial de la regularizacin de Tikhonov.
En la literatura de los SVMs, se llama atributo a la variable predictora y caracterstica a un atributo transformado
que es usado para definir el hiperplano. La eleccin de la representacin ms adecuada del universo estudiado, se
realiza mediante un proceso denominado seleccin de caractersticas.
Al vector formado por los puntos ms cercanos al hiperplano se le llama vector de soporte.
Los modelos basados en SVMs estn estrechamente relacionados con las redes neuronales. Usando una funcin
kernel, resultan un mtodo de entrenamiento alternativo para clasificadores polinomiales, funciones de base radial y
perceptrn multicapa.
Mquinas de vectores de soporte
2
Ejemplo en 2dimensiones
En el siguiente ejemplo idealizado para 2-dimensiones, la representacin de los datos a clasificar se realiza en el
plano x-y. El algoritmo SVM trata de encontrar un hiperplano 1-dimensional (en el ejemplo que nos ocupa es una
lnea) que une a las variables predictoras y constituye el lmite que define si un elemento de entrada pertenece a una
categora o a la otra.
Existe un nmero infinito de posibles hiperplanos (lneas) que realicen la clasificacin pero, cul es la mejor y
cmo la definimos?
La mejor solucin es aquella que permita un margen mximo entre los elementos de las dos categoras.
Se denominan vectores de soporte a los puntos que conforman las dos lneas paralelas al hiperplano, siendo la
distancia entre ellas (margen) la mayor posible.
Soft margin: Errores de entrenamiento
Idealmente, el modelo basado en SVM debera producir un hiperplano que separe completamente los datos del
universo estudiado en dos categoras. Sin embargo, una separacin perfecta no siempre es posible y, si lo es, el
resultado del modelo no puede ser generalizado para otros datos. Esto se conoce como sobreajuste (overfitting).
Con el fin de permitir cierta flexibilidad, los SVM manejan un parmetro C que controla la compensacin entre
errores de entrenamiento y los mrgenes rgidos, creando as un margen blando (soft margin) que permita algunos
errores en la clasificacin a la vez que los penaliza.
Funcin Kernel
La manera ms simple de realizar la separacin es mediante una lnea recta, un plano recto o un hiperplano
N-dimensional.
Desafortunadamente los universos a estudiar no se suelen presentar en casos idlicos de dos dimensiones como en el
ejemplo anterior, sino que un algoritmo SVM debe tratar con a) ms de dos variables predictoras, b) curvas no
lineales de separacin, c) casos donde los conjuntos de datos no pueden ser completamente separados, d)
clasificaciones en ms de dos categoras.
Debido a las limitaciones computacionales de las mquinas de aprendizaje lineal, stas no pueden ser utilizadas en la
mayora de las aplicaciones del mundo real. La representacin por medio de funciones Kernel ofrece una solucin a
este problema, proyectando la informacin a un espacio de caractersticas de mayor dimensin el cual aumenta la
capacidad computacional de la mquinas de aprendizaje lineal. Es decir, mapearemos el espacio de entradas X a un
nuevo espacio de caractersticas de mayor dimensionalidad (Hilbert):
F = {(x)|x X}
Mquinas de vectores de soporte
3
x = {x1, x2, , xn} (x) = {(x)1, (x)2, , (x)n}
Tipos de funciones Kernel (Ncleo)
Polinomial-homognea: K(x
i
, x
j
) = (x
i
x
j
)
n
Perceptron: K(x
i
, x
j
)= || x
i
-x
j
||
Funcin de base radial Gaussiana: separado por un hiperplano en el espacio transformado.
K(x
i
, x
j
)=exp(-(x
i
-x
j
)
2
/2(sigma)
2
)
Sigmoid: K(x
i
, x
j
)=tanh(x
i
x
j
)
Mquinas de vectores de soporte
4
SVR. Regresin
Una nueva versin de SVM para regresin fue propuesta en 1996 por Vladimir Vapnik, Harris Drucker, Chris
Burges, Linda Kaufman y Alex Smola.[nota].
La idea bsica de SVR consiste en realizar un mapeo de los datos de entrenamiento x X, a un espacio de mayor
dimensin F a travs de un mapeo no lineal : X F , donde podemos realizar una regresin lineal.
SVM Multiclase
Hay dos filosofas bsicas para resolver el problema de querer clasificar los datos en ms de dos categoras:
a) cada categora es dividida en otras y todas son combinadas.
b) se contruyen k(k-1) / 2 modelos donde k es el nmero de categoras.
Comparativa SVM vs ANN
La siguiente tabla muestra una comparativa entre las redes neuronales artificales y los algoritmos SVM.
Mquinas de vectores de soporte
5
Enlaces externos
(en ingls) [1], DTREG, Software For Predictive Modeling and Forecasting
(en ingls) [2], Electronic Statistics Textbook
(pdf) [3], curso sobre decisin, estamacin y clasificacin.
(en ingls) www.kernel-machines.org
[4]
, informacin general y material de investigacin.
(en ingls) www.support-vector.net
[5]
, novedades, enlace y cdigos relacionados con las mquinas de soporte
vectorial.
(en ingls) SVM light
[6]
, implementacin de SVM, con variantes para aprendizaje supervisado, y para
semisupervisado transductivo. Liberado para investigacin.
(en ingls) SVMlin
[7]
, otra implementacin de SVM. Liberado bajo licencia GPL.
Referencias
[1] http:/ / www. dtreg. com/ svm. htm
[2] http:/ / www. statsoft. com/ textbook/ support-vector-machines
[3] http:/ / www. gts.tsc. uvigo.es/ ~jalba/ doctorado/ SVM. pdf
[4] http:/ / www. kernel-machines.org
[5] http:/ / www. support-vector.net
[6] http:/ / svmlight. joachims.org/
[7] http:/ / people. cs. uchicago. edu/ ~vikass/ svmlin.html
Fuentes y contribuyentes del artculo
6
Fuentes y contribuyentes del artculo
Mquinas de vectores de soporte Fuente: http://es.wikipedia.org/w/index.php?oldid=41704475 Contribuyentes: AlfonsoERomero, Bogorchu, CommonsDelinker, Digigalos, Elisfm,
Gdiazvaldes, Gdiazvaldes2, Juangpc, Lebidario, Matdrodes, Pinar, Pintaio, Rosarinagazo, TXiKi, Tano4595, 6 ediciones annimas
Fuentes de imagen, Licencias y contribuyentes
Archivo:Svm 4.JPG Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Svm_4.JPG Licencia: Public Domain Contribuyentes: User:Elisfm
Archivo:Svm 8 polinomial.JPG Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Svm_8_polinomial.JPG Licencia: Public Domain Contribuyentes: User:Elisfm
Archivo:Svm 10 perceptron.JPG Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Svm_10_perceptron.JPG Licencia: Public Domain Contribuyentes: User:Elisfm
Archivo:Svm 9 gaussiano sigma.JPG Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Svm_9_gaussiano_sigma.JPG Licencia: Public Domain Contribuyentes: User:Elisfm
Archivo:Svm 11 comparativa.JPG Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Svm_11_comparativa.JPG Licencia: Public Domain Contribuyentes: User:Elisfm
Licencia
Creative Commons Attribution-Share Alike 3.0 Unported
http:/ / creativecommons. org/ licenses/ by-sa/ 3. 0/