MQUINAS DE SOPORTE VECTORIAL

Pontificia Universidad Javeriana

Reconocimiento de patrones
Francisco Carlos Caldern

Que son:

Son un conjunto de mtodos de aprendizaje supervisado para la clasificacin y regresin. Viendo los datos de entrada como conjuntos de vectores en un espacio n-dimensional, una SVM construir un hper plano de separacin en ese espacio, que maximiza el margen entre los conjuntos de datos. Se hicieron populares por su xito en reconocimiento de dgitos manuscritos

Idea:
Por ejemplo: Separar en este caso dos clases con una lnea recta

Idea:
Se puede as

Idea:
Se puede poner tambin as

Idea:
O as

Idea:
O as

Idea:

Idea:
La lnea que tenga un mayor margen ser la escogida para clasificar

Idea:
Los limites que toca este margen son llamados: VECTORES DE SOPORTE

Maquinas de soporte vectorial lineales

Caso separable
Dadas l observaciones cada una con un n datos: x i R , i=1, . .. , l un vector y {+1,1} una etiqueta
i

par de

Maquinas de soporte vectorial lineales

Supngase que se tiene un hiperplano que separa unas muestras (+1) de las otras (-1). Los puntos x en el hiperplano satisfacen wx+b=0.
w es es un vector normal al hper plano. b es la distancia perpendicular del hiperplano al origen. w

w es la norma euclidiana de w

Maquinas de soporte vectorial lineales

Suponiendo que el conjunto de datos satisface:

( wx i ) +b1 si y i =1
1b ( wx i ) +b=1 con una distancia al origen de w

( wx i ) +b1 si y i =1
1b ( wx i ) +b=1 con una distancia al origen de w
La combinacin de estas da: y i ( wx i +b ) 1 i

Maquinas de soporte vectorial lineales

Por lo que las distancias d+ y d estn dadas por:
(w + x) b = 1

(w

d+

x)

1 d +=d = w
Y la suma de las dos ser:

-1

2 w
d+

Maquinas de soporte vectorial lineales

Se busca maximizar

2 w

que es lo mismo que minimizar

Sujeto a y i ( wx i +b )1 Este es una problema de programacin cuadrtica Puede ser resuelto mediante multiplicadores de Lagrange (i). l l 1 L P w2 i y i w x i +b + i 2 i=1 i=1

Maquinas de soporte vectorial lineales

Tambin puede ser hallado en trminos de los vectores de soporte, mediante la representacin dual, Haciendo que los gradientes de Lp respecto a w y b sean cero, minimizando LD con las restricciones (1) y (2)

(1) w= i y i x i
i

(2)

i y i=0
i

1 L D= i i j y i y j x ix j 2 i i

Los xi con ai no nulos son llamados vectores de soporte ( support vectors) (VS)

Maquinas de soporte vectorial lineales

Caso no separable
En este caso se permite cierto error en la clasificacin.

Maquinas de soporte vectorial NO lineales

Se puede mejorar a este clasificador lineal aplicando el truco del kernel El resultado del algoritmo es similar, excepto que cada producto punto es reemplazado por una funcin kernel no lineal

Maquinas de soporte vectorial NO lineales

http://www.youtube.com/watch?v=3liCbRZPrZA

Maquinas de soporte vectorial NO lineales

Polinomial (in homogneo):

k ( x, x ' )=( xx'+1)

Maquinas de soporte vectorial NO lineales

Funcin de Base Radial

k ( x, x ' )=e

(xx'2 )

para >0

Maquinas de soporte vectorial NO lineales

Funcin de Base Radial

k ( x, x ' )=e

(xx'2 )

para >0

Maquinas de soporte vectorial NO lineales

k ( x , x ' )=tanh( xx '+c ) para algunos >0 y c >0

Tangente Hiperblica

Bibliografa

Corinna Cortes and V. Vapnik, "Support-Vector Networks", Machine Learning, 20, 1995. Disponible en http://www.springerlink.com/content/k238jx04hm87j80g/fulltext.pdf Christopher J. C. Burges. "A Tutorial on Support Vector Machines for Pattern Recognition". Data Mining and Knowledge Discovery 2:121167, 1998. Disponible en http://research.microsoft.com/en-us/um/people/cburges/papers/SVMTutorial.pdf A Library for Support Vector Machines aplicacin en lnea http://www.csie.ntu.edu.tw/~cjlin/libsvm/ CVM Applet. aplicacin en lnea http://www.eee.metu.edu.tr/~alatan/Courses/Demo/AppletSVM.html Machine Learning- Opencv wiki http://opencv.willowgarage.com/wiki/MachineLearning Bases para el cdigo de ejemplo en Opencv tomado de http://opencv.jp/sample/svm.html en japons Support Vector Machine Disponible en http://en.wikipedia.org/wiki/Support_vector_machine SVM with polynomial kernel visualization disponible en http://www.youtube.com/watch? v=3liCbRZPrZA