Máquinas de Soporte Vectorial (SVM)

Elementos Importantes de las SVM:

Método robusto, con una base matemática muy fuerte

Aborda el idea de hiperplanos de separación con margen máximo

Usa elementos del dataset como vectores de soporte para maximizar el margen

Brinda buena generalización y mitiga los problemas del overfitting

Utiliza multiplicadores de Lagrange para el problema de optimización con restricciones

Usa funciones kernel para problemas linealmente no separables

Las ventajas de las máquinas de vectores de soporte son:

Efectivo en espacios de gran dimensión.

Sigue siendo eficaz en los casos en que el número de dimensiones es mayor que el número de
muestras.

Utiliza un subconjunto de puntos de entrenamiento en la función de decisión (llamados vectores

de soporte), por lo que también es eficiente en la memoria.

Versátil: se pueden especificar diferentes funciones del núcleo para la función de decisión. Se
proporcionan núcleos comunes, pero también es posible especificar núcleos personalizados.

Las desventajas de las máquinas de vectores de soporte incluyen:

Si el número de características es mucho mayor que el número de muestras, evite el ajuste

excesivo al elegir las funciones del Kernel y el término de regularización es crucial.

Las SVM no proporcionan directamente estimaciones de probabilidad, estas se calculan mediante

una costosa validación cruzada de cinco veces (consulte Puntuaciones y probabilidades, a
continuación).
TEORIA

Máquinas vectoriales de soporte

En general, Support Vector Machines se considera un enfoque de clasificación, pero se puede

emplear tanto en tipos de problemas de clasificación como de regresión. Puede manejar
fácilmente múltiples variables continuas y categóricas. SVM construye un hiperplano en el espacio
multidimensional para separar diferentes clases. SVM genera un hiperplano óptimo de manera
iterativa, que se utiliza para minimizar un error. La idea central de SVM es encontrar un hiperplano
marginal máximo (MMH) que divida mejor el conjunto de datos en clases.

Vectores de soporte

Los vectores de soporte son los puntos de datos, que están más cerca del hiperplano. Estos puntos
definirán mejor la línea de separación calculando los márgenes. Estos puntos son más relevantes
para la construcción del clasificador.

Hiperplano

Un hiperplano es un plano de decisión que separa entre un conjunto de objetos que tienen
diferentes pertenencias de clase.

Margen

Un margen es una brecha entre las dos líneas en los puntos de clase más cercanos. Esto se calcula
como la distancia perpendicular desde la línea hasta los vectores de soporte o los puntos más
cercanos. Si el margen es mayor entre las clases, entonces se considera un buen margen, un
margen más pequeño es un margen malo.

¿Cómo funciona SVM?

El objetivo principal es segregar el conjunto de datos dado de la mejor manera posible. La

distancia entre los puntos más cercanos se conoce como margen. El objetivo es seleccionar un
hiperplano con el máximo margen posible entre los vectores de soporte en el conjunto de datos
dado. SVM busca el hiperplano marginal máximo en los siguientes pasos:

Generar hiperplanos que segregan las clases de la mejor manera. Figura del lado izquierdo que
muestra tres hiperplanos negros, azules y naranjas. Aquí, el azul y el naranja tienen un error de
clasificación más alto, pero el negro está separando las dos clases correctamente.
Seleccione el hiperplano derecho con la máxima segregación de los puntos de datos más cercanos,
como se muestra en la figura del lado derecho.

Separador lineal

Tratar con planos no lineales e inseparables

Algunos problemas no se pueden resolver usando hiperplano lineal, como se muestra en la figura
a continuación (lado izquierdo).

En tal situación, SVM utiliza un truco de kernel para transformar el espacio de entrada en un
espacio dimensional superior como se muestra a la derecha. Los puntos de datos se trazan en el
eje x y el eje z (Z es la suma al cuadrado de x e y: z=x^2=y^2). Ahora puede segregar fácilmente
estos puntos utilizando la separación lineal.

Dimensión superior

SVM Kernels

El algoritmo SVM se implementa en la práctica utilizando un núcleo. Un kernel transforma un

espacio de datos de entrada en el formulario requerido. SVM utiliza una técnica llamada el truco
del kernel. Aquí, el núcleo toma un espacio de entrada de baja dimensión y lo transforma en un
espacio de dimensión superior. En otras palabras, se puede decir que convierte el problema no
separable en problemas separables al agregarle más dimensión. Es más útil en el problema de
separación no lineal. El truco del kernel te ayuda a construir un clasificador más preciso.