Introducción Al Aprendizaje Automatizado - Machine Learning

7/2/2021 Introducción al aprendizaje automatizado –Machine Learning–
Introducción
KNN
Máquina de soporte de vectores (SVM)
Naïve Bayes
Redes Neuronales Artificiales (ANN)
Evaluar la eficacia del modelo
Manos a la obra
Enlaces de interés
Introducción al aprendizaje
automatizado –Machine Learning–
Módulo 3
Introducción
El aprendizaje automatizado —machine learning (ML)— es una rama de la inteligencia artificial

cuyo objetivo es conseguir que una “máquina” aprenda a partir de la experiencia. Básicamente,
los algoritmos toman un conjunto de datos, los analizan para buscar en ellos ciertas pautas o
patrones y una vez identificadas, las emplean para realizar predicciones. En otras palabras se trata
de predecir el comportamiento futuro a partir de comportamientos pasados observados.
Dependiendo de cómo se aborde el problema del ML, los diferentes algoritmos se pueden agrupar
en:
Aprendizaje supervisado:
Cuando las entradas al sistema (la base de conocimiento) están formadas por un conjunto
de datos etiquetados a priori. Es decir, sabemos la clasificación correcta de un conjunto de
datos, y a partir de ellos se va a generar una función predictora.
ares.inf.um.es/00Rteam/pub/mamutCola/modulo3.html 1/29
Algunos algoritmos supervisados

KNN, Random Forest, SVM, ANN, Naïve Bayes, …
Aprendizaje no supervisado:
Las entradas al sistema están formadas por un conjunto de datos de los que se desconoce
su clasificación correcta. En este caso, se espera que el algoritmo sea capaz de reconocer
patrones para poder etiquetar y clasificar nuevos datos de entrada.
Algunos algoritmos no supervisados

K-means, clustering jerárquico, ANN no supervisado, …
Pasos para aplicar ML

Recoger y almacenar datos
Explorar y preparar los datos
Entrenar al clasificador con nuestros datos
Evaluar el desempeño del modelo
Mejorarlo si fuese necesario
Una vez completados estos pasos, nuestro modelo puede ser implementado en la clasificación de
nuevos datos.
KNN
K-Nearest Neighbours (Los k vecinos más próximos) es un algoritmo de clasificación
supervisada,basado en distancias. General aunque no necesariamente la distancia Euclídea.
Siendo p y q dos observaciones, y p , p , . . . , p , y q , q , . . . , q los valores que toman esas

1 2 n 1 2 n
observaciones en las n variables, la distancia euclídea entre estas dos observaciones se define
como:
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2 2 2
dist(p, q) = √ (p1 − q1 ) + (p2 − q2 ) +. . . +(pn − qn )
Su funcionamiento es muy simple: dado un conjunto de observaciones etiquetadas —clasificadas

—, el algoritmo va a asignar una nueva observación a la clase —al grupo— más cercana.
Esa distancia se puede definir de diferentes maneras y en función de cómo se haga los resultados
podrían variar.
En el ejemplo de las siguientes imágenes se trata de clasificar un tomate a alguno de los grupos ya
definidos.
El principal problema que puede plantear este método es decidir sobre cuántos vecinos se calcula
la distancia. Si nos fijamos en la imagen siguiente, al elegir k = 2 –dos vecinos– nuestra
observación –circulo verde– se clasificaría como triángulo rojo. Sin embargo si fijamos k = 3 –tres
vecinos– entonces nuestra observación será clasificada como cuadrado azul.
No hay una única regla, una formula general dice que el número de vecinos a tener en cuenta, está
en función del tamaño de la muestra n
1
K = n 2
Otros métodos incluirían ensayos con diferentes números de vecinos y posteriormente evaluar el
desempeño de la clasificación —curvas ROC, Cross-Validation, …— para quedarnos con aquel
número con el que se obtenga un mejor desempeño.
Implementación de KNN en R
data( iris )
Preprocesar datos
El preporcesado de datos incluye normalizar si es necesario, o reducir el número de variables si

fuese necesario mediante otras técnicas multivariantes.
P.e. , es lo que hace la función scale()

¯
¯¯
x−x
2
σ
NormIris <- as.data.frame( scale( iris[, 1:4 ], scale = TRUE, center = TRUE ) )
summary( NormIris )
Sepal.Length Sepal.Width Petal.Length

Min. :-1.86378 Min. :-2.4258 Min. :-1.5623
1st Qu.:-0.89767 1st Qu.:-0.5904 1st Qu.:-1.2225
Median :-0.05233 Median :-0.1315 Median : 0.3354
Mean : 0.00000 Mean : 0.0000 Mean : 0.0000
3rd Qu.: 0.67225 3rd Qu.: 0.5567 3rd Qu.: 0.7602
Max. : 2.48370 Max. : 3.0805 Max. : 1.7799
Petal.Width
Min. :-1.4422
1st Qu.:-1.1799
Median : 0.1321
Mean : 0.0000
3rd Qu.: 0.7880
Max. : 1.7064
Previsualizar datos
plot( iris[ ,1:4 ], col = iris$Species )
Generar las muestras
En una clasificación supervisada, normalmente se selecciona del total de datos, un subconjunto

de aproximadamente 2/3 - 3/4 del total para entrenar al clasificador y el resto de datos se reserva
para testar el desempeño del clasificador, o dicho de otra forma, para comprobar cómo de bien o
mal clasifica nuestra máquina·
#generar subconjunto de 100 datos para entrenar

iris.train <- iris[ sample( c( 1:150 ), 100 ), 1:5 ]
#generar subconjunto de 50 datos para testar
iris.test <- iris[ sample( c( 1:150 ), 50 ), 1:5 ]
Entrenar/testar clasificador
La función knn del paquete class entrena y clasifica en un único paso. Como parámetros le
pasamos en conjunto de datos de entrenamiento, el conjunto de datos para el test, las clases a las
que pertenece cada elemento, y el número de vecinos.
# Genera modelo y hace predicción a la vez

iris.pred <- knn( train = iris.train[ , 1:4 ], test = iris.test[ , 1:4 ],
cl = iris.train[ ,5 ], k = 2 )
# predicción
print(iris.pred)
[1] virginica virginica versicolor setosa setosa

[6] virginica virginica setosa versicolor setosa
[11] virginica versicolor setosa setosa setosa
[16] virginica setosa setosa virginica versicolor
[21] setosa setosa setosa setosa setosa
[26] versicolor virginica versicolor setosa virginica
[31] setosa versicolor versicolor setosa versicolor
[36] versicolor setosa virginica virginica virginica
[41] virginica setosa setosa setosa versicolor
Levels: setosa versicolor virginica
# realidad
print(iris.test[ ,5 ])

[6] virginica virginica setosa versicolor setosa
[11] virginica versicolor setosa setosa setosa
[16] virginica setosa setosa virginica versicolor
[21] setosa setosa setosa setosa setosa
[26] versicolor virginica versicolor setosa virginica
[31] setosa versicolor versicolor setosa versicolor
[36] versicolor setosa versicolor virginica virginica
[41] virginica setosa setosa setosa versicolor
Validar resultados
Podemos ver la diferencia entre lo clasificado y la realidad con table
table( Predic = iris.pred, Realidad = iris.test[,5])
Realidad
Predic setosa versicolor virginica
setosa 23 0 0
versicolor 0 12 0
virginica 0 1 14
Una vez creado un clasificador y comprobado que clasifica bien, podemos probarlo con un dato
nuevo. Si encuentro un iris en el campo y mido pétalo y sépalo, puedo utilizar mi clasificador para
determinar a que variedad pertenece.
miIris <- c( 5.0, 3.5, 1.3, 0.1 )
mi_predict <- knn( train = iris.train[ ,1:4 ], test = miIris,

cl = iris.train[ ,5 ], k = 2, prob = TRUE )
mi_predict
[1] setosa
attr(,"prob")
[1] 1
Máquina de soporte de vectores (SVM)

Algoritmo de clasificación supervisada, en el que dado un conjunto de datos etiquetados, el
algoritmo construye un límite o frontera óptimo, llamado hiperplano, que separa los datos según
su categoría para posteriormente asignar nuevos datos al grupo con mayor probabilidad de
pertenencia.
El fundamento básico es el mismo que en el caso de KNN:
Conjunto de datos etiquetados
Construcción de un modelo
Dado un nuevo dato de etiqueta desconocida
Modelo es capaz de predecir a que clase pertenece
A diferencia de KNN, el algoritmo busca los límites o fronteras entra las clases. Esa frontera en un
espacio de dos dimensiones —dos variables— sería una línea, en 3 dimensiones sería un plano, y
genéricamente para un espacio multidimensional —multivariante— sería un hiperplano. Este
hiperplano separa el hiperespacio en diferentes regiones, donde las observaciones que caigan
dentro de la misma región pertenecerán a la misma clase.
La dificultad radica en definir cuál es el hiperplano óptimo. El algoritmo busca una frontra que
maximize la distancia entre ella y los elementos marginales de cada clase.
En ocasiones definir esa frontera es intuitivo, pero lo normal cuando se trabaja con más de dos
variables es que la definición de ese hiperplano se vuelva muy compleja y computacionalmente
muy costosa.
Para simplificar el cálculo del hiperplano se pueden realizar una serie de transformaciones sobre
los datos de manera que sea menos compleja la obtención de las diferentes regiones y por tanto
hacer menos costoso —computacionalmente hablando— el aprendizaje.
Para poder llevar a cabo esto se utilizan distintas funciones kernel que pueden llevar a cabo
diferentes tipos de transformaciones. Estas son algunas de ellas:
Polinomial: K (x i,
n
x j ) = (x i x j )
Perceptrón: K (x i, x j ) = ∥x i x j ∥
(xi−xj)2
−
Base radial Gaussiana: K (xi, xj) = e 2σ 2
Sigmoidal: K (xi, xj) = tanh(xi ⋅ xj − Θ)
Gráficamente la función kernel aplica una transformación sobre los datos, simplificando
enormemente la definición de la frontera.
Implementación de SVM en R
data( iris )
Preprocesar datos
Incluye normalizar si es necesario, reducir el número de variables si fuese necesario…
#generar muestras
Aplicar SVM
Con la función svm del paquete e1071 se puede generar generar un modelo mediante algoritmo de
soporte de vectores. Como parámetros hay que proporcionar los datos en forma de fórmula de R,
donde la variable respuesta son las clases frente al resto de variables predictoras Species ~ . ,
hay que definir sobre que datos se está refiriendo la fórmula, si queremos normalizar los datos y el
tipo de función kernel que queremos utilizar.
# Esta función sólo genera el modelo

svm_model <- svm( Species ~ . , data = iris.train, scale = TRUE,
kernel = "linear", probability = TRUE)
summary( svm_model )
Call:
svm(formula = Species ~ ., data = iris.train, kernel = "linear",
probability = TRUE, scale = TRUE)
Parameters:
SVM-Type: C-classification
SVM-Kernel: linear
cost: 1
gamma: 0.25
Number of Support Vectors: 25
( 10 2 13 )
Number of Classes: 3
Levels:
setosa versicolor virginica
Una vez entrenado el modelo, podemos hacer predicción con el conjunto de datos de iris.test .
SVM_predict <- predict( svm_model, iris.test[,1:4],

probability = TRUE, decision.values = TRUE )
summary(SVM_predict)

12 9 9
Contrastar la predicción con la realidad
# Versión simple
table( SVM_predict, Realidad = as.factor( iris.test[ ,5 ] ) )
Realidad
SVM_predict setosa versicolor virginica
setosa 12 0 0
versicolor 0 9 0
virginica 0 0 9
Igual que en el caso de KNN, podemos hacer una predicción sobre nuestro modelo con una
muestra recogida en el campo, y obtendremos a qué clase ha sido asignada y con que
probabilidad.
miIris <- matrix( c( 5.0, 3.5, 1.3, 0.1 ), nrow = 1, ncol = 4 )

colnames( miIris ) <- colnames( iris[ , 1:4 ] )
# predict requiere un matrix o data.frame no un vector
predict( svm_model, miIris, probability = TRUE )
1
setosa
attr(,"probabilities")
virginica setosa versicolor
1 0.009415069 0.9764111 0.0141738
Naïve Bayes
Es un clasificador probabilístico “ingenuo” basado en el teorema de Bayes, que asume que la
probabilidad de cada variable es independiente de las demás. Básicamente, su lógica se basa en
que dado un conjunto de datos de entrenamiento etiquetados, el clasificador calcula la
probabilidad observada para cada clase, en función de los valores de sus variables. Cuando es
usado posteriormente para predecir datos sin etiquetar, asigna estos datos a la clase con mayor
probabilidad de pertenencia.
Refrescando la memoria bayesiana

Probabilidad de un evento
C asos f avorables
P (X) =
C asos posibles
Probabilidad de que al tirar un dado salga un 3:
1
P (X = 3) =
6
Probabilidad condicionada
Probabilidad de que suceda un evento cuando ya ha sucedido otro:
P (Y ∣ X)
Probabilidad de que Y tome un valor determinado cuando X ya ha tomado uno.
Ejemplo: probabilidad de obtener un 10 entre dos dados cuando el primero ha salido 4
P (Y = 10 ∣ X = 4)
Teorema de Bayes
Basado en el Teorema de Bayes:
P (X ∣ Y ) P (Y )
P (Y ∣ X) =
P (X)
En castellano
P (probabilidad condicional) P (a priori)
P (posteriori) =
P (total)
Veamos como funciona Naïve Bayes como predictor con un ejemplo:
Tenemos datos históricos sobre si se ha jugado o no al tenis con una serie de parámetros
meteorológicos muy simples.
En base a esto, y empleando la lógica bayesiana determinaremos qué probabilidad tenemos de
que haya partido un día nublado, frío, con alta humedad y sin viento.
La siguiente tabla, son nuestros datos históricos.
Cielo Temperatura Humedad Viento Jugar
Soleado Calor Alta Si No
Soleado Calor Alta No Si
Soleado Templado Baja Si Si
Nublado Frio Baja No Si
Nublado Calor Normal No Si
Nublado Frio Alta Si No
LLuvia Templado Alta No No
Probabilidades
¿Jugaremos al tenis (Y ) un día nublado, frío, con humedad alta y sin viento (X )?
P (X ∣ Y )vi ⋅ P (Y )
P (Y = S i ∣ X v1,v2,v3,v4 ) =
P (total)
Probabilidades
Las probabilidades “observadas” se obtienen de las frecuencias de la tabla anterior.
P (S Ijugar ) = 4/7 P (N O jugar ) = 3/7
P (nublado ∣ S Ijugar ) = 2/4 P (nublado ∣ N O jugar ) = 1/3
P (f rio ∣ S Ijugar ) = 1/4 P (f rio ∣ N O jugar ) = 1/3
P (Alta humedad ∣ S Ijugar ) = 1/4 P (Alta humedad ∣ N O jugar ) = 3/3
P (S i viento ∣ S Ijugar ) = 1/4 P (S i V iento ∣ N O jugar ) = 2/3
La hora de la verdad, ¿Jugaremos?
2/4 ⋅ 1/4 ⋅ 1/4 ⋅ 1/4 ⋅ 4/7 = 0.024

P (Y = S i ∣ X v1,v2,v3,v4 ) = = 0.103
0.024 + 0.21
1/3 ⋅ 1/3 ⋅ 3/3 ⋅ 2/3 ⋅ 3/7 = 0.21

P (Y = N o ∣ X v1,v2,v3,v4 ) = = 0.897
0.024 + 0.21
Implementación de Naïve Bayes en R

iris.NB <- naiveBayes( Species ~ ., data = iris.train )

iris.NB
Naive Bayes Classifier for Discrete Predictors
Call:
naiveBayes.default(x = X, y = Y, laplace = laplace)
A-priori probabilities:
Y
0.29 0.35 0.36
Conditional probabilities:
Sepal.Length
Y [,1] [,2]
setosa 5.086207 0.3215189
versicolor 5.917143 0.3776753
virginica 6.616667 0.6855655
Sepal.Width
Y [,1] [,2]
setosa 3.455172 0.4230723
versicolor 2.757143 0.2983146
virginica 2.952778 0.3220347
Petal.Length
Y [,1] [,2]
setosa 1.520690 0.1372675
versicolor 4.291429 0.3760252
virginica 5.608333 0.5862106
Petal.Width
Y [,1] [,2]
setosa 0.2827586 0.1197288
versicolor 1.3171429 0.1790263
virginica 1.9916667 0.2892107
predNB <- predict( iris.NB, iris.test[,1:4] )

predNB
[1] setosa versicolor setosa setosa virginica

[6] virginica versicolor versicolor setosa versicolor
[11] setosa virginica virginica setosa setosa
[16] setosa virginica versicolor setosa virginica
[21] setosa versicolor setosa virginica versicolor
[26] versicolor setosa virginica virginica versicolor
Contrastar la predicción
table( Predicción = predNB, Realidad = iris.test[,5] )
Realidad
Predicción setosa versicolor virginica
setosa 12 0 0
versicolor 0 9 0
virginica 0 0 9
Y con mi muestra encontrada en el campo
miIris<-matrix(c(5.0, 3.5, 1.3, 0.1), nrow=1, ncol=4)
colnames(miIris)<-colnames(iris[,1:4])
# En este caso predict requiere un matrix o data.frame no un vector

pdr <- predict(iris.NB, miIris, probability = TRUE )
summary(pdr)

1 0 0
Lo que nos devuelve la predicción es la probabilidad de pertenencia a cada clase. En este caso es
una probabilidad del 100% de pertenecer a la clase setosa, y por tanto 0% al resto de clases.
Redes Neuronales Artificiales (ANN)

Paradigma de aprendizaje automatizado inspirado en sistemas nerviosos biológicos, constituidos
por una serie de nodos (neuronas) y una serie de conexiones entre los nodos (sinapsis).
La topología básica consta de:
Unos nodos de entrada al sistema, generalmente tantos nodos como variables.

Una serie de capas ocultas intermedias con un número variable de nodos.
Unos nodos de salida, uno por cada respuesta.
Cada nodo de entrada tiene asociado un peso W y en cada nodo se aplica una función de
i
activación (opcional) y una de propagación con la suma de las entradas ponderadas por sus pesos.
A pesar del nombre, su parecido con los sistemas biológicos se queda en la estructura física, es
decir una serie de nodos interconectados formando una red con entradas y salidas.
Pero aunque parezca algo complejo, una especie de caja negra en la que le damos información y
esperamos a que “eso” obre el milagro y nos de un resultado, el fundamento es bastante simple:
Dados una serie de parámetros de entrada, las redes neuronales buscan la forma de combinarlos
para obtener el resultado esperado.
Aunque hay muchas topologías, la más común es la conocida como perceptrón
Componentes
N entradas, x 1, . . . , xn
Cada entrada con un peso x, x 1, . . . , xn
Un nodo de entrada extra llamada bias (intercepto)
Suma de las entradas ponderada por sus pesos:
y = ∑ x 0 w0 , . . . , x n wn
Función de activación p.e.:
fa (x) = 1 si y ,
> 0 fa (x) = −1 si x ≤ 0
Veamos su fundamento con un ejemplo:
Supongamos que tenemos la nota de dos exámenes parciales y la nota final. No sabemos como
pondera el profesor las notas de los exámenes parciales para obtener la final. La red neuronal irá
probando distintas combinaciones hasta que de con la correcta.
Nuestros parámetros de entrada son las dos notas y la salida será la nota final esperada.
e1 ω
ω Σ nf
e2
Esto podría complicarse. Imaginemos ahora que tenemos las notas de dos exámenes más la de
una práctica. Hemos suspendido un examen y sin embargo hemos aprobado la asignatura. En este
caso ya no es tan trivial ponderar el peso de cada examen.
p1
ω
ω
e1 c1 ω
ω nf
ω
e2 c2
Pero podría ser peor. La retorcida mente de este profesor, podría tener en cuenta, la asistencia, la
participación, la actitud con los compañeros, además de las notas de teoría y prácticas. Además a
cada uno de estos parámetros le podría dar un peso diferente, incluso dar pesos diferentes a
combinaciones de parámetros. Es más, podría ser que no todas las combinaciones fuesen lineales,
algunas podrían ser cuadráticas, logarítmicas, …
as
pt
ac c1a
c2a
e1
c1b nf
c2b
e2
c1c
pr
Pero afortunadamente para nosotros, no tenemos que preocuparnos de todo esto, lo único que
tendríamos que hacer básicamente, es decir cuáles son nuestras notas de entrada y nuestra nota
final. La red se encarga de generar el modelo y de esta forma la próxima vez que sepamos las notas
iniciales, no tendremos que esperar a saber la nota final, nuestro modelo nos lo va a predecir.
Implementación de redes neuronales en R

Preprocesar datos
Incluye normalizar si es necesario, reducir el número de variables si fuese necesario, …
Este paso es igual lo que hemos visto en los ejemplos anteriores
data(iris)
#generar muestras
Binarizar las categorias
En este caso hay que generar nuevas columnas de VERDADERO/FALSO para pertenencia de cada
observación a cada clase —especie—.
iris.train <- cbind( iris.train, iris.train$Species == "setosa" )

iris.train <- cbind( iris.train, iris.train$Species == "versicolor" )
iris.train <- cbind( iris.train, iris.train$Species == "virginica" )
names(iris.train)[6]<-"setosa"
names(iris.train)[7]<-"versicolor"
names(iris.train)[8]<-"virginica"
head(iris.train)
Sepal.Length Sepal.Width Petal.Length Petal.Width

94 5.0 2.3 3.3 1.0
107 4.9 2.5 4.5 1.7
28 5.2 3.5 1.5 0.2
127 6.2 2.8 4.8 1.8
29 5.2 3.4 1.4 0.2
56 5.7 2.8 4.5 1.3
Species setosa versicolor virginica
94 versicolor FALSE TRUE FALSE
107 virginica FALSE FALSE TRUE
28 setosa TRUE FALSE FALSE
127 virginica FALSE FALSE TRUE
29 setosa TRUE FALSE FALSE
56 versicolor FALSE TRUE FALSE
Entrenar la red neuronal
La función neuralnet del paquete del mismo nombre, requiere la introducción de parámetros de
forma similar a como se hizo en SVM, mediante una foŕmula, donde las variables dependientes –
setosa, versicolor, virgínica– lo son en función de las predictoras. Podemos definir también la
topología de la red, es decir cuántas capas y cuántos nodos por capa.
Una vez entrenada nuestra red, podemos visualizar su topología, los pesos ponderados asignados
a cada nodo. Con la función print podemos obtener bastante información acerca del modelo.
iris.nnt <- neuralnet( setosa + versicolor + virginica ~ Sepal.Length +

Sepal.Width +
Petal.Length +
Petal.Width,
data = iris.train, hidden = c( 3, 2 ) )
# print(iris.nnt) #Ejecutar para ver los resultados
plot( iris.nnt, col.intercept = "blue" , rep="best")
Predicción
Con los datos que nos reservamos para el test, vamos a hacer la predicción, en este caso en lugar
de la función predict usada anteriormente, empleamos compute
pred.nn <- compute( iris.nnt, iris.test[ 1:4 ] )

# print(pred.nn) # ejecutar para ver los resultados
El resultado de la predicción no es tan “amigable” como en los otros algoritmos vistos, pero con un
poco de código lo podemos extraer y dejar más claro.
resultado <- 0
for ( i in 1:dim( pred.nn$net.result )[1] ){
resultado[i] <- which.max( pred.nn$net.result[ i, ] )
}
resultado[ resultado == 1 ] <- "setosa"
resultado[ resultado == 2 ] <- "versicolor"
resultado[ resultado == 3 ] <- "virginica"
table(Predicción = resultado, Realidad = iris.test[,5])
Realidad
Predicción setosa versicolor virginica
setosa 13 0 0
versicolor 0 18 1
virginica 0 0 18
Evaluar la eficacia del modelo

Vamos a estudiar algunos de los mecanismos existentes de validación de la clasificación realizada
por nuestro modelo predictivo. para ello generaremos un modelo nuevo con datos de pacientes
que tienen un tumor, cuyo diagnóstico está etiquetado como benigno o maligno.
La primera columna contiene un identificador del sujeto, la segunda corresponde al diagnóstico y

el resto son variables medidas al tumor.
wdbc <- read.csv( "http://gauss.inf.um.es/datos/wdbc.csv" )

#eliminar columna de ID.
wdbc <- wdbc[ -1 ]
# Normalizar los datos
wdbc_N <- as.data.frame( scale( wdbc[2:31], scale = TRUE, center = TRUE ) )
wdbc_N$diagnosis <- wdbc$diagnosis
Crear datos de entrenamiento y datos de test
# Datos
w_train <- wdbc_N[ sample( c( 1 : nrow( wdbc_N ) ), 425 ), ]
w_test <- wdbc_N[ sample( c( 1 : nrow( wdbc_N ) ), 140 ), ]
# Etiquetas
w_train_label <- w_train$diagnosis
w_test_label <- w_test$diagnosis
Entrenar el modelo
w_predict<- knn( w_train[ , c( 1:( ncol(w_train) -1 ) ) ],

w_test[ , c( 1:( ncol(w_test) -1 ) ) ],
cl = w_train_label, k = 21, prob = TRUE )
w_predict
[1] M B B M B B B M M B M B B B B B M B M M M B B M B B B
[28] B B B B M M B M M M B B B B B B B B M B M M B M B B M
[55] B B B B M M B M B B B B B B B B M M B B M B M B B B B
[82] M B B B M B B B B M B B B B B B B M M M M M B B B B B
[109] B M M B B B M B B B M M M M B M M M M M M B M B B B M
[136] B M M B B
attr(,"prob")
[1] 1.0000000 0.9523810 1.0000000 0.9047619 1.0000000
[6] 0.8095238 0.6190476 0.7142857 0.9523810 1.0000000
[11] 0.9523810 1.0000000 0.7142857 1.0000000 0.7619048
[16] 1.0000000 0.9523810 1.0000000 1.0000000 1.0000000
[21] 0.7619048 1.0000000 1.0000000 1.0000000 0.7619048
[26] 1.0000000 0.9523810 1.0000000 1.0000000 0.7142857
[31] 0.6190476 1.0000000 1.0000000 1.0000000 0.8571429
[36] 1.0000000 0.8571429 1.0000000 0.6666667 1.0000000
[41] 1.0000000 0.7619048 0.7619048 1.0000000 1.0000000
[46] 1.0000000 1.0000000 1.0000000 1.0000000 1.0000000
[51] 1.0000000 1.0000000 0.9523810 1.0000000 1.0000000
[56] 0.9047619 1.0000000 1.0000000 0.9047619 0.8571429
[61] 1.0000000 1.0000000 1.0000000 0.9047619 1.0000000
[66] 1.0000000 0.5238095 1.0000000 1.0000000 1.0000000
[71] 0.7619048 0.5238095 0.9523810 1.0000000 1.0000000
[76] 0.9523810 1.0000000 1.0000000 1.0000000 1.0000000
[81] 0.8571429 1.0000000 1.0000000 1.0000000 1.0000000
[86] 0.8571429 1.0000000 0.9523810 1.0000000 1.0000000
[91] 1.0000000 0.8571429 1.0000000 0.7142857 0.8571429
[96] 1.0000000 1.0000000 0.9523810 1.0000000 1.0000000
[101] 0.9047619 1.0000000 0.6666667 1.0000000 0.7619048
[106] 1.0000000 1.0000000 0.7619048 1.0000000 0.6190476
[111] 0.9523810 0.5238095 1.0000000 1.0000000 0.5714286
[116] 1.0000000 1.0000000 1.0000000 1.0000000 1.0000000
[121] 0.8571429 1.0000000 0.9523810 0.8571429 1.0000000
[126] 1.0000000 1.0000000 0.8095238 0.8571429 0.9523810
[131] 1.0000000 0.8571429 1.0000000 1.0000000 0.6190476
[136] 1.0000000 1.0000000 0.8095238 1.0000000 1.0000000
Levels: B M
Evaluar el modelo con tablas

Lo más sencillo, una tabla de contingencia con table
table( Predicción = w_predict, Observación = w_test_label )
Observación
Predicción B M
B 80 8
M 0 52
Una tabla de contingencia un poco más sofisticada con CrossTable
Calcula una tabla similar a la anterior pero más completa. Aporta proporciones de aciertos por
filas, columnas y totales.
CrossTable(x = w_predict, y = w_test_label, dnn = c( "Predicción", "Observación

, prop.chisq = FALSE )
Cell Contents
|-------------------------|
| N |
| N / Row Total |
| N / Col Total |
| N / Table Total |
|-------------------------|
Total Observations in Table: 140
| Observación
Predicción | B | M | Row Total |
-------------|-----------|-----------|-----------|
B | 80 | 8 | 88 |
| 0.909 | 0.091 | 0.629 |
| 1.000 | 0.133 | |
| 0.571 | 0.057 | |
-------------|-----------|-----------|-----------|
M | 0 | 52 | 52 |
| 0.000 | 1.000 | 0.371 |
| 0.000 | 0.867 | |
| 0.000 | 0.371 | |
-------------|-----------|-----------|-----------|
Column Total | 80 | 60 | 140 |
| 0.571 | 0.429 | |
-------------|-----------|-----------|-----------|
Curvas ROC (_Receiver Operating Characteristic_) como evaluadores
Como vimos en el módulo anterior, es una representación gráfica de la sensibilidad frente a

1 − especif icidad para un clasificador binario, es decir sólo hay dos respuestas, positivo y
negativo.
prob <- attr(w_predict, "prob")

labels <- factor(w_test_label, labels = c(1,0))
rocobj <- pROC::roc( labels, prob, auc = TRUE, ci = TRUE )
print( rocobj )
Call:
roc.default(response = labels, predictor = prob, auc = TRUE, ci = TRUE)
Data: prob in 80 controls (labels 1) > 60 cases (labels 0).

Area under the curve: 0.6527
95% CI: 0.5694-0.736 (DeLong)
pROC::plot.roc( rocobj, legacy.axes = TRUE, print.thres = "best",

print.auc = TRUE, auc.polygon = FALSE, max.auc.polygon = FALSE,
auc.polygon.col="gainsboro", col = 2, grid = TRUE )
Como se puede observar el la curva, el clasificador no parece ser muy bueno, ya que su AUC no es
muy alta (0.6527083)
Vamos a repetir aumentando el número de vecinos a k=100.
w_predict<- knn( w_train[ , c( 1:( ncol(w_train) -1 ) ) ],

w_test[ , c( 1:( ncol(w_test) -1 ) ) ],
cl = w_train_label, k = 100, prob = TRUE )
prob <- attr(w_predict, "prob")

labels <- factor(w_test_label, labels = c(0,1))
rocobj <- pROC::roc( labels, prob, auc = TRUE, ci = TRUE )
print( rocobj )
Call:
roc.default(response = labels, predictor = prob, auc = TRUE, ci = TRUE)
Data: prob in 80 controls (labels 0) > 60 cases (labels 1).

Area under the curve: 0.7331
95% CI: 0.641-0.8252 (DeLong)
pROC::plot.roc( rocobj, legacy.axes = TRUE, print.thres = "best", print.auc = T

auc.polygon = FALSE, max.auc.polygon = FALSE, auc.polygon.col="gainsb
col = 2, grid = TRUE )
Ahora el AUC a aumentado a 0.733125 por lo que al aumentar el número de vecinos, ha mejorado –
en este caso– la eficiencia del predictor.
Validación cruzada —cross-validation—
Como se ha comentado anteriormente, una vez que hemos generado el modelo, interesa conocer
la precisión de este modelo en la predicción de los resultados. Dicho de otra manera, interesa
estimar el error cometido en la predicción.
La validación cruzada aglutina una serie de técnicas, utilizadas para validar la precisión de un
modelo predictivo. Para ello, comprueba la bondad predictiva del modelo sobre un conjunto de
datos de prueba independientes de los datos empleados para generar el modelo.
Básicamente la secuencia sería:
1. Construir el modelo con los datos de entrenamiento

2. Aplicar el modelo con los datos de prueba, que serán independientes de los de
entrenamiento
3. Estimar el error en la predicción.
Hay distintas técnicas de validación cruzada para la estimación del error, aqui vamos a ver alguna
de ellas.
Para todas las técnicas que vamos a ver, utilizaremos el paquete caret , uno de los más completos
paquetes de machine learning que hay en R.
En primer lugar cargaremos y prepararemos los datos, esto nos servirá para todos los métodos que
vamos a ver. A continuación iremos haciendo las validaciones con las diferentes técnicas
La función CreateDataPartition nos permite crear un grupo de entrenamiento de forma similar

a como lo hacíamos con sample .
set.seed(111)
train <- createDataPartition( iris$Species, p = 0.7, list = FALSE )
train.iris <- iris[ train, ]
test.iris <- iris[ -train, ]
El método del conjunto de validación

En este caso la cuantificación del error se hace mediante la diferencia cuadrática media entre los
valores observados y los predichos.
#Crear el modelo
model <- naiveBayes(Species ~ . , data = train.iris )
predictions <- predict( model, test.iris )
predictions <- as.numeric( predictions )
test <- as.numeric( as.factor( test.iris$Species ) )
data.frame( R2 = R2( predictions, test ),

RMSE = RMSE(predictions, test ),
MAE = MAE(predictions, test ) )
R2 RMSE MAE
1 0.9363057 0.2108185 0.04444444
2
R
Es la correlación al cuadrado entre observaciones y predicciones. Cuanto más alto mejor será el
modelo
RMSE —Root mean squared error—

Error cuadrático medio, mide el error medio cometido por el modelo al predecir la clasificación de
una observación. Cuanto más bajo sea, mejor será el modelo
MAE —Mean absolute Error—

Error absoluto medio, es similar al RMSE, pero menos sensible a valores atípicos. Es la diferencia
absoluta media entre observaciones y predicciones. Cuanto más bajo, mejor será el modelo
LOOCV —Leave one out cross validation—

La validación cruzada dejando una observación fuera, consiste en dejar fuera del modelo una
observación y contruir el modelo con el resto, a continuación comprobar el modelo con esa
observación y anotar el error. Este proceso se repetirá con todas las observaciones. Finalmente se
obtiene el error total cometido calculado como la media de los errores obtenidos para cada
observación que se ha testado.
set.seed(111)
train <- trainControl(method = "LOOCV")
model <- train(Species ~ ., data=iris, method = "naive_bayes", trControl = trai
print(model)
Naive Bayes
150 samples
4 predictor
3 classes: 'setosa', 'versicolor', 'virginica'
No pre-processing
Resampling: Leave-One-Out Cross-Validation
Summary of sample sizes: 149, 149, 149, 149, 149, 149, ...
Resampling results across tuning parameters:
usekernel Accuracy Kappa

FALSE 0.9533333 0.93
TRUE 0.9600000 0.94
Tuning parameter 'laplace' was held constant at a value

of 0
Tuning parameter 'adjust' was held constant at
a value of 1
Accuracy was used to select the optimal model using
the largest value.
The final values used for the model were laplace =
0, usekernel = TRUE and adjust = 1.
La ventaja del método es que utiliza todos los datos para entrenar y para testar el modelo.
La desventaja es que precisamente por utilizar todos los datos, tiene un alto coste computacional,
especialmente cuando tenemos un conjunto de datos muy grande.
K-fold cross-validation y repeat K-fold cross-validation

Es la validación cruzada de k-iteraciones o de k-iteraciones repetidas.
En el primer caso, el conjunto de datos se divide en K subjuntos, uno de ellos se utiliza como
datos de prueba y el resto K − 1 los datos de entrenamiento. La validación cruzada se realizará
durante K iteraciones. En cada iteración un subconjunto será el conjunto de prueba y el resto de
entrenamiento.
La idea es similar al método LOOCV, pero en lugar de hacerlo a nivel de observación, se hace a
nivel de conjunto de observaciones.
El método de k-fold repetido es idéntico al método k-fold, sólo que en este caso, una vez
terminadas las k-iteraciones, se vuelve a particionar en subconjuntos y se repite el proceso
anterior. Estos ciclos se repetirán el número de veces que se indique.
K-fold
set.seed(111)
train <- trainControl(method = "cv", number = 10 )
print(model)
Naive Bayes
150 samples
4 predictor
No pre-processing
Resampling: Cross-Validated (10 fold)

FALSE 0.9533333 0.93
TRUE 0.9533333 0.93

of 0
a value of 1
the largest value.
0, usekernel = FALSE and adjust = 1.
repeat K-fold
set.seed(111)
train <- trainControl(method = "repeatedcv", number = 10, repeats = 3 )
print(model)
Naive Bayes
150 samples
4 predictor
No pre-processing
Resampling: Cross-Validated (10 fold, repeated 3 times)

FALSE 0.9533333 0.9300000
TRUE 0.9555556 0.9333333

of 0
a value of 1
the largest value.
0, usekernel = TRUE and adjust = 1.
Manos a la obra
Ha llegado la hora de poner en práctica parte de lo aprendido en este módulo, para ello vamos ha
crear un clasificador con un conjunto de datos biométricos de estudiantes de la Universidad de
Murcia, y lo utilizaremos para intentar predecir el sexo de un individuo basado en sus datos
biométricos, así que …manos a la obra (http://ares.inf.um.es:3838/ares/mamutCola/modulo03/).
Enlaces de interés
Un tutorial online en DataCamp (visitar
(https://www.datacamp.com/community/tutorials/machine-learning-in-r)).
Machine Learning Essentials de Alboukadel Kassambara es un buen libro práctico para

iniciarse (visitar (https://www.datanovia.com/en/product/machine-learning-essentials-
practical-guide-in-r/?url=/5-bookadvisor/54-machine-learning-essentials/)).
Una completa guía sobre el paquete Caret.

Caret Package – A Practical Guide to Machine Learning in R (visitar
(https://www.machinelearningplus.com/machine-learning/caret-package/)).
Un par de buenos libros al respecto:
Machine Learning with R. Brett Lantz. [PACKT]Publishing. 2013.
An Introduction to Statistical Learning: with Applications in R. Gareth James.
(Springer Texts in Statistics). 2017.
Finalmente un enlace a un sitio donde aconsejan varios libros de ML en R (visitar
(https://machinelearningmastery.com/books-for-machine-learning-with-r/))

Introducción Al Aprendizaje Automatizado - Machine Learning

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Introducción Al Aprendizaje Automatizado - Machine Learning

Cargado por

Copyright:

Formatos disponibles

7/2/2021 Introducción al aprendizaje automatizado –Machine Learning–

El aprendizaje automatizado —machine learning (ML)— es una rama de la inteligencia artificial

Algunos algoritmos supervisados

Algunos algoritmos no supervisados

Pasos para aplicar ML

Explorar y preparar los datos

Entrenar al clasificador con nuestros datos

Evaluar el desempeño del modelo

Mejorarlo si fuese necesario

Siendo p y q dos observaciones, y p , p , . . . , p , y q , q , . . . , q los valores que toman esas

Su funcionamiento es muy simple: dado un conjunto de observaciones etiquetadas —clasificadas

El preporcesado de datos incluye normalizar si es necesario, o reducir el número de variables si

P.e. , es lo que hace la función scale()

Sepal.Length Sepal.Width Petal.Length

plot( iris[ ,1:4 ], col = iris$Species )

Generar las muestras

En una clasificación supervisada, normalmente se selecciona del total de datos, un subconjunto

#generar subconjunto de 100 datos para entrenar

# Genera modelo y hace predicción a la vez

[1] virginica virginica versicolor setosa setosa

[1] virginica virginica versicolor setosa setosa

Podemos ver la diferencia entre lo clasificado y la realidad con table

table( Predic = iris.pred, Realidad = iris.test[,5])

miIris <- c( 5.0, 3.5, 1.3, 0.1 )

mi_predict <- knn( train = iris.train[ ,1:4 ], test = miIris,

Máquina de soporte de vectores (SVM)

El fundamento básico es el mismo que en el caso de KNN:

Conjunto de datos etiquetados

Dado un nuevo dato de etiqueta desconocida

Modelo es capaz de predecir a que clase pertenece

Sigmoidal: K (xi, xj) = tanh(xi ⋅ xj − Θ)

Incluye normalizar si es necesario, reducir el número de variables si fuese necesario…

Generar las muestras

iris.test <- iris[ sample( c( 1:150 ), 30 ), 1:5 ]

# Esta función sólo genera el modelo

Number of Support Vectors: 25

SVM_predict <- predict( svm_model, iris.test[,1:4],

setosa versicolor virginica

Contrastar la predicción con la realidad

miIris <- matrix( c( 5.0, 3.5, 1.3, 0.1 ), nrow = 1, ncol = 4 )

Refrescando la memoria bayesiana

Probabilidad de que al tirar un dado salga un 3:

Probabilidad de que suceda un evento cuando ya ha sucedido otro:

Probabilidad de que Y tome un valor determinado cuando X ya ha tomado uno.

Ejemplo: probabilidad de obtener un 10 entre dos dados cuando el primero ha salido 4

Veamos como funciona Naïve Bayes como predictor con un ejemplo:

La siguiente tabla, son nuestros datos históricos.

Cielo Temperatura Humedad Viento Jugar

Soleado Calor Alta Si No

Soleado Calor Alta No Si

Soleado Templado Baja Si Si

Nublado Frio Baja No Si

Nublado Calor Normal No Si

Nublado Frio Alta Si No

LLuvia Templado Alta No No

Las probabilidades “observadas” se obtienen de las frecuencias de la tabla anterior.

P (S Ijugar ) = 4/7 P (N O jugar ) = 3/7

P (nublado ∣ S Ijugar ) = 2/4 P (nublado ∣ N O jugar ) = 1/3

P (f rio ∣ S Ijugar ) = 1/4 P (f rio ∣ N O jugar ) = 1/3

P (Alta humedad ∣ S Ijugar ) = 1/4 P (Alta humedad ∣ N O jugar ) = 3/3

P (S i viento ∣ S Ijugar ) = 1/4 P (S i V iento ∣ N O jugar ) = 2/3

La hora de la verdad, ¿Jugaremos?

2/4 ⋅ 1/4 ⋅ 1/4 ⋅ 1/4 ⋅ 4/7 = 0.024