Aprendizaje automtico

vila Crdova, Aarn Wlter

Mamani Machaca, Cristian David
Salas Flores, Alexander
Vilca Quico, Brigitte
APRENDIZAJE AUTOMTICO
Como su nombre lo indica, se centra en los algoritmos y mtodos que le permiten a una
computadora aprender.
Dado un conjunto de datos, el aprendizaje automtico puede aprender sobre los datos y sus
relaciones, produciendo informacin.
Algoritmos de aprendizaje automtico

Existen numerosos tipos de algoritmos de

aprendizaje automtico. Algunos de los
enfoques ms populares incluyen
el aprendizaje supervisado:
el aprendizaje sin supervisin y
el aprendizaje probabilstico.
Aprendizaje supervisado
Implican que un maestro est presente para identificar
cuando un resultado es correcto o incorrecto.
Los datos de entrada contienen tanto un predictor (variable
independiente) como un destino (variable dependiente)
cuyo valor debe estimarse.
A travs del proceso de aprendizaje supervisado, el
algoritmo predice el valor de la variable objetivo en funcin
de las variables predictoras.
Perceptrones, backpropagation, etc.
Aprendizaje sin supervisin

Implica que no se tiene un profesor.

En este caso, no hay una variable objetivo,
sino relaciones en los datos que se explotan
para la clasificacin (por ejemplo, patrones en
los datos).
Hebbian Learning, Vector Quantization, y
Adaptive Resonance Theory (ART)
Aprendizaje probabilstico

Mtodos tiles en la IA moderna.

Seles asigna probabilidades a los eventos,
a base de probabilidades anteriores y los
datos observados.
Aprendizaje supervisado

El propsito del algoritmo de aprendizaje

supervisado es crear una funcin de
prediccin usando los datos de
entrenamiento que generalizarn para que
los vectores de entrenamiento invisibles
los clasifiquen correctamente.
Ejemplo:ARBOLES DE DECISIN A PARTIR
DE COMPORTAMIENTO OBSERVADO.
APRENDIENDO CON ARBOLES DE DECISIN
Un rbol de decisin es el resultado de un proceso de clasificacin en el que
los datos de origen se reducen a un rbol predictor que representa un
conjunto de reglas if / then / else.
Ejemplo: tenemos registradas las acciones de un jugador FPS al enfrentarse
a su enemigo:

Arma Municin Salud Comportamiento

Pistola Completo Bajo Lucha

Pistola Bajo Completa Evade

Cuchillo Bajo Completa Lucha

Cuchillo Bajo Bajo Evade

rbol de decisin del jugador FPS

Es fcil construir un rbol de decisiones a partir de los datos de la tabla, pero con
conjuntos de datos mucho mas grandes con muchas variables predictoras, la tarea es
considerablemente mas difcil.
Funcionamiento de un rbol de decisin

El uso de un rbol de decisin se define simplemente como

comenzando en la raz y tomando el camino a travs del
rbol cuyos valores de caracterstica representan los de un
ejemplo dado. Cuando se alcanza la hoja del rbol, se ha
clasificado el ejemplo.
CREACIN DE ARBOLES DE DECISIN
El objetivo es crear un rbol simple que sea consistente con los datos de
entrenamiento. Simple puede ser ambiguo, pero tienden a ser mas fiables y
generalizar mejor.
Primero debemos determinar la raz del rbol, para esto se usa la propiedad
estadstica de la ganancia de informacin. Seleccionamos la funcin mas alta.
La ganancia de informacin se basa en la entropa y su ecuacin es la
siguiente:

Dado un conjunto de muestras (S), se toma la suma de las proporciones de S

que pertenecen a la clase I. Si todas las muestras de S pertenecen a la misma
clase I, la entropa es 0. La entropa de 1.0 define que el conjunto de
muestras (para la clase I) es completamente aleatorio.
 CREACIN DE ARBOLES DE DECISIN
Para nuestra tabla, el resultado sera el siguiente:

Con la entropa calculada para el objetivo (Comportamiento), el siguiente paso

es elegir la entidad con la mayor ganancia de informacin. Para calcular la
ganancia de informacin para una caracterstica, se utiliza la Ec. 6.2.
 CREACIN DE ARBOLES DE DECISIN
Para nuestra tabla, el resultado del clculo de la ganancia de informacin de la
funcin Municin seria:

La entropa de un valor de un atributo dado se calcula en funcin de la

caracterstica de destino. Por ejemplo, el Arma es el valor (Pistola) en dos de
cuatro ejemplos. Para los ejemplos donde Arma tiene un valor de Pistola, los
blancos se dividen entre Lucha y Evade (1/2 para cada uno). Por lo tanto, la
entropa para el valor de Pistola es:
Entropa(Sgun) = -(1/2)Log2(1/2) - (1/2)Log2(1/2)
Entropa(Sgun) = 0.5 - 0.5 = 0.0
Los resultados para el arma cuchillo son idnticos.
Por lo que el resultado de la ecuacin de Arma ser 0.
 CREACIN DE ARBOLES DE DECISIN
Siguiendo con la misma lgica, calculamos las ganancias para Municin y Salud:

La salud y el Arma tienen un empate, seleccionaremos la primera ganancia mas

grande y se usa como raz del rbol.
Bifurcacin del conjunto de datos dado una decisin de rasgo raz.
 CARACTERSTICAS DEL APRENDIZAJE
DE RBOLES DE DECISIN
Utiliza una forma codiciosa de bsqueda donde el
algoritmo selecciona el mejor atributo en cada paso
para que no vuelva a reevaluar las opciones de
atributo anteriores. Esto puede ser problemtico ya
que codicioso no significa ptimo.

El problema del algoritmo es que el resultado puede ser sub ptimo o

un rbol desequilibrado que no produce la mejor segregacin de
caractersticas.
CARACTERSTICAS DEL APRENDIZAJE DE
RBOLES DE DECISIN
Los rboles de decisiones que son grandes o que se crean a
partir de una pequea cantidad de datos de formacin
tienden a superponerse (o sobre-generalizar).

Los rboles de decisin ms grandes son ms consistentes

con los datos de entrenamiento.

Los rboles ms pequeos tienden a generalizarse mejor.

Una manera de manejar este problema es

podar los datos de entrenamiento a un
subconjunto ms pequeo para evitar el
ajuste excesivo.
VENTAJAS DE LOS RBOLES DE
DECISIN

Son muy rpidas (tienden a clasificarse en menos

decisiones que las caractersticas del conjunto de
datos) .

Son fciles de interpretar. Lo que es ms

importante, ya que un rbol de decisiones es
intrnsecamente legible, es muy fcil entender
cmo funciona la clasificacin.
 APRENDIZAJE CON SUPERVISIN
Es una tcnica para deducir una funcin a partir de datos de
entrenamiento. Aprende de los datos preclasificados (cada vector de
entrenamiento incluye la clase de destino).

OBJETIVO APREND. SUPERVISADO

Es el de crear una funcin capaz de predecir el valor correspondiente a cualquier

objeto de entrada vlida despus de haber visto una serie de ejemplos, los datos de
entrenamiento.
APRENDIZAJE SIN SUPERVISIN
El aprendizaje no supervisado .-Difiere en que no existe
ninguna variable de destino. No hay un conocimientoa priori donde
todas las variables son tratadas como insumos aleatorios y por lo
tanto el aprendizaje sin supervisin se utiliza para encontrar patrones
en los datos.

Aprendizaje no supervisado usan representaciones modlicas de los objetos a reconocer y

a clasificar. Por ejemplo una aplicacin de reconocimiento de caras podramos pasar la
fotografa como un mapa de bits pero esto seria muy costoso computacionalmente.
MODELOS DE MARKOV(1856- 1922)
La cadena de Andrey Markov.-
Esta cadena es una especie de estado probabilstico que puede
ser fcilmente entrenado dado un conjunto de datos de
entrenamiento.
Cada estado puede conducir probabilsticamente a
otros estados.
la probabilidad de que ocurra un evento depende
solamentedel evento inmediatamente anterior
La cadena de Markov
Lo que hace que las cadenas de Markov sean interesantes es que
pueden crearse fcilmente a partir de observaciones.
Ejemplo, EL HOGAR INTELIGENTE.
La casa monitorea las acciones del ocupante durante el tiempo que
el ocupante est en casa.
Cada noche, el ocupante pone la alarma para las 6 am (de domingo
a jueves). A las 6 am, despus de sonar la alarma, el monitor nota
que la luz del cuarto de bao est encendida. A travs de la
observacin, capturamos lo siguiente durante una semana de
entrenamiento:
Da laborable, 6:00 am alarma, luz-bao-encendido.
Fin de semana, sin alarma, luz-bao-apagado.
Conclusin del Ejemplo

Es visible que en das de semana, la alarma da como

resultado la observacin de que la luz del cuarto de bao
se enciende con una probabilidad de 1.0.
Con estos datos, el Hogar Inteligente podra encender la
luz del bao cuando vea el evento precursor de la alarma
apagndose.
Esta idea se puede aplicar a una gran variedad de
problemas en el mbito de la prediccin, agrupacin y
clasificacin.
Aprendizaje de palabras con cadenas de
Markov
Una cadena de Markov simple se puede utilizar para generar palabras
sintcticamente correctas razonables usando palabras conocidas para el
entrenamiento.
Para construir palabras aleatorias pero razonables se usa la probabilidad de
letras que siguen a otras letras.

Por ejemplo, si la palabra the" recopilamos cuatro puntos de datos:

La palabra comienza con la letra 't'
La letra "h" sigue la letra "t"
La letra "e" sigue la letra "h"
La letra "e" termina la palabra.
 Para cada Palabra, las transiciones
de letras se cuentan para llegar a la
representacin matricial.

La suma de las filas se calcula (se

utiliza ms adelante para la
Generacin de palabra).

Tambin se cuenta el nmero de

veces que una letra dada ocurri
primero (De nuevo, utilizado en la
generacin de palabras).

Se utiliza para identificar la letra inicial (filas) seguida de la letra

subsiguiente (columnas). Como ejemplo, consideramos la palabra as'
que est siendo analizada. Para empezar, se incrementa la celda
indicada por la transicin a-> s (fila 'a', columna 's'). Luego se incrementa
la transicin s -> 'end' (mostrada como fila 's', columna '\ 0'). Considere la
muestra de entrenamiento que consta de las palabras en ingles : mast,
tame, same, teams, team, meat, steam, and stem.
 Ahora que la matriz existe
Cmo se creara una palabra aleatoria de esta
representacin?
1 Los conteos se usan como probabilidades para determinar qu letra
usar con una letra previamente seleccionada.
2 Se genera un nmero aleatorio usando el valor de la suma como los
lmites (el nmero mximo aleatorio que se puede utilizar).

3 Con este valor aleatorio, la seleccin de rueda de ruleta se utiliza para

determinar qu letra de una fila a utilizar (representada
grficamente en la figura 6.5 para la fila 'm').

La seleccin de rueda de ruleta ve las opciones

disponibles como una rueda de ruleta. Los elementos
con probabilidad cero de seleccin no aparecen.
Aquellos con probabilidad no nula ocupan un espacio
en la rueda proporcional a su frecuencia. Por
ejemplo, con una suma de 9, la letra a se selecciona
2/9 del tiempo, o P (0.22).
Para seleccionar la rueda de ruleta, se selecciona un valor
aleatorio que sirve como lmite.

Se selecciona un punto de partida aleatorio (en este ejemplo 5, la

primera celda) y se incrementa un recuento dado el contenido de la celda
(vase la figura 6.6).
Si el recuento es mayor o igual que un valor aleatorio, entonces se
selecciona la letra. De otra manera, La rueda contina y la siguiente
ranura se acumula.

Este proceso contina hasta que el valor de recuento es igual o mayor que
el valor aleatorio.
 Cuando se satisface esta prueba, se selecciona la letra (en este caso, 'e' se
selecciona para seguir la letra 'm'). El proceso continuara para la letra 'e',
hasta que se seleccionara el carcter terminal ('\ 0') indicando que la palabra
est completa. Esto sigue a los datos de la muestra, que indica que la letra
"e" Letra 'm' 3/8's del tiempo o P (0,375)).

Lo que es til en este algoritmo es que las letras con frecuencias ms altas
(Lo que significa un mayor nmero de ocurrencias en las muestras de
entrenamiento) se seleccionan con una mayor probabilidad que las letras
con menor ocurrencia.
 GENERACIN DE PALABRAS ALEATORIAS
CON CADENAS DE MARKOV

1
Para generar una nueva palabra aleatoria es definir qu letra utilizar primero.
Para ello, se utiliza el vector (denominado recuento de primera letra ).

2
Una letra se selecciona al azar (por la discusin anterior usando la seleccin
de ruleta). Con la primera letra seleccionada, emitiremos esta letra y luego
seleccionaremos la siguiente letra usando la fila de la letra actual en la
matriz .
3
La siguiente seleccin de letras se explor en la Figura 6.6. Cuando la letra
seleccionada es el carcter NULL (o \ 0), la palabra est completa.
 Ejemplo de iteracin de la generacin de palabras.
Accin de valor aleatorio

7 Itere vector de la primera letra,' seleccione 'm'

1 Itere la matriz de la fila 'm,' seleccione 'a'
2 Itere la matriz de la fila 'a,' seleccione 't'
5 Itere la matriz de la fila 't,' seleccione 'e'
6 Itere la matriz de la fila 'e', selecciona \ 0 (NULL)
El resultado es la generacin de la palabra aleatoria
"mate que no parte del conjunto de palabras de
entrenamiento ANTERIORES
 Markov Chain
Implementation
Markov Chain Implementation

La implementacin de la cadena de Markov para la

construccin aleatoria de palabras requiere dos
componentes bsicos.
El primero es el elemento de entrenamiento que lee el
archivo de entrenamiento (llamado corpus) y construye la
representacin matricial de la letra "mquina de estado.
El segundo elemento es la generacin de palabras,
elemento que utiliza la matriz de representacin para
generar palabras aleatorias.
Markov Chain Implementation (cont.)
La construccin de la matriz de letras es un proceso que
se basa en una mquina de estado muy simple.
El primer estado, llamado START_LTR_STATE, existe para
identificar que se ha recibido una sola letra y que se
requiere otra letra para incrementar una celda. En este
estado, cuando se recibe un carcter, se incrementa el
recuento del vector de primera letra (Que identifica
cuntas veces este carcter es el primero de una palabra).
Despus Se recibe un carcter inicial, se ingresa el
siguiente estado llamado NEXT_LTR_STATE. En este
estado, los conteos de transicin se incrementan (cmo a
menudo un personaje lleva a otro).
Markov Chain Implementation (cont.)

Cuando el carcter siguiente recibido es un carcter

terminal (tal como espacio, puntuacin, etc.), estos
datos se registran (Carcter al final de una palabra),
y luego la mquina de estado retrocede Al
FIRST_LTR_STATE.
La mquina de estado se implementa en la funcin
read_corpus mencionada anteriormente. La funcin
simplemente lee cada lnea del archivo definido, y
utiliza la mquina de estado para mantener los
recuentos de transicin de letras en la matriz.
Otras aplicaciones de cadenas de Markov
Las cadenas de Markov y sus variantes se pueden
encontrar en una serie de reconocimiento del habla,
comprensin del habla, composicin musical y un nmero
de otras reas.
La simplicidad del algoritmo lo hace muy eficiente.
Los Sistema no tiene idea de los eventos para los cuales
se estn definiendo las que se aprende es la probabilidad
entre eventos dentro de un sistema.
El enfoque tambin es til desde la perspectiva del
aprendizaje asistido por humanos (con operadores
considerando la importancia de las relaciones
encontradas).
Nearest Neighbor
Classification
 Este algoritmo clasifica un patrn no visto o concepto por encontrar el patrn
ms cercano en el conjunto de datos conocidos. Esto es lo que significa el vecino
ms cercano. La clase del vecino ms cercano en el espacio de caractersticas
multidimensionales es la clase del vector de prueba. Para hallar la distancia se
usa la distancia Euclidiana.

Ejemplo: En el centro de la funcin el espacio es una nueva muestra que an no

se ha clasificado.
1NN
Calcula simplemente la distancia usando
cada caracterstica de el vector. El
algoritmo 1NN simplemente camina a
travs de cada vector de ejemplo y
calcula la distancia desde el vector de
muestra. El ms cercano vector se
utiliza entonces como la clase.
KNN
El algoritmo k-NN de
vecino ms cercano es
un gran algoritmo para
clasificar caractersticas
de vectores usando un
conjunto de ejemplos
clasificados conocidos.
 Los inconvenientes pueden incluir el tiempo de
procesamiento requerido si el conjunto de
ejemplo y el vector de caracterstica son grandes.
Su mayor ventaja es su simplicidad.