APRENDIZAJE COMPUTACIONAL

INTRODUCCION AL APRENDIZAJE AUTOMATICO

Oswaldo Velez-Langs, PhD
oswaldovelez@correo.unicordoba.edu.co

Web:

AGENDA

• Introducción
• Predicción
• Modelos de Aprendizaje
• Problemas de Aprendizaje
• Diferencias de enfoques
• Cuestiones

Aprendizaje Autom
–2– 10 Ing. Sist de Inf.
OV

1
 Introducción

En un contexto Amplio..
• Qué es el aprendizaje? (en cualquier forma que se entienda este)
• Sus principios son “universales”
– Sociedad (comunidad científica)
– Animal
– Humano
• La clave radica en el predecir

Aprendizaje Autom
–3– 10 Ing. Sist de Inf.
OV

Introducción

Disciplinas interactuantes en el AA

Inteligencia
Artificial Métodos
Estadística Bayesianos

Teoría de
Psicología y AA La Complejidad
Neurobiología Computacional

Teoría de
Filosofía Teoría de Control
La Información

Aprendizaje Autom
–4– 10 Ing. Sist de Inf.
OV

2
 Enfoque tradicional
Datos
Computador Salida
Programa

Enfoque Aprendizaje

Datos
Computador Programa
Salida

“El Aprendizaje Computacional se refiere a un

Sistema capaz de adquirir e integrar de forma autonoma conocimiento”

Porqué el Aprendizaje Automático?

• No hay expertos humanos

– Control/manufactura industrial
– Análisis de espectometría de masa, diseño de drogas,
descubrimiento astronónmico
• Experticia humana como caja negra
– Reconocimiento de rostros, de letra escrita del habla
– Manejar un auto, volar un avión
• Fenomenos que cambian con rapidez
– Asignación de puntaje de credito
– diagnostico, detección de fraude
• Necesidad de personalizar/personalization
– Noticias personalizadas
– Recomendación de libros, musica,peliculas

3
 PREDICCION

• Casi siempre estamos haciendo predicciones (pero

raramente nos cuestionamos sobre los procesos
que soportan estas mismas)
• Para automatizar el proceso de predecir debemos
(además de buscar y refinar teorías) también
entender el cómo

Aprendizaje Autom
–7– 10 Ing. Sist de Inf.
OV

PREDICCION

• Aprendizaje de Maquinas Estadístico

• Principios, métodos y algoritmos para aprender y predecir en base a la
experiencia del pasado
• Podemos hallarlo en:
– Reconocimiento de voz
– Reconocimiento de la letra escrita
– Recuperacion de Informacion
– S.O
– Compiladores
– Detección de fraudes
– Seguridad

Aprendizaje Autom
–8– 10 Ing. Sist de Inf.
OV

4
 PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura

Aprendizaje Autom
–9– 10 Ing. Sist de Inf.
OV

PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos
– Suposiciones
– Representación
– Estimación
– Evaluación
– Selección de un Modelo

Aprendizaje Autom
– 10 – 10 Ing. Sist de Inf.
OV

5
 PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?

Aprendizaje Autom
– 11 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?

Aprendizaje Autom
– 12 – 10 Ing. Sist de Inf.
OV

6
 PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?

Aprendizaje Autom
– 13 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus notas?

Aprendizaje Autom
– 14 – 10 Ing. Sist de Inf.
OV

7
 PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus notas?
– Evaluación: Qué tan bien estamos prediciendo?

Aprendizaje Autom
– 15 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus notas?
– Evaluación: Qué tan bien estamos prediciendo?
– Modelo: Quizás podríamos hacerlo aún mejor?

Aprendizaje Autom
– 16 – 10 Ing. Sist de Inf.
OV

8
 PREDICCION

• Ejemplo Predecir las notas que serán obtenidas por los estudiantes de esta
asignatura
• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
• Datos de estudiantes en cursos de AA anteriores
• Registro académico de los estudiantes aquí matriculados

Aprendizaje Autom
– 17 – 10 Ing. Sist de Inf.
OV

PREDICCION

– Datos : De que experiencia pasada

podemos depender? Est. AA Curso A
• Datos de estudiantes en cursos de
AA anteriores
• Registro académico de los
estudiantes aquí matriculados Juan Not Sob

Pedro Sob Apr

Victor Not Apr

Datos de Entrenamiento

Aprendizaje Autom
– 18 – 10 Ing. Sist de Inf.
OV

9
 PREDICCION

– Datos : De que experiencia pasada

podemos depender? Est. AA Curso A
• Datos de estudiantes en
cursos de AA anteriores
• Registro académico de los
Juan ? Sob
estudiantes aquí matriculados

Manuel ? Apr

Victor ? Apr

Datos de Prueba

Aprendizaje Autom
– 19 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los
estudiantes o el curso?
• Hay muchas suposiciones que podemos hacer para facilitar la
predicción
– el curso ha sido aproximadamente el mismo sobre los distintos
años
– Cada estudiante tiene un desempeño que es independiente del de
los otros

Aprendizaje Autom
– 20 – 10 Ing. Sist de Inf.
OV

10
 PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o
el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
• Los registros académicos pueden ser bastante diversos nos límitaríamos a
escoger pocos cursos, podemos representar un estudiante como un vector:
• Xi=[ABC]

Aprendizaje Autom
– 21 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Pasos Claves Dado el conjunto entrenamiento

– Datos : De que experiencia pasada
podemos depender? Est. AA
– Suposiciones: Que tipo de suposiciones
podemos hacer sobre los estudiantes o el
curso? X1 Sob
– Representación: Como podemos
“sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un
X2 Apr
mapeo desde los estudiantes hasta sus
notas?

X3 Apr

Necesitamos mapear de los vectores de entrada Xs a etiquetas Y

que codifiquen las notas de los estudiantes
Aprendizaje Autom
– 22 – 10 Ing. Sist de Inf.
OV

11
 PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los
estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta
sus notas?

Posible solución (Clasificador más cercano):

• Para cualquier X podemos tomar el Xi más cercano en el conjunto
de entrenamiento
• Predecimos Yi del estudiante más cercano

Aprendizaje Autom
– 23 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o
el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus
notas?
– Evaluación: Qué tan bien estamos prediciendo?
• Podemos esperar hasta el fin el cuso
• podemos tratar de valorar la certeza con base en los datos que ya tenemos

Aprendizaje Autom
– 24 – 10 Ing. Sist de Inf.
OV

12
 PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus notas?
– Evaluación: Qué tan bien estamos prediciendo?
• Podemos esperar hasta el fin el cuso
• podemos tratar de valorar la certeza con base en los datos que ya tenemos
Posible Solución:
• Dividir los datos en entrenamiento y prueba
• Evaluar el clasificador en base a este conjunto prueba

Aprendizaje Autom
– 25 – 10 Ing. Sist de Inf.
OV

PREDICCION

• Pasos Claves
– Datos : De que experiencia pasada podemos depender?
– Suposiciones: Que tipo de suposiciones podemos hacer sobre los estudiantes o
el curso?
– Representación: Como podemos “sintetizar” o “resumir a un estudiante?
– Estimación: Cómo podemos obtener un mapeo desde los estudiantes hasta sus
notas?
– Evaluación: Qué tan bien estamos prediciendo?
– Modelo: Quizás podríamos hacerlo aún mejor?
• Podemos refinar el algoritmo del clasificador
• Aumentar la representación (diversos cursos)
• Haciendo otras suposiciones (los estudiantes trabajan en grupo)

Aprendizaje Autom
– 26 – 10 Ing. Sist de Inf.
OV

13
 PREDICCION

DATOS SUPOSICIONES

MODELO REPRESENTACION

EVALUACION ESTIMACION

Aprendizaje Autom
– 27 – 10 Ing. Sist de Inf.
OV

PREDICCION

Como colofón debemos anotar que los ejemplo de entrenamiento pueden

verse como pares de entradas (problemas) y salidas (soluciones) del
sistema que se quiere construir, luego un algoritmo de AA no
pretenderá ahondar en el conocimiento profundo de los fenómenos
(semántica) sino que trata de inducir las reglas generales,
sintacticamente plausibles que se siguen

Aprendizaje Autom
– 28 – 10 Ing. Sist de Inf.
OV

14
 MODELOS DE APRENDIZAJE

Hay diversas cosas que un modelo de aprendizaje debe especificar:

– El aprendiz: Quien esta aprendiendo? En este sentido sería nuestro
programa de computador. A menudo un aprendiz es restringido por
ejemplo que se desempeñe en tiempo polinomial y use un monto de
memoria concreto
– Dominio: Que esta siendo aprendido? P.ej. el aprendiz puede estar
tratando de aprender un concepto desconocido o aprendiendo una regla
que le diga si algo esta o no esta en un conjunto dado
– Información Origen: De donde aprende el aprendiz? Como se informa
del dominio el aprendiz? Hay diversos enfoques como aprender de
ejemplos (positivos o negativos), aprender de preguntas al “maestro”,
aprender de la experimentación

Aprendizaje Autom
– 29 – 10 Ing. Sist de Inf.
OV

Arcquitectura de un Sistema de Aprendizaje

realimentación Desempeño standar

critica

cambios ENTORNO
Elemento Elemento de
a aprender desempeño acciones
conocimiento
Meta del Aprendizaje

Generador del
problema

15
 MODELOS DE APRENDIZAJE

– En la experimentación hay un aspecto importante que es cuando el

dominio maneja información corrupta o ruidosa, por ejemplo un
estudiante de medicina puede estar tratando de aprender a diagnosticar
cancer pulmonar de raidografias, esta tomando ejemplos de un doctor que
las ha catalogado como positivas o negativas, si el doctor se ha
equivocado hay un caso de información corrupta

• Conocimiento Inicial: Que conoce a prori el aprendiz del dominio? Esto

restringe las incertidumbres y/o sesgos del aprendiz sobre el dominio

Aprendizaje Autom
– 31 – 10 Ing. Sist de Inf.
OV

TIPOS DE PROBLEMAS DE APRENDIZAJE

• Una breve (y un poco desactualizada) forma de clasificación de los

problemas de aprendizaje
– Aprendizaje Supervisado: Tenemos un conjunto de entradas y de
salidas
– Aprendizaje No Supervisado: Estamos interesados en capturar el
tipo de organización que esta inherente en los datos (clustering,
estimación de densidad)
– Aprendizaje Reforzado: Obtenemos retroalimentación de lo que
estamos haciendo, no que estamos haciendo (planeación)

Aprendizaje Autom
– 32 – 10 Ing. Sist de Inf.
OV

16
 Aprendizaje Supervisado

Problema: Se induce una representación de una función

(relación entre entradas y salidas) de ejemplos.

• Función objetof: X → Y
• ejemplo (x,f(x))
• hipotesis g: X → Y tal que g(x) = f(x)

x = conjunto de atributos
x = sentencias lógicas

Y = conjuntos de etiquetas (clasificacion)

Y =  (regresion)

Modelos de Vecino Más Cercano

Idea Clave: Las propiedades de una entrada x probablemente

son similares a aquellas de los puntos que son vecinos de
x.

Idea Básica: Encontrar (k) vecinos cercanos de x e inferir los

atributos de x basadonse en los atributos de estos.

17
 TIPOS DE PROBLEMAS DE APRENDIZAJE

– Aprendizaje Supervisado: Tenemos un conjunto de entradas y

de salidas

Aprendizaje Autom
– 35 – 10 Ing. Sist de Inf.
OV

Aprendizaje No supervisado

Aprende patrones de datos no etiquetados

Enfoques
• clustering (basado en la similaridas)
• Estimacion de densidades de probabilidad(algoritmo EM)

Tareas
• Entendimiento y visualización
• Detección de anomalías
• Recuperación de información
• Comprension de datos

18
 TIPOS DE PROBLEMAS DE APRENDIZAJE

– Aprendizaje No Supervisado: Estamos interesados en

capturar el tipo de organización que esta inherente en los
datos (clustering, estimación de densidad)
– De nuevo los digitos…

Queremos entender el proceso de generación de los dígitos Aprendizaje Autom

– 37 – 10 Ing. Sist de Inf.
OV

Aprendizaje Supervisado

Problema: Se induce una representación de una función

(relción entre entradas y salidas) de ejemplos.

• Función objetof: X → Y
• ejemplo (x,f(x))
• hipotesis g: X → Y tal que g(x) = f(x)

x = conjunto de atributos
x = sentencias lógicas

Y = conjuntos de etiquetas (clasificacion)

Y =  (regresion)

19
 PROBLEMA DE APRENDIZAJE

DEFINICION
En el sentido visto hasta aquí será el del proceso llevado a cabo por un
ordenador que es capaz de resolver el problema de:
“Sintetizar procedimientos computables capaces de realizar tareas de las
cuales sólo tenemos descripciones parciales sobre el modo en que nos
gustaría que se llevasen a cabo”

Aprendizaje Autom
– 39 – 10 Ing. Sist de Inf.
OV

PROBLEMA DE APRENDIZAJE

Algoritmo abstracto de aprendizaje

Definición más simple: Algoritmo que mejora el desempeño que hace sobre una
tarea en concreto, basándose en la experiencia en el dominio de la tarea
Aprendizaje Autom
– 40 – 10 Ing. Sist de Inf.
OV

20
 PROBLEMA DE APRENDIZAJE

Aprendizaje mejorar con la experiencia en la realización de una tarea de la tarea

T, con respecto a una medida del rendimiento R, a partir de la experiencia E
• Ejemplo: jugar a las damas
– T: jugar a las damas
– R: porcentaje de partidas ganadas en el campeonato mundial
– E: partidas que el sistema juega contra sí mismo
• Ejemplo: reconocimiento de escritura
– T: reconocer palabras escritas a mano dadas como mapas de bits
– R: porcentaje de palabras identificadas correctamente
– E: una colección de mapas de bits junto con las palabras que representan
• Ejemplo: conducción de vehículos
– T: conducir en una autopista utilizando sensores de visión
– R: distancia recorrida antes de cometer un error
– E: secuencias de imágenes junto con los movimientos de volante
realizados

Aprendizaje Autom
– 41 – 10 Ing. Sist de Inf.
OV

Evaluacion

• Dividir los datos aletoriamente en conjuntos de entrenamiento (U) y

prueba (V).
• Usar el entrenamiento para aprender una hipotesis H.
• Medir el % de V correctamente clasificados por H.
• Repetir para diferentes divisiones y promediar los resultados.

21
Evaluacion: Curvas de Aprendizaje

Precision de la clasificacion

Error clasificación

#training examples

Evaluacion: Curvas ROC

falsos negativos

falsos positivos

22
 Evaluacion: Precisión/Cubrimiento

precisión

cubrimiento

Cuestiones

• Qué algoritmos sirven para obtener buenas aproximaciones de las

funciones a aprender?
• Cómo influye el número de ejemplos de entrenamiento?
• Cómo afecta la complejidad de la representación?
• Cómo influye el ruido en los datos
• ¿ Se puede utilizar conocimiento previo ?
• ¿ Se puede cambiar la representación dinámicamente ?

Aprendizaje Autom
– 46 – 10 Ing. Sist de Inf.
OV

23
 PROBLEMA DE APRENDIZAJE

PLANTEAMIENTO

PROBLEMA

ORDENADOR
Indicaciones no
estructuradas
de lo que hay Algoritmo de AM Mecanismo que
que hacer resuelve problemas

Solución

Aprendizaje Autom
– 47 – 10 Ing. Sist de Inf.
OV

PROBLEMA DE APRENDIZAJE

EJEMPLO: SINTESIS DE CONOCIMIENTO EXPLICITO

Aprendizaje Autom
– 48 – 10 Ing. Sist de Inf.
OV

24
 DIFERENCIAS EN LOS ENFOQUES

Independientemente de las clasificaciones académicas hechas, lo que en

verdad puede importar al usuario final es la filosofía de las soluciones
calculadas y aquí caben al menos las sgtes.:
– Aplicación: Distancias mínimas o ajustes exactos
– Geometría de la regiones de decisión: paralelos u oblicuos
– Numero de reglas (hojas del árbol) de decisión

Aprendizaje Autom
– 49 – 10 Ing. Sist de Inf.
OV

25