UNIVERSIDAD NACIONAL DE INGENIERÍA Temas

Facultad de Ingeniería Mecánica

Escuela Profesional de Ingeniería Mecatrónica
1. Detalles del curso
2. Artificial Intelligence (AI)
3. ¿Por qué Machine learning (ML) es alucinante?

Introduccion a Machine Learning

Paul Cárdenas Lizana, PhD

2
1
CSC 411: 01-Introducción

Información del curso Calendario Academico - 2021-2

Instructor:
Paul Cardenas Lizana (pcardenasL@uni.edu.pe)

Horas:
Lunes 20:00 a 23:00 (Teoria A/B)
Jueves 20:00 a 22:00 (Lab A)

Website:

Registrarse con sus nombres y apellidos reales!

3 4
Información del curso
● Registrarse con sus nombres y apellidos reales!
● La clase utiliza piazza para anuncios y discusiones
● La web será un buen lugar para interactuar, preguntar, discutir con el instructor,
TAs y tus compañeros
5 6
CSC 411: 01-Introducción
Textbooks
“Pattern Recognition and Machine Learning” by Christopher Bishop (2006)
Otros Textbooks:
● “An Introduction to Statistical Learning” by Trevor Hastie.
● “Machine Learning: a Probabilistic Perspective” by K. Murphy
● “Information Theory, Inference, and Learning Algorithms” by D. Mackay
● “Introduction to Machine Learning”, 2nd edition, 2010 by E. Alpaydin.
7 8
Pre-requisitos
● Algebra Lineal: manipulaciones y propiedades de vector/matriz
● Cálculo diferencial: PDE
● Probabilidad: distribuciones comunes; Regla de Bayes
● Estadísticas: mean, average, median, mode, máximo likelihood
● Programacion, e.g., Python, R, Matlab
● A First Course in Probability by Sheldon Ross
https://www.vocabulary.com/articles/chooseyourwords/mean-median-average/
Cursos populares online
1. [CS229] Machine Learning -- Andrew Ng
2. https://www.cs.cmu.edu/~awm/tutorials.html
3. https://www.edx.org/course/machine-learning-gtx-cs7641x-1
4. http://www.cs.cmu.edu/~ninamf/courses/601sp15/lectures.shtml
5. https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x-0
Sistema de Calificación: F Sistema de Calificación: F

Asignaciones (25%): Final (25%): 3 Parciales (25%): Projecto (25%):

● 4 prácticas
● Programación en Matlab/Python,
ampliar código
● Derivaciones en lápiz y papel
● Vale 25% de la nota del curso
Parcial (25%):
● Nota maxima de 20
● Vale 25% de la nota del curso
● Nota maxima de 20 ● Programación en Matlab/Python, ● Trabajo grupal o personal.
● Centrado en la segunda parte del ampliar código ● Competicion en Kaggle
curso ● Derivaciones en lápiz y papel
● Vale 50% de la nota del curso
● Vale 25% de la nota del curso
Projecto (25%): ● Nota maxima de 20
● Trabajo grupal o personal.
● Competicion en Kaggle

9 10

Lo que se va aprender durante el curso Cual es el hype de Machine learning?

1. El curso girará en torno a las siguientes preguntas

● ¿Qué es aprendizaje?
● ¿Se puede Aprender?
● ¿Cómo hacerlo?
● ¿Cómo hacerlo BIEN?

2. Con apoyo de
● Principios generales
● Técnicas avanzadas de ML Top 10 emerging jobs on LinkedIn and their growth from 2012 to 2017

● Y uso de paradigmas de aprendizaje

11 12
Donde trabajan los “machine learning engineers” Oportunidad de “machine learning engineers” en Peru

13 14

Insight Fellows Program Donde esta los $$$ de ML?

https://www.insightdatascience.com/
15 16
AI is the new electricity- Andrew Ng Que se dice de Machine learning?

● “A breakthrough in machine learning would be worth TEN Microsofts ”

(Bill Gates, Chairman, Microsoft)
● “Machine learning is the next Internet” (Tony Tether, Director, DARPA )
● “Machine learning is the hot new thing” (John Hennessy, President,
Stanford)
● “Web rankings today are mostly a matter of machine learning”
(Prabhakar Raghavan , Dir. Research, Yahoo)
● “Machine learning is going to result in a real revolution” (Greg
Papadopoulos, CTO, Sun)
● “Machine learning is today’s discontinuity” (Jerry Yang, CEO, Yahoo)
17 18

habilidades para el ML What Artificial Intelligence Can and Can’t Do Right Now

https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now
19 20
What Artificial Intelligence Can and Can’t Do Right Now What Artificial Intelligence Can and Can’t Do Right Now

● After understanding what AI can and can’t do, the next step for
executives is incorporating it into their strategies. That means
understanding where value is created and what’s hard to copy.
● The AI community is remarkably open, with most top researchers
publishing and sharing ideas and even open-source code. In this
world of open source, the scarce resources are therefore:
● Datos. Entre los principales equipos de ML, es probable que
muchos puedan replicar el software de otros en 1-2 años. Pero es
extremadamente difícil acceder a los datos de otra persona. Por lo
tanto, los datos, en lugar del software, son la barrera para muchas
empresas.
● Talento. Simplemente descargar y usar software de código abierto
a sus datos no funcionará. ML debe personalizarse según el
contexto y los datos de su negocio. Es por eso que actualmente
hay una guerra por el escaso talento que puede hacer este trabajo.

21 22

Si deseas obtener un buen salario, No hay vuelta que

Cursos complementarios online
darle, es necesario
1. Tener una comprensión firme de Probabilidades y las Estadísticas para aprender y 1. Introduction to Probability and Data
comprender los algoritmos. 2. Fundamentals of Quantitative Modelling
3. Bayesian Statistics: Techniques and Models
2. Entender temas como el descenso de gradiente, la optimización convexa, multiplicadores de 4. Decision Tree: Theory, Application and Modelling using R
Lagrange, la programación no lineal, las ecuaciones en derivadas parciales, las sumas, etc. 5. Combinatorics and Probability

3. Saber Probabilidad y Estadística, Matemáticas Aplicadas y Algoritmos de ML

4. Entender Naive Bayes, Gaussian Mixture Models, Hidden Markov Models, matrices de
confusión, curvas receiver-operator, p-values, etc.

5. Dominar las técnicas y algoritmos de ML, como k-NN, Naive Bayes, SVM y Decision Forests.

23 24
¿Cuál es la diferencia entre la inteligencia artificial, el machine
learning y el deep learning?

https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
25 26

When Will AI Exceed Human Performance?

AI vs Machine Learning Evidence from AI Experts
1. La inteligencia artificial es el estudio de agentes que perciben el mundo que les
Un informe reciente del Future of Humanity Institute encuestó a un panel de expertos
rodea, hacen planes y toman decisiones para alcanzar sus objetivos. Sus
en IA sobre el futuro y descubrió que “los expertos creen que hay un 50% de
fundamentos incluyen las matemáticas, la lógica, la filosofía, la probabilidad, la
probabilidades de que la IA supere a los humanos en todas las tareas en 45 años"
lingüística, la neurociencia y la teoría de la decisión. Muchos campos están dentro
(Grace et al, 2017) .
de la inteligencia artificial, como la visión artificial, la robótica, el machine learning y
el procesamiento del lenguaje natural (NPL)
https://arxiv.org/pdf/1705.08807.pdf
2. Machine learning es un subcampo de la inteligencia artificial. Su objetivo es
permitir que las computadoras aprendan por sí mismas. El algoritmo de ML le
permite identificar patrones en datos observados, crear modelos que expliquen el
mundo y predecir cosas sin tener reglas y modelos explícitos preprogramados. Imagen publicada en 2005.

Ahora, el 2018, cuántos de estos carteles

podrían permanecer en la pared?

27 28
 ¿Cómo podemos hacer algoritmo de reconocimiento de gatos?
¿Cómo podemos resolver un problema específico?
Podemos escribir un programa que codifica un conjunto de reglas que son
útiles para resolverlo
¿Qué es Machine learning?
¿Cómo podemos resolver un problema específico?
● Podemos escribir un programa que codifica un conjunto de reglas que son útiles
para resolverlo
● En muchos casos es muy difícil especificar las reglas,
e.g. Dada las imagenes determinar si hay un gato

29 30

Escribir las reglas para identificar a un gato Usando las reglas, quien no es un gato?

(A) (B) (C)

31 32
Definir es difícil; Reconocer es más sencillo ¿Qué es Machine learning?

1. ¿Cómo podemos resolver un problema específico?

● Podemos escribir un programa que codifica un conjunto de reglas que son
útiles para resolverlo
● En muchos casos es muy difícil especificar las reglas, e.g. Dada una imagen
determinar si hay un gato en el imagen.
2. Sistemas de aprendizaje no son directamente programados para resolver un
problema, en su lugar, se desarrollar un programa propio basado en:
● Ejemplos de cómo debería ser/comportarse
● De experiencia a base de prueba y error tratando de resolver el problema
3. Diferente al estándar CS:
Es difícil dar una definición matemática completa de un gato. ● Querer implementar una función desconocida, solamente teniendo acceso a
Incluso un niño puede distinguir entre un gato y un objeto. El muestras (ejemplos) de entrada y salida (training samples)
niño ha aprendido de datos. Aprendizaje simplemente quiere decir incorporar información de los training
33
samples al sistema 34

Tareas que requieren ML: ¿Qué hace que un número sea 2? Tareas que se benefician de ML: ¡Leer el menu en Taiwan!

The MNIST
database
35 36
CSC 411: 01-Introducción
Tareas que se benefician de ML: ¡Cocinar! Por qué utilizar ML?

1. Es difícil escribir programas para resolver problemas como reconocimiento

de un dígito escrito a mano
● ¿Qué distingue a un 2 de un 7?
● ¿Cómo resuelve esto nuestro cerebro?
People imitate the 2. En lugar de escribir un programa, recogemos ejemplos que especifican la
movement of the salida correcta para un entrada dada (learn the goal!)
human, 3. El algoritmo ML entonces toma esos ejemplos y produce un programa que
hace el trabajo
but we imitate the
● El programa producido por el algoritmo de aprendizaje puede ser muy
goal! diferente de un programa típico escrito manualmente. Y puede contener
millones de números.
https://www.youtube.com/watch?v=KQ8BkBUMH1E ● Si lo hacemos bien, el programa funciona para nuevos casos como
también para los casos donde fueron entrenados.

37 38
CSC 411: 01-Introducción

ML es muy útil en muchas tareas Ejemplos de Clasificación

1. Clasificación: Determinar en qué categoría el ejemplo pertenece

¿Qué dígito es?

39 40
Ejemplos de Clasificación Ejemplos de Clasificación

¿Es un perro? ¿Tengo diabetes, cancer, etc?

41 42

Ejemplos de Clasificación Reconocimiento de monedas de máquinas vendedoras

25
1
Masa Masa
1
50
50
10
10
¿Pasaré el curso?
Diametro Diametro

43 44
Reconocimiento de monedas de máquinas vendedoras ML es muy útil en muchas tareas
1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.

Masa

Diametro

45 46

Ejemplos de Reconocimiento de patrones (vos) Ejemplos de Reconocimiento de patrones

https://photomath.net/en/
47 48
ML es muy útil en muchas tareas Ejemplos de Sistemas de Recomendación
1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.
● Filtración colaborativa
3. Sistemas de Recomendación: datos ruidosos, pagos comerciales (e.g., ● Filtrado basado en contenido.
● Sistemas de recomendación
Amazon, Netflix).
híbridos

49 50
CSC 411: 01-Introducción Ene 11, 2016 CSC 411: 01-Introducción Ene 11, 2016

Ejemplos de sistemas de Recomendación Ejemplos de sistemas de Recomendación

51 52
CSC 411: 01-Introducción Ene 11, 2016
ML es muy útil en muchas tareas Ejemplos de Recuperación de Información
1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.
3. Sistemas de Recomendación: datos ruidosos, pagos comerciales (e.g.,
Amazon, Netflix)
4. Recuperación información: Encontrar documentos o imágenes con
contenido similar

53 54
CSC 411: 01-Introducción CSC 411: 01-Introducción

Ejemplos de Recuperación de Información Ejemplos de Recuperación de Información

55 56
CSC 411: 01-Introducción
ML es muy útil en muchas tareas Computer Vision
1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.
3. Sistemas de Recomendación: datos ruidosos, pagos comerciales (e.g.,
Amazon, Netflix)
4. Recuperación de información: Encontrar documentos o imágenes con
contenido similar
5. Computer Vision: Detección, segmentación, estimación de profundidad, flujo
óptico, etc.

57 58

Computer Vision Computer Vision

59 60
ML es muy útil en muchas tareas Conducción Autónoma
1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.
3. Sistemas de Recomendación: datos ruidosos, pagos comerciales (e.g.,
Amazon, Netflix)
4. Recuperación de información: Encontrar documentos o imágenes con
contenido similar
5. Computer Vision: Detección, segmentación, estimación de profundidad,
flujo óptico, etc.
6. Robótica: la percepción, la planificación, etc.

61 62

Robots voladores ML es muy útil en muchas tareas

1. Clasificación: Determinar la categoría discreta del ejemplo
2. Reconocimiento de patrones: Reconocimiento de voz y facial, etc.
3. Sistemas de Recomendación: datos ruidosos, pagos comerciales (e.g.,
Amazon, Netflix)
4. Recuperación de información: Encontrar documentos o imágenes con
contenido similar
5. Computer Vision: Detección, segmentación, estimación de profundidad,
flujo óptico, etc.
6. Robótica: la percepción, la planificación, etc.
7. Aprender a jugar juegos
63 64
ML es muy útil en muchas tareas
5. Reconociendo anomalías y detección de fraudes: secuencias insólitas en las
tarjetas de crédito, situación de pánico en un aeropuerto
6. Filtración de correo no deseado,: el spam se adapta, así que debemos adaptarnos
también
7. Y mucho más...
65
ML vs Data Mining
1. La minería de datos: Típicamente utiliza técnicas muy simple de ML en bases
de datos que son muy grandes porque las computadoras son también lentas
cuando hacen cosas más interesante con diez mil millones de datos.
2. Previamente usado con un sentido negativo- Cualquier procedimiento
estadístico para buscar todo tipo de relaciones en los datos hasta encontrar
uno.
3. Ahora las líneas son difusas: muchos problemas ML involucrar millones de
datos.
4. Aun los problemas de AI (e.g., reconocimiento facial, robot navegación)
todavía pertenecen al dominio de ML
67
Aprendizaje Humano
66
ML vs Estadística
1. ML usa teoría de estadística para construir modelos.
2. Mucho del descubrimiento en ML son cosas que los estadísticos ya sabían; a
menudo disfrazada/usadas por diferencias en terminología.
3. Pero el énfasis es muy diferente:
a. En estadística: Probar que un procedimiento de estimación (relativamente
sencillo) es imparcial (unbias).
b. En ML: Demostración de que un algoritmo complijo produce resultados
impresionantes en una tarea específica.
4. Podemos ver el ML como aplicación de técnicas computacionales a
problemas estadísticos. Pero va más allá de problemas estadísticos típicos y
tiene diferente objetivos (velocidad vs. exactitud).
68
 Terminologia (Robert Tibshirani) El corazón de un problema de ML

Asumimos que
ML ESTADÍSTICA
1. Existe un patrón en los datos.
1. Network, grafico 1. Modelo
2. Pesos 2. Parametros
2. No podemos especificarlo matemáticamente.
3. Aprendizaje
3. Pero tenemos los datos. (ir con cuidado)
3. Fitting (Ajuste)
4. Generalización 4. Prueba de performancia
5. Aprendizaje supervisado 5. Regresión/Clasificación
6. Aprendizaje no supervisado 6. Estimación de densidad, clustering
7. Grants: $ 1.000.000 7. Grants: $ 50,000

https://www.analyticsvidhya.com/blog/2015/07/difference-machine-learning-statistical-modeling/

69 70

El paradigma de aprendizaje Tipos de aprendizaje

Función objetivo Supervisado: La salida correcta es conocida para cada entrada
(Desconocido)
f : X→Y
Aprender a predecir la salida cuando se da un vector de entrada
Clasificación: 1 de N clases (reconocimiento de voz, reconocimiento de objetos,
diagnóstico médico)
Training examples Regresión: valor real de salida (predicción de precios de mercado, rating de
(x1 , y1 ), ... , ( xN , yN ) clientes)
No supervisado
Algoritmo Crear una representación interna de la entrada y captura de regularidades en
de Hipótesis Final la estructuras de datos
Aprendizaje g≈f
Ejemplos: formar árboles; extraer características
¿Cómo sabemos si una representación es buena?
Reforzado
Set de Hipótesis Aprender la acción para maximizar el premio
H
No hay mucha información en la señal del premio
El premio a menudo es dado con retrazo
71 72
Tipos de aprendizaje Mapa de ML

Supervised learning Unsupervised learning

● Linear classifiers
● Support vector machines
● Neural networks and deep
learning
● Nearest neighbor classifiers
● Probabilistic classifiers
● Decision trees
● Ensemble models
● Clustering
● Dimensionality reduction
Reinforcement learning
● Markov decision processes
● Value iteration
● Q learning
● Policy search

73 74