Especialización en Machine Learning

Machine Learning en la gestión de las organizaciones

Sesión 1
Docente: Esther Balbuena Alarcón
 Agenda

1. Module overview
2. Machine learning en investigación vs. en producción
3. Las 5 áreas estratégicas de casos de uso de datos
4. Hacer preguntas de negocio claves (KBQ)
Esther Balbuena Alarcón

4
 Etiqueta en zoom

● Mantener silenciado el micrófono de todos

● Las preguntas se realizan por el chat / en caso sea necesario se

habilita el micrófono

● Apreciamos que mantengan las cámaras encendidas

➔ Feedback visuales
➔ Mejor ambiente de aprendizaje
➔ Mejor sentido de con quién estás en
clase
 1. Module overview

2022: ML está en casi cada aspecto de la Vida

 Module overview

Casos de uso empresariales

Fuente: Course: Machine Learning Systems Design, Stanford

 Module overview

¿Qué es el diseño de sistemas de aprendizaje automático?

El proceso de definir la interfaz, los algoritmos, los datos, la infraestructura y

el hardware para que un sistema de aprendizaje automático satisfaga los
requisitos especificados.
 Module overview

¿Qué es el diseño de sistemas de aprendizaje automático?

El proceso de definir la interfaz, los algoritmos, los datos, la infraestructura y

el hardware para que un sistema de aprendizaje automático satisfaga los
requisitos especificados.

reliable, scalable, maintainable, adaptable

Interface

Data ML algorithms

Infrastructure

Hardware

Sistema
 Module overview

¿Por Qué diseño de sistemas de aprendizaje automático?

● Los algoritmos de ML son la parte menos problemática.

● La parte difícil es cómo hacer que los algoritmos funcionen con
otras partes para resolver problemas del mundo real.
 Module overview

¿Por qué diseño de sistemas de aprendizaje automático?

● Los algoritmos de ML son la parte menos problemática.

● La parte difícil es cómo hacer que los algoritmos funcionen con
otras partes para resolver problemas del mundo real.
 Module overview

● ¿Cómo defino mi caso de uso empresarial?

● ¿Cuál es la vinculación entre los datos y la estrategía de una organización?
● ¿Qué hago después de entrenar un modelo?
● ¿Cuáles son los componentes de un sistema de ML?
● ¿Cómo defino la calidad del dato?
● ¿Cómo hago la ingeniería de variables?
● ¿Cómo evalúo mi modelo?
● ¿Qué diferencias hay entre predicciones en línea y en batch?
● ¿Cómo disponibilizar un modelo en la nube?
● ¿Qué riesgos existen en una organización que impidan el aprovechamiento de
los datos y su valor?
● ¿Cómo reconozco la adopción de la inteligencia artificial en mi organización?
….
 Título de la
presentación

Machine Learning:
Expectation
 Título de la
presentación

Machine Learning:

Expectation Reality
 Título de la
presentación

Creación de valor de IA para 2030

13 trillones USD

Gran parte está fuera de la industria de

internet de consumo
 2. Machine learning en investigación vs. en producción

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos
 Objetivos de los Stakeholder

ML team
highest
accuracy
 Objetivos de los Stakeholder

ML team Sales
highest sells more ads
accuracy
 Objetivos de los Stakeholder

ML team Sales Product

highest sells more ads fastest
accuracy inference
 Objetivos de los Stakeholder

ML team Sales Product Manager

highest sells more ads fastest maximizes profit
accuracy inference = laying off ML
teams
 Objetivos de los Stakeholder

ML team Sales Product Manager

highest sells more ads fastest maximizes profit
accuracy inference = laying off ML
teams
 Estilo de Leaderboard ML

● Función de utilidad más completa

○ Rendimiento del modelo (por ejemplo, precisión)
○ Latencia
○ Costo de predicción
○ Interpretabilidad
○ Robustez
○ Facilidad de uso (por ejemplo, herramientas OSS, soporte comunitario)
○ Requisitos de hardware
● Adaptable a diferentes casos de uso
○ En lugar de una tabla de clasificación para cada conjunto de datos/tarea, la tabla de clasificación
se adapta a las necesidades de cada empresa
● Datasets dinámicos
https://paperswithcode.com/dataset/pwc-leaderboards
https://docs.h2o.ai/driverless-ai/latest-stable/docs/userguide/leaderboard.html
 Interpretabilidad

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos

Prioridad computacional Entrenamiento rápido, alto Inferencia rápida (generando

rendimiento. predicciones) , baja latencia

Data Estático Cambio constante

Equidad Bueno tenerlo * Importante

Interpretabilidad Bueno tenerlo * Importante

 Data

Trabajo en grupo
Será asignado a un grupo para tratar un tema

1. Preséntate
○ ¿De dónde estás llamando?
○ ¿En qué área/empresa trabajas?

2. Discutir el tema planteado

 Data

1. Para abordar este dilema, me gustaría preguntar cuáles son las estrategias utilizadas para
disminuir el 80% del tiempo dedicado a las otras etapas (organizar fuentes de datos, recolectar
muestras y preparar conjuntos de datos, compilar y validar reglas de negocios en datos)

2. ¿Cuáles son los impactos del problema de latencia? ¿Tienes algún caso práctico de este impacto
en el negocio?

3. ¿Qué es el sesgo de inteligencia artificial y a qué se debe?

https://www.campusmvp.es/recursos/post/que-peligro-implican-los-sesgos-en-los-modelos-d
e-inteligencia-artificial.aspx

4. ¿Qué peligro implican los sesgos en los modelos de inteligencia artificial?

https://www.campusmvp.es/recursos/post/que-peligro-implican-los-sesgos-en-los-modelos-d
e-inteligencia-artificial.aspx
https://www.linkedin.com/pulse/machine-learning-y-el-sesgo-en-los-datos-oscar-benitez-podl
esny/?originalSubdomain=es
 2. Machine learning en investigación vs. en producción

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos

Prioridad computacional Entrenamiento rápido, alto Inferencia rápida (generando

rendimiento. predicciones) , baja latencia
 Problemas de Latencia

● 100ms delay can hurt conversion rates by 7% (Akamai study ‘17)

● 30% increase in latency costs 0.5% conversion rate (Booking.com ‘19)

● 53% phone users will leave a page that takes >3s to load (Google ‘16)

https://www.prnewswire.com/news-releases/akamai-online-retail-performance-report-milliseconds-are-critical-300441498.html

https://booking.ai/150-successful-machine-learning-models-6-lessons-learned-at-booking-com-681e09107bec

https://www.thinkwithgoogle.com/consumer-insights/consumer-trends/mobile-site-load-time-statistics/
Problemas de Latencia
 Latencia

● Real-time: low latency = high throughput

● Batch: high latency, high throughput

 Data

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos

Prioridad computacional Entrenamiento rápido, alto Inferencia rápida (generando

rendimiento. predicciones) , baja latencia

Data Estático Cambio constante

 Data

Research Production

● Limpieza ● Desordenado
● Stático ● Cambio constante
● Mayormente data historica ● Histórico + streaming data
● Sesgado, y no sabes lo sesgado
● Privacidad + preocupaciones regulatorias
Data
 Equidad

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos

Prioridad computacional Entrenamiento rápido, alto Inferencia rápida (generando

rendimiento. predicciones) , baja latencia

Data Estático Cambio constante

Equidad Bueno tenerlo * Importante

 Equidad

El estudio de Berkeley encontró que prestamistas presenciales y en línea rechazaron un total de 1.3
millones de solicitantes negros y latinos solventes entre 2008 y 2015. Los investigadores dijeron que
creen que los solicitantes "habrían sido aceptados si el solicitante no hubiera estado en estos grupos
minoritarios". ." Eso es porque cuando usaron los puntajes de ingresos y crédito de las solicitudes
rechazadas pero eliminaron los identificadores de raza, la solicitud de hipoteca fue aceptada.

https://www.cbsnews.com/news/mortgage-discrimination-black-and-latino-paying-millions-more-in-interest-study-shows/

https://www.linkedin.com/pulse/machine-learning-y-el-sesgo-en-los-datos-oscar-benitez-podlesny/?originalSubdomain=es
 Interpretabilidad

Investigación / Producción
Experimentación
Objectivos Performance del modelo Diferentes stakeholders tienen
diferentes objetivos

Prioridad computacional Entrenamiento rápido, alto Inferencia rápida (generando

rendimiento. predicciones) , baja latencia

Data Estático Cambio constante

Equidad Bueno tenerlo * Importante

Interpretabilidad Bueno tenerlo * Importante

 Interpretabilidad

Encuesta de Zoom:
¿Cuál querrías como tu cirujano?
 3. Las 5 áreas estratégicas de casos de uso de datos

Para que los datos sean valiosos para su

negocio, deben ayudarlo a:
• Abordar ciertas necesidades
comerciales.
• Resuelva sus mayores desafíos.
• Logre sus objetivos estratégicos

Activo para Activo para

el negocio TI
 Las 5 áreas estratégicas de casos de uso de datos

1- Usar datos para tomar decisiones mejor informadas y basadas en hechos.

2- Ayudándole a entender sus mercados y clientes.

3- Usar datos para ofrecer servicios más inteligentes y productos inteligentes.

4- Usar datos para mejorar y automatizar sus procesos comerciales.

5- Monetización del dato.

 Toma de decisiones basada en datos

Dos elementos claves

1. Auto- servicio: 2. Dashboards seleccionados:

Acceso de mayor data a más usuarios donde Las compañías requieren tener claro que data
ellos puedes usarla y responder sus preguntas deben presentar a sus usuarios.
de negocio
 Toma de decisiones basada en datos

Responder preguntas
claves de negocio

Dirigir a acciones que

mejoren los resultados
 Desafíos del autoservicio

1- Construir la cultura adecuada de toma de decisiones delegada.

Los usuarios deben estar empoderados y sentir que pueden contribuir al proceso de toma de
decisiones.

2- Asegurar una mejor alfabetización de datos

Los usuarios deben tener una base sólida en habilidades relacionadas con los datos. Esto
requiere capacitación sobre el manejo de datos.

3- Proporcionar las herramientas adecuadas

Además de la capacitación, debe proporcionar las herramientas y el software adecuados para
que puedan trabajar con los datos de la manera correcta. Nuevas herramientas requieren
capacitación adicional.

4. Proporcionar acceso a la calidad adecuada de los datos

• Utilice una única fuente de información

• Invertir en la gestión de datos maestros
• Realizar auditorías de datos
 4. Hacer preguntas de negocio claves (KBQ)

Para tomar decisiones basadas en datos, primero debemos definir las preguntas que deben
responderse.

¿Cuáles son las preguntas comerciales clave?

1- KBQ captura las necesidades de información del negocio.

2- KBQ son las preguntas sin respuesta más importantes a las que los gerentes quieren
respuestas.

3- Los KBQ brindan orientación para recopilar datos significativos y relevantes.

4- KBQ pone los datos en contexto facilitando la comunicación y la toma de decisiones directa
 6 PASOS (KBQ)

1- Empieza con la estrategia

a. Aclarar los objetivos estratégicos.
b. Comience a elaborar KBQ.

Ejemplo:
Objetivo: mejorar la cuota de mercado del producto X

Posibles KBQ:
I. ¿Cuál es nuestra cuota de mercado?
 6 PASOS (KBQ)

1- Empieza con la estrategia

a. Aclarar los objetivos estratégicos.
b. Comience a elaborar KBQ.

Ejemplo:
Objetivo: mejorar la cuota de mercado del producto X

Posibles KBQ:
I. ¿Cuál es nuestra cuota de mercado?
II. ¿Quiénes son nuestros principales competidores?
tercero ¿Cuáles de nuestros productos tienen una tendencia alcista o bajista en el mercado?
IV. ¿Habrá demanda del servicio X en 5 años?
V. ¿Cuál es el mejor precio para nuestros productos y servicios?
VI. ¿Qué canales de marketing y ventas son más efectivos?

KBQ clave:
I. ¿En qué medida estamos aumentando nuestra participación de mercado relativa para el
producto X?
II. ¿Cuáles son los factores que hacen que nuestros clientes nos compren VS nuestros
competidores?
 6 PASOS (KBQ)

¿Quiénes son los clientes más rentables?

Rentabilidad de los clientes por los diferentes servicios:

Rentabilidad en el largo plazo

¿Cuál es el valor del tiempo de

vida de nuestros clientes?

Analiza y predice el valor de

tiempo de vida al incorporar
Machine Learming
 6 PASOS (KBQ)

2- Involucrar a las personas en el diseño de los KBQ

• No diseñe KBQ solo en la sala de juntas.

• Involucre a un grupo más amplio y pregúnteles: “¿Qué preguntas creen que son las más
importante?"
• Recopile comentarios sobre los KBQ diseñados de expertos en la materia.
 6 PASOS (KBQ)
3- Intente formular sus KBQ como preguntas abiertas

Hay 2 tipos de preguntas:

Preguntas cerradas y abiertas. Difieren en carácter, uso y respuesta.

• Preguntas cerradas
- Buscar una respuesta corta y específica como una sola palabra o una frase corta. P.ej. Si no
preguntas
- Fácil de responder
- Buscar hechos simples como ¿Qué, Cuándo, Dónde?
- La persona que hizo la pregunta tiene el control de la conversación. Por ejemplo:
¿Nuestros clientes están satisfechos?
• Preguntas abiertas
- Buscar una respuesta abierta.
- Invitar al encuestado a pensamientos, explicaciones y opiniones expresadas.
- A menudo comienzan con qué, por qué, cómo y describen.
- El entrevistado tiene el control de la conversación.
Ejemplo:
¿Qué impulsa la satisfacción del cliente?
 6 PASOS (KBQ)

4- Concentre su KBQ en el presente y el futuro Pregunte:

¿En qué medida estamos aumentando nuestra cuota de mercado? en vez de:
¿Aumentamos nuestra cuota de mercado?

5- Mantenga sus KBQ breves y claras

• Utilice sólo una pregunta.

• Utilice un lenguaje claro, sin jerga ni abreviaturas.
• Manténgase alejado de las palabras de moda de la gerencia.

6- Refinar las KBQ mediante el uso

• Refinar
• Mayor foco
 Evaluación

● Participación en clase (10%)

● Prueba (40%) - Examen en el aula virtual

● Proyecto Final (50%)