Líder Data & Analytics

Misael Lazo
@misaellazo

misaellazo

Agosto 2020
 ¿Quién soy?
• Formación Ingeniero Estadístico de la UNI
• Master of Business Administration Centrum PUCP
• Gerencia con Liderazgo – INCAE
• Data Science and Big Data Analytics – MIT
• Máster (c) Big Data & Business Analytics - UCM
• Docente de Data mining & Machine Learning
• Interesado en Data & Analytics
• Me encanta viajar
Experiencia profesional
Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles para Data Science & Use Case

Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles para Data Science & Use Case

 10 tendencias Data & Analytics 2020

Transformación de la
implementación

Aumento del valor de Escalamiento del

los Datos & Analytics Impacto en el Negocio
• Data Management: los metadatos
son la nueva nube negra es un hecho
• Cloud es un hecho
• Los mundos Data & Analytics
colisionan

• Visualización de los datos • Más inteligente, más rápida, más

• Data Market & Exchanges | Data responsable AI
Research • Declive de los tableros
• Encontrar relaciones en los datos y entre • Inteligencia de decisiones
tipos de datos • Nuevas y eficientes
infraestructuras de computación

The Age of Analytics: Competing in a Data - Driven World

Las capacidades de Datos & Analytics deben respaldar
las decisiones conocidas y desconocidas en toda la
Organización

Unknown
Expanding
Innovation
Understanding
and Exploration
and Investigating

QUESTIONS
Known

Foundational Establishing
Core Value

Known Unknown
DATA
7 © 2019 Gartner, Inc. and/or its affiliates. All rights reserved.
3 libros sobre la tendencia de Data & Analytics
• Cómo empezar: alineamiento de tecnología y
Stakeholders del negocio.
• El modelo de centro de excelencia: el riesgo de no
tener un COE, los mejores candidatos para un Big
Data COE.
• Errores que no se deben cometer en el proceso de
transformación de Big Data.
• Hoja de ruta para convertirse en competidor analítico
• Talento humano analítico y tecnológico
• Nuevas herramientas informáticas en la nube y BigData.
• Casos de éxito: Amazon, Google, Netflix, Capital One.
• ¿Qué se necesita para convertirse en una organización
basada en datos?
• Aprender a recopilar los datos correctos
• Conformar equipos con el perfil Data Discovery
• Herramientas de visualización y storytelling.
Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles para Data Science & Use Case

 Introducción de Machine Learning

Día a día se almacenan gigantescas

cantidades de datos.
El avance de la tecnología hace que se
abaraten los costos de almacenamiento de
información.
La información que se almacena no
representa mayores costos y se
almacenan con la esperanza de
analizarlos más adelante.
Es un campo de las ciencias de la computación que se encarga de “aprender” dado un
conjunto de datos. En otras palabras, se encarga de representar la estructura y
generalizar comportamientos de los datos dados.
“La máquina no aprende por sí misma, sino un algoritmo de su programación que se modifica con la
constante entrada de datos para poder predecir eventos”

Fuente: Machine Learning - Universidad de Stanford https://bit.ly/1FDMTJj

Inteligencia Artificial & Machine Learning & Deep Learning
Multidisciplinario Machine Learning
Estadística
Neurocomputacional
Reconocimiento
de Patrones

AI

Minería de Datos

Base de Datos Machine Learning

KDD
Que se necesita conocer para un Científico de Datos

Habilidades Técnicas
• Estadística / Matemáticas
• Programación (tecnológica)
• Analítica de negocio

Habilidades Blandas
• Comunicación
• Creatividad
• Intuición
• Flexibilidad
• Curiosidad
• Empatía
• Pragmatismo
Andrew Ng
CEO / Fundador Landing AI; Cofundador,
Coursera; Profesor adjunto, Universidad
de Stanford; ex científico jefe, Baidu y
líder fundador de Google Brain

Risk Analytics
DJ Patil
Ex Chief Data Scientist of USA
CEO de Devoted Health
Miembro principal de Harvard Kennedy School
Ex Chief Security Officer at LinkedIn

Risk Analytics
Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles para Data Science & Use Case

 Nubank: El unicornio de las fin-tech, una star-up data driven

Proceso de CAMBIO
Enfoque Pasado Enfoque Actual
Centralizado Descentralizado
“…nuestros clientes no compran nuestros productos, compran Un solo equipo manejaba las Muchos equipos construyen
nuestra cultura” demandas requeridas. modelos y herramientas
(SQUADS).

Enfocada en Ingeniería Conjunto diverso de skills

¿Cómo conseguimos que estos Los datos están disponibles, el

datos funcionen? manejo no debe estar limitado.

330+ 315 Muchas pruebas y errores Búsqueda de valor

engineers Micro-Services
Sobre todo experimental. Iteración RÁPIDA, siempre
buscando valor.

“Estamos alterando un sistema obsoleto y burocrático al construir un entorno

80 400 simple, seguro y 100% digital”
TB data deploys per week Rodrigo Ney
Data Engineer Managment at Nubank

https://www.slideshare.net/luisgustavomonedasantos/ml-meetup-28-nubank-data-science-past-present-and-future-sandor-caetano
Uber: Referencia World Class Advanced Analytics & AI
La columna vertebral de todo el sistema integrado es el ML e IA. Michelangelo allana el
camino para la personalización

ML-as-a-service

Zero to 100% in three years

Organizational interactions of different teams in Uber’s ML ecosystem.

Process Coordinated planning across ML teams Education

Instituting more structured processes To avoid fragmentation and technical debt Boot camps for all technical hires

https://eng.uber.com/scaling-michelangelo/
 Center of Excellence
Lleva a una organización de cero conocimiento a tener una
práctica completamente funcional de procesos de Big Data para
ofrecer resultados comerciales sólidos.

Es donde la organización identifica nuevas tecnologías, aprende

sobre nuevas habilidades y desarrolla procesos para implementar
en las otras unidades de negocios de la organización.

Un CoE centralizado es primordial para establecer una empresa

basada en datos que valore los datos como su activo
estratégico. CoE

Un CoE debe ser una función organizativa viva y en evolución

que se expande y crece a medida que evolucionan las
necesidades de la organización.

Fuente: IBM Big DataHub – Building a Big Data Center

 Data & Analytics Team
Languages: Optimización y
Linux Good stats/
escalamiento: :
math aplied
Java/ Python/
Python / Java
Scala
/ C ++

Big data

Big Data
system
Software
engineering
8 Machine Learning
Hadoop/ and system Engineer
Engineer / Spark/ NoSQL design
Data Architect

Diseñar y construir la Implementación y despliegue

infraestructura de datos de algoritmos a nivel de
Languages producción.
: Good
R/ Python stats/ math

Big Data Tools: Visualization

Hadoo Tableu/ PBI
p/
.
Spark

Data Scientist / Analizar los datos y encontrar

Business Data Analyst insights para el negocio
How to Buid a Succesfull Big Data Team/ Elephant Scale – A big data training company
Fuente: Big Data http://mattturck.com/wp-content/uploads/2018/07/Matt_Turck_FirstMark_Big_Data_Landscape_2018_Final.png
Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles para Data Science & Use Case

Metodología: CRISP – DM (Cross Industry Standard Process for DM)
[2000]
En 1999 un importante consorcio de
empresas europeas tales como NCR
(Dinamarca), AG(Alemania), OHRA
(Holanda), Teradata, SPSS, y Daimer-
Chrysler, proponen a partir de diferentes
versiones de KDD (Knowledge Discovery in
Databases) buscan establecer una
metodología de proyecto de DM.
Fase del Proyecto Data Science

Comprensión Comprensión Preparación

Modelado Evaluación Desarrollo
del Negocio de los Datos de los Datos
 Uber: The workflow of a machine learning project

https://eng.uber.com/scaling-michelangelo/
Amazon: Ciencia de datos
Metodología: Team Data Science Process
Ágil e iterativo para mejorar la colaboración y el aprendizaje en equipo

Fuente: Microsoft - Team Data Science Process (TDSP)

Administración de Proyectos Agiles
Basado en la metodología Team Data Science Process

Fuente: Microsoft - Team Data Science Process (TDSP)

Agenda
1 Contexto Data & Analytics

2 Machine Learnig & Data Science

3 Star up Data Driven & CoE

4 Machine Learning Workflow

5 Métodos Ágiles & Use Case

Prácticas ágiles
en proyectos
Data Science
 Agile describe un conjunto de principios y 35

prácticas para entregar Software

Valores
Manifiesto
Ágiles

1 2
1 / Individuos e interacciones
Sobre procesos y herramientas
2 / Software de trabajo
Sobre la documentación completa
3 4
3 / Colaboración con el Cliente
Negociación por exceso de contrato
4 / Respondiendo al cambio
Cambio de plan
 36
Beneficios de Agile

1. Innovación continua

2. Adaptabilidad del producto

3. Adaptabilidad de personas y procesos

4. Resultados confiables
 Design
Thinking
Creatividad e innovación
 “
38
Challenge

3 minutos

Convierte la mayor
cantidad de círculos
en algo reconocible
 39
Challenge

¿más de 20?

¿más de 15?
¿Alguien dibujo fuera del
circulo?
 40
Challenge
¿A alguien se le ocurrió combinar círculos?
 41
Challenge
¿A alguien se le ocurrió combinar MUCHOS círculos?
 42

¿Por qué es importante aprender

de creatividad o innovación?
 43

¿Por qué es
importante
innovar?
 44

Casos locales

Estudio de mercado
• Será mejor que la chicha de sobre por ser lanzada por Inka Kola.
• Jamás iba a superar una chicha morada casera hecha por una madre o abuela.

“Existen sabores sagrados como la chicha morada, que tocan fibras muy sensibles en el consumidor peruano.”
Alfredo Quiñones
Gerente de Marketing – The Coca Cola Perú
 45

¿Cómo abrías
esta lata hace 4
o 5 años?
 46

¿Cómo abrías
esta lata hace 4
o 5 años?
 47

Diseño pensado
en el usuario
 48

Otro caso local

 ¿Qué es
creatividad?
 50

Bloqueos
conceptuales
James L. Adams
Autor: “Conceptual Blockbusting –
A Guide to better ideas”

Bloqueos conceptuales:
“Barreras mentales que bloquean al
solucionador de problemas de percibir
correctamente un problema o concebir su
solución.”
 51
Bloqueadores de percepción
• Estereotipar – Detectar lo que ya esperas
• Dificultad en identificar el problema
• Tendencia en delimitar pobremente el área del problema
• Incapacidad de ver el problema de distintos puntos de vista

Bloqueos
conceptuales Bloqueadores culturales
• Tabús
Bloqueadores del entorno
• Ambiente adecuado
• Razón si, intuición no • Aceptar e incorporar críticas
• Lo digital es mejor • Jefes autocráticos
• La tradición es preferible al cambio • Poco soporte

Bloqueadores emocionales Bloqueadores intelectuales y de expresión

• Miedo a equivocarse, a fallar, a tomar riesgos • Resolver el problema usando el lenguaje incorrecto
• Incapacidad de tolerar la ambigüedad, deseo de seguridad • Información escasa o incorrecta
• Preferencia en juzgar ideas en lugar de generarlas • Falta de habilidad para expresar y almacenar ideas
 52

El problema de los nueve puntos

 53

Bloqueadores de creatividad

Tendencia en delimitar el área del

problema

x| Cuanto más ampliamente se pueda formular

el problema, mayor espacio habrá para la
conceptualización y su posterior solución
 54

Bloqueadores de creatividad
 55

El camino de innovador

Ciencia Arte
 56

¿Qué es innovación?
 57
El skill: Innovación

Top 10 Skills for the Future

Mentalidad de diseño
[…] se trata de centrarse en los valores humanos y desarrollar una
comprensión profunda de las personas que más le importan al problema
que estamos tratando de resolver.
A través de la práctica de la empatía.

[…] adoptar una mentalidad de diseño se convierte en un ingrediente crítico

en la capacidad de ejecutar con éxito
58
 59
Design Thinking: Empatizar

Entender a tu
stakeholder de una
manera distinta:

Empatía!
 60
Design Thinking: Empatizar
 ¿Quiénes son
sus personajes?
Mapa de Empatía (herramienta) 62

Lo que piensa
Lo que dice

Lo que siente
Lo que hace
 63
Design Thinking: Definir

¿Cuánto ¿Cuánto
conoces del sabes del
problema? usuario?

Solución
 64
Design Thinking: Idear

• Idear posible soluciones, estableciendo con el equipo.

• No poner ninguna restricción, ver fuera de la caja

• Juntar equipos multidisciplinarios

• No debe haber bloqueos conceptuales

Design Thinking: Idear
 66
Design Thinking: Prototipar
Use Case
Advanced
Analytics
World Class: Equipos multidisciplinarios 68
 Ágile para Analytics: Diferente al “Típico Agile”
Los principios ágiles se aplican a los proyectos de Advanced Analytics para maximizar
el valor en todas las etapas del proyecto.
La exploración permite la
alineación de los principales
componentes del proyecto y
facilita el acuerdo entre las
partes interesadas.
El mapeo de historias
altamente colaborativo y las
sesiones de planificación de
sprint aumentan la
comprensión de la tecnología
y las prioridades comerciales
69
Como resultado de la entrega
iterativa, el riesgo de entrega
se reduce significativamente
y generalmente se limita al
siguiente valor incremental
La metodología Agile for
Analytics enfatiza la entrega
iterativa para obtener un valor
comercial
 Plan de proyecto de caso de uso típico 70
Este plan ilustra un flujo de trabajo típico de caso de uso.
Proceso de Caso de Uso
• Lluvia de ideas / Identificar y comprender
problemas e hipótesis comerciales
• Definir factores de éxito de alto nivel.
• Comprender el proceso comercial actual
• Determinar el cumplimiento necesario
• Identificar cualquier restricción técnica,
analítica y regulatoria; plan de contingencia para
ellos
• Inventario de datos y solicitud de datos de
diseño.
• Determinar las decisiones clave que se
tomarán para el modelo.
• Declaración del alcance del proyecto
• Datos extraídos y cargados en el entorno.
• Revisar y auditar los conjuntos de datos.
• Evaluar y abordar cualquier problema de calidad
de datos.
• Identificar valores atípicos y determinar su
tratamiento.
• Determinar el manejo de valores perdidos
• Ingeniería de características, si es necesario
• Determinar la definición del comportamiento
objetivo y crear una característica variable
objetivo
• Prepare el conjunto de datos analíticos (ADS)
• Finalización del preprocesamiento de datos.
• Creación de ADS
• Hipótesis para evaluar la segmentación y la
creación de variables.
• Declaración de las decisiones clave de diseño
del marco analítico.
71
• Declaración exacta del problema comercial
• Enfoque analítico del esquema
• Realice el análisis inicial, determine cualquier
fuente de datos que deba eliminar el alcance
• Proporcionar información necesaria para la
validación del modelo; Inicio de cumplimiento de
riesgos
• Determinar la estructura conceptual del Marco
Analítico y realizar análisis de tarjetas de
puntuación.
• Realizar reducción de funciones
• Declaración de decisiones clave de diseño del
marco analítico
• Hipótesis para evaluar la segmentación y la
creación de variables.
• Plan definido para el desarrollo del marco
analítico.
Proceso de Caso de Uso
• Desarrollar algoritmo (s) por población definida
• Definir la lista final de entradas para el modelo.
• Refinar ajustes variables; transformar, definir el
manejo de valores perdidos, pisos y tapas si es
necesario
• Realice una validación de rendimiento fuera de
tiempo, si es posible para garantizar que no
haya un ajuste excesivo
• Finalizar el modelo.
• Codificar las especificaciones del modelo y
entregarlo al servicio de implementación
• Creé un modelo final
• Especificaciones completas para la
implementación de producción
• Documentación sobre el desarrollo del modelo.
• Determinar cómo el proceso de toma de
decisiones consumirá el resultado del modelo.
• Realizar Swaps Analysis w.r.t. Proceso BAU
para comprender los impactos de KPI de los
cambios en las decisiones
• Determinar los requisitos de monitoreo del
desempeño del modelo y la toma de decisiones.
• Finalizar la estrategia y completar el borrador de
la Documentación de Decisión y Estrategia
• Aplicar los duros recortes necesarios desde la
perspectiva política
• Estrategia de riesgo completada
• Requisitos y especificaciones para el desarrollo
de herramientas de monitoreo.
• Material para socializar con el cumplimiento de
riesgos y las partes interesadas.
72
• Presentaciones a las partes interesadas para
obtener comentarios y aprobaciones finales.
• Resultados de validación de producción
confirmados para igualar las expectativas
• Desarrollar herramientas de monitoreo de
decisiones.
• Documentación completa del modelo y la
estrategia que integra los comentarios de las
partes interesadas clave
• Modelo y marco de decisión que cumple con
las necesidades de política y regulación
• Documentación que satisfaga las necesidades
de cumplimiento de riesgos.