Metodologías

en la
Ciencia de Datos
Docente: Brian Clemente Rivera
Sesión 06·
De la Implementación
a la Retroalimentación
De Implementación a Retroalimentación

Contenido:

• Metodología Fundamental de Ciencia de Datos

• Implementación del Modelo

• Retroalimentación del Modelo

• Desarrollo de Casos de Estudio

Metodología Fundamental

Esta metodología de IBM, desarrollada por el Data Scientist John Rollis,

tiene algunas similitudes con CRISP-DM, pero proporciona una serie de
nuevas prácticas.

Está basada en 10 etapas que ilustran una naturaleza iterativa del

proceso de ciencia de datos, con varias fases unidas por ciclos cerrados, las
cuales son:

1. Comprensión del Negocio. 6. Preparación de Datos

2. Enfoque Analítico. 7. Modelamiento
3. Requisitos de Datos. 8. Evaluación

4. Recopilación de Datos. 9. Implementación

5. Comprensión de Datos 10. Retroalimentación
Metodología CRISP-DM
Metodología Fundamental
Implementación del Modelo

Los científicos de datos deben familiarizar a las partes interesadas con la

herramienta producida en diferentes escenarios, por lo que una vez que se
evalúa el modelo y se confía en que funcionará, se implementa y se pone a
prueba.

Esta es la novena etapa de la metodología de la ciencia de datos, la cual responda a

la siguiente interrogante: “¿Puedes poner en práctica el modelo?”
Implementación del Modelo

Dependiendo de los requisitos, la fase de implementación puede ser:

Tan simple como Tan compleja como

generar un informe. implementar un proceso de
Machine Learning

Además, para generar confianza en su aplicación, se pueden hacer entornos

de prueba o trabajar con un grupo limitado de usuarios.
Impacto en la Organización

• Si bien un modelo de machine learning

proporcionará una respuesta, la clave para
hacer que la respuesta sea relevante y útil
para abordar la pregunta inicial implica
familiarizar a las partes interesadas con
la herramienta producida.

• En un escenario empresarial, las partes

interesadas tienen diferentes
especialidades que ayudarán a que esto
suceda, como el propietario de la solución, el
marketing, los desarrolladores de
aplicaciones y la administración de TI.
Implementación en Sistemas de TI

A menudo, los sistemas de TI de una organización son incompatibles con los

lenguajes tradicionales de construcción de modelos, lo que obliga a los
científicos de datos y a los programadores a dedicar un tiempo valioso y su
capacidad intelectual a reescribirlos.
Pasos en la Implementación de Modelos

Entre los pasos recomendados que se deben de seguir para preparar su modelo
para la implementación se encuentran:

Preparar y configurar la Acceder a datos internos

canalización de datos (históricos) y externos apropiados
• Validando que los canales de datos • Debe asegurarse de que está
estén estructurados de manera operando con los mejores datos
eficiente y sean capaces de posibles, de las fuentes más
proporcionar datos relevantes y de alta apropiadas, desde el principio hasta
calidad. el momento de su lanzamiento.

Planificar y rediseñar protocolos de Crear potentes herramientas de

supervisión y reentrenamiento
• Verificar que los resultados del
modelo sean precisos y también que
los datos que está cargando se
mantendrán consistentes
relevantes a lo largo del tiempo.
automatización de pruebas
• Las implementación de un modelo es
un proceso que requiere de tiempo, y
para evitar la ralentización es
y importante automatizar todo lo
posible en este flujo.
Ejemplo de Implementación de Modelo
Problemas después de la Implementación

Cuando el modelo de ML se encuentra con el mundo real, pueden

surgir una variedad de problemas, ya sea inmediatamente o después de
algún tiempo en producción, alguno de esos serán:

1. Discrepancia de datos entre el desarrollo y la producción de los

modelos: Cuando estos ya se aplican en el mundo real.

2. Problemas de integridad de los datos: El formato, los nombres de

campos o fuentes de datos puede cambiar con el tiempo, lo que puede
tener un efecto dramático en el rendimiento de su modelo.

3. Problemas de servicio: Finalmente, es posible que su modelo no esté

recibiendo el tráfico que espera que reciba, o que la latencia del modelo
sea tan alta que las predicciones no se estén incorporando en el sistema
como se esperaba.
Retroalimentación del Modelo

Una vez implementado el modelo, los comentarios de los usuarios ayudarán a

perfeccionar el modelo y evaluar su rendimiento e impacto. Su valor
dependerá de que se incorpore correctamente la retroalimentación y se
realicen ajustes durante el tiempo que se requiera.

Esta es la décima y última etapa de la metodología de la ciencia de datos, la cual

responda a la siguiente interrogante: “¿Puede obtener comentarios constructivos
para responder la pregunta?”
Importancia de la Retroalimentación

El proceso de retroalimentación se basa en la noción de que, cuanto más sepa,

más querrá saber; así lo vió John Rollis cuya metodología ilustra la naturaleza
iterativa del proceso de resolución de problemas.

Al recopilar los Al analizar esta Se debe automatizar

resultados del modelo información, el los cambios, ajustes y
implementado, se científico de datos la reimplementación
recibe feedback sobre puede refinar el del modelo para
su desempeño y su modelo, aumentando acelerar el proceso de
impacto en el entorno su precisión y, por lo actualización del
de implementación. tanto, su utilidad. modelo.
Actividad: Casos de Estudios

En grupos, para cada uno los 3 casos asignados:

Grupo 1: Servicios Post Venta

Grupo 2: Recomendaciones para Compras Futuras
Grupo 3: Envío de Newsletters

1. Identificar el problema de negocio, enfoque analítico, tratamiento

de datos y tipo de modelo planteado en el caso.

2. ¿Se ha realizado una correcta implementación del modelo? ¿Tienen

alguna sugerencia con respecto a los pasos seguidos en este proceso?

3. ¿Qué hallazgos se detectaron en la etapa de retroalimentación? ¿Los

modelos están ayudando al problema? ¿Se debe revisar lo implementado?

Luego discutiremos los resultados en clases.

Resumen: Implementación y Feedback

Cuando el modelo satisfactorio ha sido desarrollado y aprobado

por los promotores del negocio, se implementa en el entorno de
producción o en un entorno de pruebas comparable. Por lo general, se
implementa de forma limitada hasta que su rendimiento se haya
evaluado completamente.

Su implementación puede ser tan fácil como generar un informe con

recomendaciones, o tan enrevesado como incrustar el modelo en una
aplicación personalizada. La implementación de un modelo en un
proceso operativo empresarial generalmente involucra a grupos,
habilidades y tecnologías adicionales dentro de la empresa.

Al recopilar los resultados, la organización obtiene retroalimen-

tación sobre el rendimiento del modelo y su impacto en el entorno
en el que se implementó. Los científicos de datos pueden analizar esta
retroalimentación para ajustar el modelo para mejorar su precisión y
utilidad; incluso, pueden automatizar algunos procedimientos.
Resumen Metodología de Ciencia de Datos

El flujo de la metodología ilustra la naturaleza iterativa del

proceso de resolución de problemas. Los científicos de datos
vuelven frecuentemente a etapas previas para realizar ajustes a
medida que van aprendiendo más sobre los datos y el modelado.

Los modelos no se crean una vez, se implementan y se dejan en

su lugar tal como están; en vez de eso, se mejoran y se adaptan
constantemente a las condiciones cambiantes a través de
retroalimentación, ajustes y reimplementaciones.

De esta manera, tanto el modelo como su trabajo pueden

proporcionar un valor continuo a la organización mientras la
solución sea necesaria.