Inteligencia de Negocios

Clase 5
 Contenidos

• Evaluación e interpretación
• Evaluación de modelos
• Evaluación de modelos clasificadores
• Evaluación de modelos regresivos
• Interpretación de Resultados
• Apoyo a la Toma de Decisiones

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Evaluación e Interpretación
• La Evaluación de los Modelos es distinta a la Interpretación de los
Resultados.

• La evaluación del modelo está asociada a la validación del

aprendizaje de la máquina.

• La interpretación de resultados depende del problema que se esté

resolviendo en términos del negocio. El modelo puede tener buenos
resultados en cuanto al aprendizaje, pero podría no se aplicable a la
realidad del negocio. Se debe revisar el punto de equilibrio de la
aplicación del modelo en un entorno real.

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Evaluación de un modelo
• Un modelo predictivo se evalúa de acuerdo al tipo, ya que se evalúa
de distinta forma un clasificador comparado con uno de regresión,
es decir, si la salida es nominal o discreta comparado con un modelo
de salida numérica o contínua.

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Evaluación de un modelo clasificador
• Un modelo predictivo clasificador se evalúa de acuerdo a su matriz
de confusión.

Predichos o estimados
Positivos Negativos
Verdaderos Falsos Positivos Observados
Positivos Negativos o
Falsos Verdaderos Negativos Reales
Positivos Negativos
Matriz de Confusión
Inteligencia de Negocios - Claudio Henríquez Berroeta
 Evaluación de un modelo clasificador (2)
• Indicadores de un modelo
!
• Sensibilidad del modelo: !"#
• Especificidad del modelo:
$ Estimados
%"$
!"$ Positivos Negativos
• Precisión:
!"#"%"$ a b Positivos

Reales
c d Negativos

Matriz de Confusión

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Precisión de un modelo clasificador
• En modelos con incertidumbre, consideraremos una precisión del
modelo entre 0,7 y 0,9. Esto quiere decir entre un 70% y un 90%.
• Esto se debe a que el modelo requiere un grado de flexibilidad a
encontrar patrones dentro de un problema con incertidumbre.
• Ejemplo:
• En marketing focalizado, queremos encontrar potenciales clientes que
anteriormente no hayan aceptado ofertas, pero que en un futuro puedan
tener conductas de aceptación. Esto hace que el modelo encuentre
patrones de compra en clientes que no compran. Por lo que si el modelo
tuviera una precisión de 1 (equivalente al 100%) no entregaría
información relevante nueva.

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Sensibilidad de un modelo clasificador
• La sensibilidad está orientada al valor de la clase que es objetivo de
acuerdo al problema, por este motivo, debe tender a 1, lo que
equivale a que el modelo aprenda completamente esta conducta.
• Ejemplo:
• En marketing focalizado, la tendencia de aceptación de ofertas es muy
baja, por lo que queremos que el modelo encuentre todos los patrones
de comportamiento de los clientes que han aceptado ofertas
previamente, para que pueda encontrar estos patrones en otros clientes.
Este aprendizaje debe tender al 100%.

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Especificidad de un modelo clasificador
• La especificidad está orientada al valor de la clase que es tiene
mayor incertidumbre y es donde está el foco, este grupo es el que
requiere atención en el negocio, en este grupo están los potenciales
valores que pretendemos aparezcan en el otro grupo.
• El porcentaje de especificidad dependerá de la probabilidad de
ocurrencia del grupo contrario en términos del negocio.
• Ejemplo:
• En marketing focalizado, queremos encontrar potenciales clientes que
anteriormente no hayan aceptado ofertas (casos negativos
actualmente), pero que en un futuro puedan tener conductas de
aceptación (que pasen al grupo de positivos). Si la tendencia de
aceptación de ofertas fuese de un X, la especificidad debe aproximarse
a 1-X.

Inteligencia de Negocios - Claudio Henríquez Berroeta

 Evaluación de un modelo regresivo
• Un modelo predictivo regresivo se evalúa de acuerdo a la
correlación de la función encontrada y al error de ésta.
• Los valores para la correlación van entre -1 y 1 considerando:
• 1 correlación perfecta
• -1 correlación inversa
• 0 no hay correlación
• Cuando hay 2
correlaciones buenas
se elige por menor error

Diferencia en correlaciones, resultado de distintas funciones de ajuste

Inteligencia de Negocios - Claudio Henríquez Berroeta
Interpretación de los Resultados
• Una vez evaluados los modelos, se debe considerar cómo impactan
estos resultados en el negocio, por lo que se debe revisar su
impacto económico en la aplicación real de estos, los posibles
costos que genera y la posible ganancia.
• No siempre el mejor modelo evaluado es el que mejor resultados
tendría en su aplicación en el negocio, por lo debe revisar esto con
mucho cuidado.
Apoyo a la Toma de Decisiones
• Una vez evaluado los modelos y escogido el mejor modelo orientado
al negocio, se procede a utilizar los modelos con datos nuevos y
orientar estos resultados a la toma de decisiones.
• La toma de decisiones no es entregada por los modelos, estos solo
sugieren patrones y el tomador de decisión finalmente decide que
hacer con el conocimiento obtenido, por lo que es fundamental que
se consideren decisiones con un enfoque organizacional, revisando
el impacto en las diferentes áreas que involucra tal decisión.