[SONIDO] Bienvenidos a un nuevo video de nuestro curso de minería de datos.

 
En este video estudiaremos en detalle el concepto de ganancia de información, 
término clave para la selección de variables durante la construcción 
de un árbol de decisión. 
Lo que nos motiva en este video es entender cómo, 
finalmente, evaluamos la calidad de una variable, 
principalmente usando el concepto de entropía, visto en el video anterior. 
Dado que you conocemos el concepto de entropía, veremos ahora entonces cómo 
usarla directamente para poder calcular la calidad de una variable. 
Recordemos que para evaluar la calidad de una variable mirábamos qué 
tan homogéneas van quedando las clases de los grupos de datos que se arman 
una vez que vamos instanciando la variable en cada uno de sus posibles valores. 
En este ejemplo, al evaluar la variable género, separamos los datos según sus 
valores y nos queda la parte izquierda con tres casos de la clase ocasional y 
dos casos de la clase frecuente, lo cual no es bueno you que no es homogéneo. 
En la parte derecha, quedan dos casos de la clase ocasional y un caso de la clase 
frecuente, lo cual tampoco es tan homogéneo. 
Al evaluar la variable ingreso, 
dado que tiene tres valores posibles, generamos las tres separaciones. 
Vemos que la parte que corresponde al valor menor que 100 tiene todos los 
casos de la misma clase, eso es muy bueno. 
La parte que corresponde al rango 100- 200 tiene dos casos de la 
clase frecuente y un caso de la clase ocasional, eso no es homogéneo. 
Y finalmente, la parte que corresponde al valor mayor que 200 tiene 
un caso de la clase ocasional y un clase de la clase frecuente, también 
una situación muy desfavorable para poder llevar a cabo una buena clasificación. 
Vemos entonces, 
que para una misma variable se van generando distintas calidades de 
separaciones para los distintos valores que la variable puede tomar. 
Esto sugiere entonces el uso de un promedio ponderado de homogeneidad para 
cada variable que considere la homogeneidad. 
Es decir, la entropía de la clase en cada valor que toma la variable ponderado 
por la cantidad relativa de filas en las que esa variable toma ese valor. 
Teniendo entonces esto claro, 
podemos definir lo qué es la ganancia de información. 
La ganancia de información es el indicador que mide la calidad de una variable. 
Lo que hace, en palabras simples, es calcular cuánto se reduce la entropía 
de la clase que corresponde al primer término del lado derecho de la ecuación 
cuando vamos instanciando la variable A en cuestión. 
Si miramos el segundo término del lado derecho de la ecuación, 
vemos que lo que hace es calcular la entropía de la 
clase en cada una de las tablas de datos que van quedando, 
una vez que vamos instanciando la variable en cuestión. 
Una vez que calcula todas esas entropías, saca su promedio ponderado. 
Los ponderadores del promedio, simplemente, asignan un peso relacionado 
con el número de filas en que la variable toma ese valor, 
el valor B en partícular, dividido por el total de filas. 
Podemos ver también a la ganancia de información, 
como la diferencia en la entropía de la clase una vez que bajamos en el 
árbol por el atributo que estamos evaluando. 
Veamos un ejemplo concreto, entonces. 
Vamos a calcular la ganancia de información de la 
variable género usando la tabla de datos que vemos en la diapositiva. 
Siguiendo la ecuación que vimos para la definición de ganancia de información, 
lo primero es calcular la entropía de la clase, es decir, cuán homogénea es la 
distribución de la clase antes de instanciar cualquier variable. 
En este caso vemos que hay ocho filas, cinco de ellas pertenecen a la 
clase ocasional y tres de ellas a la clase frecuente. 
Por lo tanto, la entropía es la que vemos en la ecuación en pantalla. 
Ahora nos falta el segundo término de la ecuación de la definición de la ganancia 
de información. 
Para obtenerlo tenemos que instanciar la variable género en sus posibles 
valores y medir la entropía de la clase según las filas que quedan 
una vez que instanciamos la variable. 
Vemos, entonces, que al instanciar la variable en el valor hombre nos quedan 
dos casos de la clase ocasional y un caso de la clase frecuente. 
Por lo tanto, la entropía se obtiene reemplazando las proporciones dos 
tercios y un tercio en la fórmula, esto resulta 0.91. 
Ahora instanciamos la variable género en el valor mujer, y vemos que 
quedan tres casos en la clase ocasional y dos casos en la clase frecuente. 
Por lo tanto, 
calculamos la entropía con las proporciones tres quintos y dos quintos. 
Esta entropía resulta 0.97. 
Finalmente entonces, para obtener la ganancia de información de la variable 
género, debemos obtener primero el promedio ponderado 
de las dos entropías que calculamos anteriormente, donde cada ponderador tiene 
que ver con el número de filas que se consideraron para calcular cada entropía. 
En el caso de la entropía igual a 0.91, se usaron tres de las ocho filas, 
y en el caso de la entropía igual a 0.97 se usaron cinco de las ocho filas. 
Estos cálculos se señalan con círculos verdes en la diapositiva. 
El primer término del lado derecho es, simplemente, 
la entropía inicial de la clase. 
you la calculamos y vale 0.95, 
la señalamos con un círculo verde en la diapositiva. 
Finalmente entonces, la ganancia de 
información de la variable género nos da el valor de 0.0025. 
Para practicar un poco más, 
calculemos la ganancia de información de la variable ingreso. 
Separamos entonces los datos 
instanciando cada uno de los valores que esta variable puede tomar. 
Para el caso en que la variable ingreso toma el valor menor que 100, 
vemos que nos quedan todos los datos en la clase ocasional. 
Por lo tanto, la entropía es cero. 
En el caso en que la variable ingreso toma el valor entre 100 y 200, 
vemos que nos quedan dos casos de la clase frecuente y un caso de la clase ocasional. 
Por lo tanto, la entropía se calcula con las proporciones un tercio y dos tercios. 
Finalmente, para el caso en que la variable ingreso vale mayor que 200, 
tenemos un caso para la clase ocasional y un caso para la clase frecuente. 
Por lo tanto, la entropía se calcula con las proporciones un medio y un medio, 
lo que genera una entropía igual a 1. 
para obtener la ganancia de información de la variable ingreso, 
aplicamos la misma ecuación que you conocemos, reemplazando la 
entropía inicial en el primer término del lado izquierdo de la ecuación, 
y el promedio ponderado de las entropías que recién calculamos, 
eso en el segundo término de la parte derecha de la ecuación. 
Esto nos genera una ganancia de información 
de 0.35 para la variable ingreso. 
Les dejo como desafío calcular la ganancia de información de la variable lugar. 
Eso sí les adelanto, el resultado les debería dar 0.265. 
Ahora si queremos decidir cuál es la mejor variable entre todas las variables de la 
tabla, simplemente, 
tenemos que elegir la variable que tiene la ganancia de información más alta. 
es decir, la variable ingreso, que nos dio una ganancia de información de 0.35. 
En este video, aprendimos lo qué es la ganancia de información, 
que corresponde al indicador final con el cual evaluamos la calidad de una variable 
para ser seleccionada durante la construcción del árbol. 
[AUDIO_EN_BLANCO]