TEMA 07

COMBINACIONES DE ATRIBUTOS

Subtemas
1.1 Codificación de no linealidad
1.2 Vectores de un 1 solo combinados

Curso: Machine Learning

Docente: Mg.Heber Ivan Mejia Cabrera

LECTURA 01
I.- Codificación de no linealidad

En las Figuras 1 y 2, imagina lo siguiente:

• Los puntos azules representan árboles enfermos.

• Los puntos anaranjados representan árboles sanos.

Figura 1. ¿Este es un problema lineal?

¿Puedes trazar una línea que separe eficientemente los árboles enfermos de los

sanos? Por supuesto. Este es un problema lineal. La línea no será perfecta. Es

posible que uno o dos árboles enfermos se encuentren del lado "sano", pero la

línea será un buen predictor.

Ahora observa la siguiente figura:

Figura 2. ¿Este es un problema lineal?

¿Puedes trazar una sola línea recta que separe los árboles enfermos de los

árboles sanos? No, no puedes. Este es un problema no lineal. Cualquier línea

que dibujes será un predictor deficiente del estado de los árboles.

 Figura 3. Una sola línea no puede separar las dos clases.

Para resolver el problema no lineal que se muestra en la Figura 2, crea una

combinación de atributos. Una combinación de atributos es un atributo

sintético que codifica la no linealidad en el espacio de los atributos al multiplicar

dos o más atributos de entrada en conjunto. (El término combinación proviene

de combinación lineal). Creemos una combinación de atributos

denominada x3 al combinar x1 y x2:

x3=x1x2

Esta combinación de atributos x3 generada recientemente se tratará como

cualquier otro atributo. La fórmula lineal pasa a ser la siguiente:

y=b+w1x1+w2x2+w3x3

Un algoritmo lineal puede aprender una ponderación para w3 como lo haría

para w1 y w2. En otras palabras, aunque w3 codifique información no lineal, no

necesitas cambiar la manera en la que el modelo lineal se entrena para

determinar el valor de w3.

Tipos de combinaciones de atributos

Es posible crear muchos tipos de combinaciones de atributos diferentes. Por

ejemplo:

• [A X B]: Una combinación de atributos formada al multiplicar los valores

de dos atributos.

• [A x B x C x D x E]: Una combinación de atributos formada al multiplicar

los valores de cinco atributos.

• [A x A]: Una combinación de atributos formada al elevar al cuadrado un

solo atributo.

Gracias al descenso de gradiente estocástico, los modelos lineales se pueden

entrenar de manera eficaz. En consecuencia, la complementación de los

modelos lineales ajustados con combinaciones de atributos tradicionalmente ha

sido una forma eficaz de entrenar conjuntos de datos de escala masiva.

II.- Vectores de un 1 solo combinados

Hasta ahora, nos hemos concentrado en la combinación de dos atributos de

punto flotante individuales. En la práctica, los modelos de aprendizaje automático

pocas veces combinan atributos continuos. Sin embargo, los modelos de

aprendizaje automático con frecuencia combinan vectores con atributos de un

solo 1. Piensa en combinaciones de atributos de vectores de un solo 1 como

conjunciones lógicas. Por ejemplo, imagina que tenemos dos atributos: idioma y

país. Una codificación de un solo 1 de cada una de ellas genera vectores con

atributos binarios que pueden interpretarse como país=USA,

país=Frances o lenguaje=Ingles, lenguaje=Español. Luego, si realizas una

combinación de atributos de estas codificaciones de un solo 1, obtienes atributos

binarios que pueden interpretarse como conjunciones lógicas, como las

siguientes:

pais: USA AND lenguaje: español

Como otro ejemplo, imagina que discretizas latitud y longitud, lo que produce

vectores de atributos de un solo 1 con cinco elementos. Por ejemplo, una latitud

y una longitud determinadas podrían representarse de la siguiente manera:

binned_latitude = [0, 0, 0, 1, 0]

binned_longitude = [0, 1, 0, 0, 0]

Imagina que creas una combinación de atributos de estos dos vectores de

atributos:

binned_latitude X binned_longitude

Esta combinación de atributos es un vector de un solo 1 con 25 elementos (24

ceros y 1 uno). El único 1 en la combinación identifica una conjunción en

particular de latitud y longitud. Por lo tanto, el modelo puede aprender

asociaciones particulares sobre esa conjunción.

Imagina que discretizamos latitud y longitud de manera mucho más grosera, de

la siguiente forma:

binned_latitude(lat) = [

0 < lat <= 10

10 < lat <= 20

20 < lat <= 30

]
binned_longitude(lon) = [

0 < lon <= 15

15 < lon <= 30

La creación de una combinación de atributos de esas discretizaciones groseras

genera que el atributo sintético tenga los siguientes significados:

binned_latitude_X_longitude(lat, lon) = [

0 < lat <= 10 AND 0 < lon <= 15

0 < lat <= 10 AND 15 < lon <= 30

10 < lat <= 20 AND 0 < lon <= 15

10 < lat <= 20 AND 15 < lon <= 30

20 < lat <= 30 AND 0 < lon <= 15

20 < lat <= 30 AND 15 < lon <= 30

Ahora imagina que nuestro modelo necesita predecir el nivel de satisfacción de

los dueños de perros con respecto a sus mascotas en base a dos atributos:

• Tipo de comportamiento (ladrido, llanto, cariño, etc.)

• Hora del día

Si desarrollamos una combinación de atributos a partir de estos dos atributos:

[tipo_comportamiento X hora_del_dia]

obtendremos una capacidad mucho más predictiva que con cada atributo por su

cuenta. Por ejemplo, si un perro llora (de felicidad) a las 5:00 p.m. cuando el

dueño regresa del trabajo, eso será un excelente predictor positivo de la

satisfacción del dueño. Si llora (tal vez con tristeza) a las 3:00 a.m. cuando el

dueño duerme profundamente, eso probablemente será un gran predictor

negativo de la satisfacción del dueño.

El aprendizaje lineal se ajusta bien a los datos masivos. El uso de combinaciones

de atributos y conjuntos datos masivos es una estrategia eficiente para aprender

modelos de alta complejidad. Las redes neuronales proporcionan otra estrategia.

Referencias:

Google, I. (13 de 04 de 2020). Aprendizaje Automático. Obtenido de Aprendizaje

Automático: https://developers.google.com/machine-learning/crash-
course/descending-into-ml/linear-regression
Roman, V. (19 de 01 de 2019). Machine Learning Supervisado: Fundamentos de
la Regresión Lineal. Obtenido de Machine Learning Supervisado:
Fundamentos de la Regresión Lineal: https://medium.com/datos-y-
ciencia/machine-learning-supervisado-fundamentos-de-la-
regresi%C3%B3n-lineal-bbcb07fe7fd
Theobald, O. (2018). Machine Learning for absolute beginners. EE.UU:
Independently Published.