3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - IArtificial.
net
[Link]
Inicio > machine learning > Random Forest (Bosque Aleatorio): combinando
árboles
Random Forest (Bosque Aleatorio):
combinando árboles
Actualizado 18/09/2020 | por Jose Martinez Heras
Un Random Forest (Bosque Aleatorio), es una técnica de aprendizaje automático
muy popular. Los Random Forests tienen una capacidad de generalización muy
alta para muchos problemas.
[Link] 1/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Índice
1. Limitaciones de los Árboles de Decisión
2. ¿Qué es un Random Forest?
3. Diferencia intuitiva entre un árbol de decisión y un random forest
4. ¿Cómo se combinan las predicciones?
4.1. Podemos inventar nuestra propia forma de combinar predicciones
5. Random Forest en scikit-learn: hiper-parámetros más útiles
6. Resumen
7. Recursos
Limitaciones de los Árboles de Decisión
Los árboles de decisión tienen la tendencia de sobre-ajustar (overfit). Esto quiere
decir que tienden a aprender muy bien los datos de entrenamiento pero su
generalización no es tan buena. Una forma de mejorar la generalización de los
árboles de decisión es usar regularización. Para mejorar mucho más la
capacidad de generalización de los árboles de decisión, deberemos combinar
varios árboles.
¿Qué es un Random Forest?
Un Random Forest es un conjunto (ensemble) de árboles de decisión
combinados con bagging. Al usar bagging, lo que en realidad está pasando, es
que distintos árboles ven distintas porciones de los datos. Ningún árbol ve todos
los datos de entrenamiento. Esto hace que cada árbol se entrene con distintas
muestras de datos para un mismo problema. De esta forma, al combinar sus
resultados, unos errores se compensan con otros y tenemos una predicción que
generaliza mejor.
[Link] 2/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Diferencia intuitiva entre un árbol de decisión y un
random forest
En la siguiente imagen puedes ver la diferencia entre el modelo aprendido por
un árbol de decisión y un random forest cuando resuelven el mismo problema
de regresión. Este random forest en particular, utiliza 100 árboles.
Como puedes ver, tanto el árbol de decisión como el bosque aleatorio, tienen un
error cuadrático medio (MSE) de entrenamiento pequeño y similar. Sin embargo,
el error de generalización del random forest es mucho mejor. Esto se puede ver
también en que el modelo aprendido es mucho más suave como se puede
observar en la figura.
[Link] 3/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
¿Cómo se combinan las predicciones?
Para problemas de clasificación, se suelen combinar los resultados de los
árboles de decisión usando soft-voting (voto suave). En el voto suave, se le da
más importancia a los resultados en los que los árboles estén muy seguros.
Para problemas de regresión, la forma más habitual de combinar los resultados
de los árboles de decisión, es tomando su media aritmética.
Podemos inventar nuestra propia forma de combinar
predicciones
También podemos inventarnos nuestra propia forma de combinar los resultados
de un bosque aleatorio. Esto es posible porque podemos acceder a las
predicciones individuales de cada árbol. Así, podemos hacer el uso de estas
predicciones que nos interesen.
Predicción (en rojo) de los 100 árboles de decisión de este bosque
aleatorio. En negro puedes ver la media aritmética.
Por ejemplo, imagínate que en vez de querer predecir un resultado, queremos
predecir el rango de valores probables en el futuro. Podemos obtener los valores
mínimo y máximo de cada predicción para definir el intervalo más probable.
[Link] 4/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Predicción del rango más probable (mínimo y máximo en rojo) y la
media aritmética de las predicciones de los 100 árboles en negro. El
rango se corresponde con la predicción máxima y mínima para cada
muestra.
Random Forest en scikit-learn: hiper-parámetros
más útiles
scikit-learn ofrece dos implementaciones de random forests:
Para clasificación: RandomForestClassifier
Para regressión: RandomForestRegressor
Estos son los hiper-parámetros más útiles:
Propios del Bosque Aleatorio:
n_estimators: número de árboles que va a tener el bosque aleatorio.
Normalmente cuantos más mejor, pero a partir de cierto punto deja de
mejorar y sólo hace que vaya más lento. Un buen valor por defecto
puede ser el uso de 100 árboles.
n_jobs: número de cores que se pueden usar para entrenar los
árboles. Cada árbol es independiente del resto, así que entrenar un
bosque aleatorio es una tarea muy paralelizable. Por defecto sólo
[Link] 5/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
utiliza 1 core de la CPU. Para mejorar el rendimiento puedes usar
tantos cores como estimes necesario. Si usas n_jobs = -1, estás
indicando que quieres usar tantos cores como tenga tu máquina.
max_features: usa forma de garantizar que los árboles son diferentes,
es que todos se entrenan con una muestra aleatoria de los datos. Si
queremos que todavía sean más diferentes, podemos hacer que
distintos árboles usen distintos atributos. Esto puede ser útil
especialmente cuando algunos atributos están relacionados entre sí.
Hay varias estrategias para elegir el número máximo de atributos que
se pueden usar; mira la documentación para saber más.
Regularización (también disponibles para Decision Trees):
max_depth: la profundidad máxima del árbol. En los ejemplos
anteriores hemos usado max_depth = 2
min_samples_split: número mínimo de muestras necesarias antes de
dividir este nodo. También se puede expresar en porcentaje.
min_samples_leaf: número mínimo de muestras que debe haber en
un nodo final (hoja). También se puede expresar en porcentaje.
max_leaf_nodes: número máximo de nodos finales
Resumen
Random Forest es un técnica de aprendizaje automático supervisada basada en
árboles de decisión. Su principal ventaja es que obtiene un mejor rendimiento de
generalización para un rendimiento durante entrenamiento similar. Esta mejora
en la generalización la consigue compensando los errores de las predicciones de
los distintos árboles de decisión. Para asegurarnos que los árboles sean
distintos, lo que hacemos es que cada uno se entrena con una muestra aleatoria
de los datos de entrenamiento. Esta estrategia se denomina bagging.
[Link] 6/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Dato que un random forest es un conjunto de árboles de decisión, y los árboles
son modelos no-paramétricos, los random forests tienen las mismas ventajas y
desventajas de los modelos no-paramétricos:
ventaja: pueden aprender cualquier correspondencia entre datos de
entrada y resultado a predecir
desventaja: no son buenos extrapolando … porque no siguen un modelo
conocido
Recursos
En este [vídeo] explico cómo funcionan los árboles de decisión, bagging y
los random forests (en inglés)
Implementación de Random Forest en scikit-learn para clasificación y
regresión: RandomForestClassifier y RandomForestRegressor
Ventajas y desventajas de los árboles de decisión como modelos no-
paramétricos
Créditos Imagen: pixabay
Relacionado
1. Árboles de Decisión con ejemplos en Python Los árboles de decisión son una
técnica de aprendizaje automático supervisado muy utilizada en muchos negocios. Como su
nombre indica, esta técnica de machine learning toma una serie de decisiones...
2. Inteligencia Artificial aplicada a [Link] En este artículo, vamos a aplicar
Inteligencia Artificial a todas las noticias de portada de [Link] en 2018. Empezaremos
realizando un análisis estadístico y visualización de datos. Después usaremos Procesamiento...
3. 15 Librerías de Python para Machine Learning Estas son las 15 mejores librerías
de python para Machine Learning. Temas: Visualización, Cálculo Numérico, Análisis de Datos,
[Link] 7/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Aprendizaje Automático, Deep Learning, Inteligencia Artificial Explicable, Procesamiento del
Lenguaje Natural y mucho...
4. Aguathon: mi solución al primer Hackathon del Agua En este artículo explico
mi solución al Aguathon: el primer Hackathon del Agua, organizado por ITAINNOVA. Introducción al
Aguathon: el Hackathon del Agua de ITAINNOVA El Instituto Tecnológico de Aragón...
machine learning
aprendizaje automático, aprendizaje supervisado, bagging, bosque aleatorio,
ensemble, random forest
Ensembles: voting, bagging, boosting, stacking
Avances en la generación de caras con GANs
Deja un comentario
Nombre *
Correo electrónico *
Web
[Link] 8/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Publicar comentario
¿Qué buscas?
Buscar...
English version
Click here for an automatically translated version
Lo último
Machine Learning en Operaciones Espaciales
Segmentación de Imágenes con Redes Convolucionales
Algoritmos Genéticos y Memoria Visual
TorchServe para servir modelos de PyTorch
Detección de anomalías en espacio
Contenido relacionado
[Link] 9/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Precision, Recall, F1, Accuracy en clasificación
Ensembles: voting, bagging, boosting, stacking
Árboles de Decisión con ejemplos en Python
[Link] 10/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
15 Librerías de Python para Machine Learning
Error Cuadrático Medio para Regresión
Más Información
Inicio
Guía rápida
Sobre mí
Contacto
Legal
Términos y condiciones
Política de cookies
[Link] 11/12
3/31/23, 10:42 AM Random Forest (Bosque Aleatorio): combinando árboles - [Link]
Política de privacidad
© 2023 [Link]
[Link] 12/12
