Tutorial: Uso bsico de RapidMiner

Introduccin
En el mundo de la minera de datos (Data Mining) es imprescindible contar con software
especializado que permita trabajar los datos para alcanzar los objetivos propuestos. En
este contexto, este tutorial pretende acercar al lector al uso de RapidMiner, un sistema
Open Source para Data Mining.
Este texto est basado en la versin 5.1 de RapidMiner, edicin para Windows 64. Sin
embargo, no debera haber mayores diferencias con las ediciones para otros sistemas
operativos.
Por otro lado, se asume que el lector ya posee una copia instalada del software (puede
descargarse gratis de http://rapid-i.com/content/view/26/84/lang,en/), que tiene un
conocimiento bsico de Excel y que entiende nociones estadsticas y de algunos modelos
predictivos.

Parte I: Prediccin de variables reales

Una de las mejores formas de familiarizarse con un programa computacional es usndolo,
por lo que en esta primera parte se busca aplicarlo en un ejemplo con datos reales.

Contexto
El Ministerio de Educacin de Chile provee pblicamente bases de datos con informacin
de establecimientos educacionales. En particular, en este ejemplo se trabajar con la base
de datos de Rendimiento, la cual contiene la cantidad de alumnos aprobados, reprobados
y retirados, por colegio, nivel de enseanza, grado y sexo.
Para este ejemplo, se usar la base de datos correspondiente al ao 2009, la cual puede
descargarse de: http://ded.mineduc.cl/DedPublico/archivos_de_datos

Anlisis Propuesto
En la base de datos descargada (Ren2009.xls), se puede observar que cada fila contiene
una serie de datos acerca de los establecimientos educacionales, tales como rol
identificador, cdigo de enseanza, comuna en la que se ubica, regin, tipo de
dependencia, etc. Si se quiere obtener ms informacin acerca de qu significa cada
campo, se recomienda leer el documento adjunto con la base de datos REN2009.doc.
Ahora bien, entre los datos se encuentra la cantidad de alumnos reprobados, aprobados y
retirados por curso, para cada establecimiento. Lo que se propone analizar es el
porcentaje de aprobacin de los alumnos de enseanza bsica de los establecimientos
registrados.
Cabe notar, que porcentaje de aprobacin se entender como la razn entre el nmero
total de alumnos aprobados en la enseanza bsica y el nmero total de alumnos de

enseanza bsica de un mismo establecimiento. Este porcentaje se puede obtener

fcilmente de la planilla de datos descargada, as como tambin se debe eliminar los
establecimientos que no corresponden a enseanza bsica (cod_ense distinto de 110).
Junto a este documento se adjunta una planilla con todas las modificaciones necesarias
(Ren2009_mod.xls).
A partir de estos datos se pretende construir un modelo que permita predecir con un
cierto nivel de certeza cul ser el porcentaje de aprobacin (variable real) en un
establecimiento de enseanza bsica en funcin de algunas variables conocidas (como
regin comuna, dependencia, etc).

Trabajo con RapidMiner

Para llevar a cabo el objetivo propuesto se deben seguir los siguientes pasos.
1. Abrir RapidMiner.
Si es la primera vez que se ejecuta el programa, seguir los siguientes pasos, de lo contrario
saltar al paso 7.
2. RapidMiner mostrar una alerta indicando que no se tiene un repositorio creado,
se debe pulsar en Ok.
3. En la pantalla siguiente, seleccionar New local repository y hacer clic en Next.
4. En el campo Alias seleccionar un nombre para el repositorio, por ejemplo
LocalRepository.
5. En el campo Root Directory, seleccionar una carpeta del disco en la que se quiera
ubicar el repositorio.
6. Hacer clic en Finish.
La ventana de bienvenida debera aparecer, mostrando conos para las opciones New,
Open Recent, Open, Open Template y Online Tutorial.
7. Seleccionar New.
La ventana de fondo cambiar y sobre ella aparecer el explorador de repositorios
(Repository Browser), en esta ventana:
8. Seleccionar el repositorio que se quiere usar (ejemplo: LocalRepository)
9. En el campo Name, introducir un nombre para este proyecto (ejemplo: Tutorial1).
Si los pasos se han seguido correctamente, se estar observando la perspectiva de diseo
de RapidMiner, que se compone bsicamente de 3 paneles verticales (ver Screenshot 1).
El de ms a la izquierda sirve para tener acceso a los operadores y repositorios. El central
(y el ms grande por defecto), ser el rea en el que se disear el proceso y en el que se
ubicarn los operadores que construyan el modelo. Por ltimo, en el panel de la derecha
se sita la pestaa de parmetros (Parameters), que permite configurar los operadores, y
la pestaa de ayuda (Help).

Screenshot 1: Pantalla inicial

Ahora bien, el primer paso para comenzar a trabajar con los datos, es importar la planilla
Excel al ambiente de trabajo de RapidMiner. Para esto, existen bsicamente dos formas
de hacerlo: mediante una importacin directa al proyecto actual y mediante la inclusin
de los datos al repositorio.
En esta parte del tutorial, se usar la primera alternativa.
10. En la pestaa Operators, explorar las carpetas Import->Data.
11. Hacer clic en el operador Read Excel y arrastrarlo hacia el rea de trabajo (Main
Process).
Hint: Para acceder rpidamente a un operador, sin tener que explorar las carpetas,
se puede escribir su nombre en el campo [Filter].
Ahora bien, en la parte inferior del panel central, se encuentra la pestaa Problems y en
ella han aparecido dos errores. Durante el diseo de un proceso, siempre se debe estar
pendiente de esta pestaa, para ver si todo est correcto o si existe algn problema que
se deba solucionar (ver Screenshot 2).

Screenshot 2: Primeros errores

En este caso, los errores se producen porque no se ha especificado ningn archivo que
leer. Para solucionarlo, seguir los siguientes pasos.
12. Hacer clic en el cuadro Read Excel que ha aparecido en el rea de diseo del
proceso.
13. En la pestaa Parameters, pulsar el botn Import Configuration Wizard.
Con esto, se abrir el asistente de configuracin que permitir importar un archivo de
manera fcil e intuitiva.
14. Explorar los archivos del computador, ubicar el archivo preparado
Ren2009_mod.xls, seleccionarlo y pulsar en Next.
15. Tras unos instantes, aparecer una vista previa del archivo y en l estarn todas las
celdas marcadas. Se debe dejar as y pulsar en Next.
A estas alturas se debera estar en el paso 3 de 4 (Step 3 of 4). En este paso, lo que se hace
es especificar a RapidMiner si se tienen filas especiales en el archivo. En el caso de este
ejemplo, la primera fila del archivo corresponde a los nombres de los campos y no a
valores en s. Normalmente RapidMiner debera detectar estas filas especiales y
etiquetarlas como corresponde.
16. Asegurarse de que la primera fila tenga puesta la anotacin Name, en la columna
Annotation y pulsar en Next.
En el ltimo paso se deben definir los tipos de cada dato (integer, real, text, etc) y los roles
de cada uno. Los roles que se usarn son bsicamente tres: Id para el campo que identifica
a cada fila (como por ejemplo rol, rut, etc), attribute para campos que contienen valores e

informacin que debe ser considerada en el modelo y label para el campo que
corresponde a la variable que se quiere predecir.
17. Dejar seleccionadas solo las siguientes columnas: rbd, reg_cod, pro_cod, com_cod,
cod_depe, cod_area, apro.
18. Verificar que todas las columnas tengan el tipo integer (entero), a excepcin de
apro, que debe ser de tipo numeric.
19. Definir el rol de rbd como id y el de apro como label.
20. Hacer clic en Finish (ver Screenshot 3)

Screenshot 3: Configuracin del asistente de importacin de datos

Con esto, RapidMiner ya ser capaz de leer los datos de la planilla Excel y trabajar con
ellos. Lo que resta a continuacin es introducir los operadores necesarios para construir
un modelo predictivo. En primera instancia, se construir un modelo mediante una
regresin lineal y se ver su rendimiento (se buscar medir su error en la prediccin).
21. En la pestaa Operators, explorar las carpetas Evaluation->Validation, seleccionar
el operador Split Validation y arrastrarlo al rea de diseo, al lado derecho del
operador Read Excel.
Hint: Cuando se quiera obtener ms informacin acerca de un operador, es posible
seleccionarlo y presionar F1, lo cual desplegar una ventana con ms informacin.

El operador Split Validation es un operador compuesto (se puede ver que en la esquina
inferior derecha del mismo aparecen dos cuadros azules), lo que significa que para su
correcto funcionamiento, debe ser compuesto de otros operadores (ver Screenshot 4).

Screenshot 4: Operador Split Validation

Su funcionamiento consiste en tomar un conjunto de datos de entrada, tomar una cierta

cantidad de ellos (configurable en la pestaa Parameters) y usarlos para entrenar un
modelo predictivo. Luego, con el resto de los datos, validar el modelo recin creado y
entregar estadsticas acerca de su rendimiento.
Ahora bien, se puede observar que este operador posee una entrada (tra) para los datos
de entrenamiento del modelo y 4 salidas (mod, para el modelo; tra, para los datos de
entrenamiento; ave, para los datos de rendimiento del modelo).
Para componer el operador adecuadamente, se deben seguir los siguientes pasos.
22. Hacer doble clic sobre el operador Split Validation, esto llevar al interior del
mismo, que se compone de dos reas: Training y Testing.
23. En la pestaa Operators, explorar las carpetas Modeling->Classification and
Regression->Function Fitting, seleccionar el operador Linear Regression y
arrastrarlo hasta el rea de Training.
24. Conectar la entrada del operador con la entrada provista por Training y la salida
mod, con la entrada mod.
Hint: Para conectar fcilmente un operador a una entrada o salida de otro
operador, se puede hacer clic con el botn derecho en la entrada/salida
desconectada (debe estar marcada en rojo), seleccionar Quick Fixes y elegir la
opcin adecuada de conexin.

25. En la pestaa Operators explorar las carpetas Modeling->Model Aplication,

seleccionar el operador Apply Model y arrastrarlo al rea de testing.
26. En la pestaa Operators explorar las carpetas Evaluation->Performance
Measurement, seleccionar el operador Performance y arrastrarlo a continuacin
del operador Apply Model.
27. Conectar la entrada mod de Apply Model, con mod de Testing y la unl con tes.
28. Conectar la salida lab de Apply Model con la entrada lab de Peformance.
29. Conectar la salida per de Performance, con la salida ave de Testing.
30. Hacer clic en la flecha azul que apunta hacia arriba en la parte superior (ver
Screenshot 5).

Screenshot 5: Interior del operador Split Validation

Con esto, el operador Split Validation ha quedado correctamente conformado y hemos

vuelto a la vista de diseo principal. Ahora solo resta hacer conexiones y el proceso estar
listo.
31. Conectar la salida mod de Validation con la salida res del proceso.
32. Conectar la salida ave de Validation con otra salida res del proceso.
Ahora bien, el proceso est finalmente construido. Los resultados que se esperan obtener
son bsicamente el modelo (mediante los coeficientes que definen la regresin lineal) y
los datos acerca del rendimiento del modelo. Ejecutaremos el proceso para ver los
resultados obtenidos.
33. Hacer clic en el botn triangular (forma de Play) de la barra superior (ver
Screenshot 6).
34. Aceptar la advertencia sobre guardar el archivo actual.

Screenshot 6: Proceso finalizado

35. Tras algunos instantes aparecer un nuevo cuadro avisando que han aparecido
nuevos resultados y preguntando si se quiere pasar a la perspectiva de resultados,
aceptar.
36. Seleccionar la pestaa Linear Regression.
En esta pestaa se puede observar el modelo generado en este proceso. En primer lugar,
se muestra una tabla con los coeficientes de la regresin, as como tambin con otra
informacin estadstica.
Si se selecciona la opcin Text View, se muestra la funcin de regresin que permite
calcular el porcentaje de aprobacin en funcin de las otras variables (ver Screenshot 7).
Por ltimo, interesa ver cun buena es la prediccin realizada por este modelo, para ello:
37. Seleccionar la pestaa Performance Vector (Peformance).
En esta parte, se muestran distintas medidas de error del modelo. En el caso del ejemplo,
se obtiene un error cuadrtico medio de 7.157 (ver Screenshot 8), lo cual es bastante alto
considerando que el rango de valores vlidos es de 0 a 100 (pues es un porcentaje).

Screenshot 7: Resultados del modelo

Screenshot 8: Resultados de rendimiento

Hasta este punto, hemos concluido exitosamente la elaboracin de un modelo predictivo

en RapidMiner, usando datos reales y hemos medido su capacidad de prediccin. Como
ltimo paso, se ver como cambiar el modelo que se genera de forma fcil y rpida. En
particular, se probar crear un modelo usando Redes Neuronales.

38. Volver a la perspectiva de diseo (View->Perspectives->Design)

39. Entrar al operador Validation, haciendo doble clic en l.
40. Seleccionar el operador Linear Regression, hacer un clic con el botn derecho y
seleccionar Replace Operator->Modeling->Classification and Regression->Neural
Net Training->Neural Net.
41. Volver a la vista principal
42. Hacer correr el proceso
Con esto, fcilmente se ha reemplazo el mtodo de construccin del modelo, pasando de
una simple regresin lineal a algo ms complejo como lo es una red neuronal. Al analizar
los resultados obtenidos, se puede observar que el error calculado es mayor que en el
caso anterior.
Este procedimiento de probar con otros operadores para entrenar el modelo puede
repetirse y experimentar con distintos mtodos, sin embargo, se debe tener en
consideracin que no todos los operadores trabajan con los mismos tipos de datos, por lo
que se debe tener cuidado de elegir un operador capaz de predecir variables reales y que
trabaje con variables numricas.

Conclusiones e ideas propuestas

Ya finalizando este tutorial, debera haber quedado claro como se construye un modelo en
RapidMiner, desde la etapa de importacin de datos hasta la etapa de evaluacin del
modelo.
Ahora bien, para seguir trabajando con este ejemplo y familiarizarse an ms con este
software, puede ser interesante cargar otros datos (como por ejemplo el rendimiento del
ao 2010) y aplicar el modelo ya construido sobre esos datos, para comparar los valores
obtenidos por el modelo versus los valores reales medidos.
Cabe destacar que este ejemplo, si bien es bueno para entender el funcionamiento del
programa, no es tan bueno desde el punto de vista del anlisis, ya que predecir el
porcentaje de alumnos aprobados dentro de un colegio puede ser una variable que no
entregue mucha informacin (un colegio puede ser bueno o malo y an as tener el mismo
porcentaje de aprobacin similar).
Por otro lado, se observ que los modelos construidos son poco precisos, lo cual se explica
por la baja cantidad de variables discriminativas entre establecimientos. Ms an, basta
tener dos establecimientos en la misma comuna, bajo la misma dependencia (municipal,
por ejemplo), para que el modelo ya prediga el mismo porcentaje de aprobacin.
Por ltimo, dejo propuesto pensar en qu otras variables se podran predecir usando la
misma base de datos, o tambin, aplicar el mismo procedimiento para los
establecimientos de enseanza media.
Como se puede ver, solo con lo expuesto en este tutorial las opciones ya son muchas. En
la siguiente parte, se presentar un ejemplo para predecir variables categricas en un
contexto similar.