Clasificador de idioma

Caractersticas de la Arquitectura
Computadora: Maestra
Procesador: Intel(R)
Celeron(R)
RAM: 8G
HDD: 500G

Computadora: Esclava1
Procesador: Intel(R)
Celeron(R)
RAM: 8G
HDD: 500G

Computadora: Esclava2
Procesador: Intel(R)
Celeron(R)
RAM: 8G
HDD: 500G

Componentes de la Arquitectura

SPARK 1.5.2

HADOOP 2.7.0

HIVE 1.1.0

MAVEN 3.3.9

Clasificador de Idioma
En esta aplicacin se muestra cmo se puede utilizar Apache Spark
para entrenar un clasificador de idiomas
Son 3 etapas para crear un clasificador listo para produccin
Recoger un conjunto de datos de Tweets Spark Streaming se
utiliza para recoger un conjunto de datos de tweets y escribirlos en
archivos.
Examinar los Tweets y entrenar a un modelo - Spark SQL se
utiliza para examinar el conjunto de datos de Tweets. Entonces
Spark MLLib utiliza el algoritmo K-Means para entrenar un modelo
con los datos.
Aplicar el modelo en tiempo real Spark Streaming y Spark
MLLib se utilizan para filtrar una transmisin en vivo de Tweets y asi
coincidan con el clster especificado.

Contacto
www.saxsa.com.mx
Info@saxsa.com.mx

@BigData_WG

/bigdatamx