Class1 Spark 16 setiembre

Correo:dbenavidesv@me.com

https://www.virtualbox.org/wiki/Downloads

2.

https://www.cloudera.com/downloads/quickstart_vms/5-13.html

Descomprimir
Texto a usar

http://www.randomtextgenerator.com/

1. $ ls
2. Text.tx
3. $ vim simple_lda_data.text
4. $ ls –lth
5. $vim sample_lda_data.txt
6. $ls -lth
7. $hdfs dfs -put simple_lda_data.txt/user/cloudera/dataset
8. $hdfs dfs -ls/user/cloudera/dataset/sample
9. $
10. $
11. $
12. $
13. $sparkshell
14. Ejemplo LDA
15.

Ejm: frequent pattern minig

 16. $ importar las librerías de ejemplo frequen pattern
17. $ copiar todos los comandos en cloudera pegar línea x línea
18.

Ejemplo de page Rank

1. $ se usa un algoritmo para que calcule los pesos de los nodos

2. $cargar el txt en cloudera
3. $ direccionarla
4. $usar los códigos pages rank
5. $se trata de modelar el grafo y buscar relaciones
6. $
7. $
8. $