CITIS Workshop - Introduction To Big Data and Social Network Analysis Case Study Twitter

WORKSHOP
I
Introduction to Big Data
d i Bi D
and social network
analysis case study
(Twitter)
VIII International Conference
on Science, Technology and Expositor: PhD. Roger Clotet
Innovation for Society
Universidad Internacional de Valencia (VIU),
Spain
Introduction to Big Data and social network
g
analysis case study (Twitter)
A d
Agenda
• ¿Qué es Big Data?
• Cadena de valor y áreas del Big Data
y g
• Profesional Big Data
• Caso práctico
Caso práctico
22/6/2022 May 26‐28, 2021 2
Guayaquil ‐ Ecuador
¿Qué es Big Data ?
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 3
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 4
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 5
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 6
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 7
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 8
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 9
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 10
¿Qué es Big Data
supera
22/6/2022 May 26‐28, 2021 11
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 12
¿Qué es Big Data
“conjunto de datos masivos heterogéneos que supera la capacidad

del software habitual p
para ser capturados,
p gestionados y p
g procesados
en un tiempo razonable”
V’s: Volumen - Variedad - Velocidad
22/6/2022 May 26‐28, 2021 13
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 14
¿Qué es Big Data
22/6/2022 May 26‐28, 2021 15
¿Qué es Big Data
información útil
En el caso particular de la web de comercio digital

Amazon, se analizan los perfiles de los usuarios de
manera individual,
individual se estudian sus búsquedas y sus
compras previas para hacer recomendaciones afines al
usuario y plantearles ofertas interesantes según sus
gustos personales.
personales
datos
22/6/2022 May 26‐28, 2021 16
¿Qué es Big Data
información útil
Zara es un tienda de ropa perteneciente al

conglomerado Inditex con presencia en todo el mundo.
Usan MD para adaptar en tiempo real la fabricación de
sus productos y sus stock en base a la demanda de
cada tienda. Esta política es parte del éxito de la
multinacional instaurada a nivel global.
global
datos
22/6/2022 May 26‐28, 2021 17
¿Qué es Big Data
Políticas Públicas: Detección de fraude a Medicare en California (USA)
22/6/2022 May 26‐28, 2021 18
¿Qué es Big Data
What’s the purpose of the analytics role at Netflix?
‘How can we make the product experience even better?’, ‘Which shows and films
bring the most joy to our members?’, ‘Who can we partner with to expand access to
our service in new markets?’.
https://netflixtechblog.com/analytics‐at‐netflix‐who‐we‐are‐and‐what‐we‐do‐7d9c08fe6965
22/6/2022 May 26‐28, 2021 19
¿Qué es Big Data
• Making data available from new sources, and old, in optimal ways.
• Delivering metrics, findings, or dashboards that drive business decisions.
• Communicate discoveries to non‐technical audiences.
22/6/2022 May 26‐28, 2021 20
¿Qué es Big Data
BBVA Research ha analizado el impacto del COVID‐19 en el consumo de los españoles
https://www.bbva.com/es/bbva‐research‐usa‐big‐data‐para‐analizar‐la‐caida‐del‐consumo‐en‐espana‐por‐el‐covid‐
19/
22/6/2022 May 26‐28, 2021 21
¿Qué es Big Data
https://www.google.com/covid19/mobility/ (16 de octubre de 2020)
22/6/2022 May 26‐28, 2021 22
Cadena de valor y áreas del Big Data:
Cadena de valor y áreas del Big Data
22/6/2022 May 26‐28, 2021 23
Cadena de valor
Si hay precedencia, pero no es necesario hacer todo el proceso
* Miller, H.G., & Mork, P. (2013). From Data to Decisions: A Value Chain for Big Data. IT Professional, 15, 57‐59.
22/6/2022 May 26‐28, 2021 24
Cadena de valor y áreas del Big Data::
Áreas
• Integración
• Infraestructura
• Preservación
• Análisis
• Explotación
• Visualización
22/6/2022 May 26‐28, 2021 25
Áreas ‐‐ Integración
Áreas
• Diferentes fuentes de datos
• Interoperabilidad
• Interna
• Externa
• Legal
L l
• ...
22/6/2022 May 26‐28, 2021 26
Áreas ‐‐ Integración
Áreas
22/6/2022 May 26‐28, 2021 27
Áreas ‐‐ Infraestructura
Áreas https://mattturck.com/data2021/
22/6/2022 May 26‐28, 2021 28
Áreas ‐‐ Infraestructura
Áreas
22/6/2022 May 26‐28, 2021 29
Áreas ‐‐ Preservación
Áreas
RAE: Preservar es “Proteger

Proteger, resguardar anticipadamente alguien o algo,
algo
de algún daño o peligro.”
• Preservación
ió digital,
di i l de
d Miquel
i l Térmens
é (201 ) “la
(2014): “l preservación
ió digital
di i l
se refiere a una serie de actividades necesarias y muy bien administradas
para asegurar
p g el acceso continuo a los materiales digitales,
g por el p
p periodo
que sea necesario”.
• Problemas: Obsolescencia,
Obsolescencia Riesgos,
Riesgos Migraciones,
Migraciones Streaming,
Streaming …
22/6/2022 May 26‐28, 2021 30
Áreas ‐‐ Preservación
Áreas
Big Data
Hay que garantizar que la información almacenada, gestionada y

procesada, perdure en el tiempo:
• Integridad
id d
• Autenticidad
• Fiabilidad
• Legibilidad
• Funcionalidad
22/6/2022 May 26‐28, 2021 31
Áreas ‐‐ Análisis
Áreas
Pronóstico
 Predicción de ventas
 Predicción
P di ió ded la
l carga de
d un servidor
id
 Evolución de una pandemia
Riesgo y probabilidad
b bld d
 Elección de los mejores clientes para una campaña publicitaria
 Evaluar la conveniencia o no de aplicar una vacuna de forma
masiva a la población
 Diagnósticos de enfermedades
22/6/2022 May 26‐28, 2021 32
Áreas
Recomendaciones
 Determinación de los productos que se pueden vender juntos
 Recomendación
R d ió de
d políticas
líti públicas
úbli d salud
de l d
Búsqueda de secuencias
 Análisis
A áli i de
d los
l artículos
tí l que los
l clientes
li t hanh introducido
i t d id en ell carrito
it
de la compra y predicción de posibles eventos
 En función de los síntomas detectados, sugerir pruebas para
detectar los síntomas más probables y así determinar la
enfermedad
22/6/2022 May 26‐28, 2021 33
Áreas
Agrupación
 Distribución de clientes en grupos relacionados, y análisis y
predicción de afinidades
 Determinación de grupos de riesgos para determinadas
enfermedades
Descriptivo
 Para saber qué hacer para que suceda un determinado efecto
Prescriptivo
 Cómo actuar
22/6/2022 May 26‐28, 2021 34
Áreas ‐‐ Explotación
Áreas
¿Quién puede acceder a los datos?
¿P
¿Para qué?
é?
¿Qué uso se les da a los datos?
*(Gomez Garcia & Conesa i Caralt, 2015)
22/6/2022 May 26‐28, 2021 35
Áreas ‐‐ Visualización
Áreas
Interrelaciones
22/6/2022 May 26‐28, 2021 36
Áreas
Llamadas USA
22/6/2022 May 26‐28, 2021 37
Áreas
Title: Locals vs. Tourists Visualized

g Geotagged
Through gg Imagesg
Credits: Courtesy of Eric Fischer, under a
Creative Commons Attribution‐ShareAlike
ce se
license.
Base map data © OpenStreetMap
contributors.
22/6/2022 May 26‐28, 2021 38
Profesional Big Data:
22/6/2022 May 26‐28, 2021 39
* Relación de perfiles profesionales y tecnologías Big Data. Fuente: Rayo (2016).
22/6/2022 May 26‐28, 2021 40
22/6/2022 May 26‐28, 2021 41
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 42
Caso práctico:
Caso práctico:
MongoDB + API Twitter + Python  MongoDB Charts
22/6/2022 May 26‐28, 2021 43
Caso práctico ‐ Demo
Caso práctico ‐
Caso práctico
• Crear Datos CITIS
• Ver ejemplo
• Ver “teoría”
• Charts con Datos CITIS
22/6/2022 May 26‐28, 2021 44
Caso práctico ‐
Caso práctico
• Ver ejemplo
22/6/2022 May 26‐28, 2021 45
Caso práctico ‐
Caso práctico
• Ver ejemplo
22/6/2022 May 26‐28, 2021 46
Caso práctico:
Caso práctico:
https://charts.mongodb.com/charts‐project‐0‐aezyn/public/dashboards/2857bba5‐45b1‐4abb‐9b10‐b078839df16e
p g p j y p
22/6/2022 May 26‐28, 2021 47
Caso práctico ‐
Caso práctico
• Ver ejemplo
22/6/2022 May 26‐28, 2021 48
Caso práctico:
Caso práctico: M
Muy grande
d
22/6/2022 May 26‐28, 2021 49
Caso práctico:
Caso práctico:
Documento
22/6/2022 May 26‐28, 2021 50
Caso práctico:
Caso práctico:
Colección
Conjunto de documentos no necesariamente con la misma estructura

Conjunto de documentos no necesariamente con la misma estructura
22/6/2022 May 26‐28, 2021 51
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 52
Caso práctico:
Caso práctico:
Twitter ‐ Tweet
22/6/2022 May 26‐28, 2021 53
Caso práctico:
Caso práctico:
JSON ‐ MongoDB
 MongoDB almacena internamente los datos en BSON, abreviatura de
Binary‐JSON.
 JSON es Java Script Object Notation, una notación estándar para el
intercambio de datos.
 JSON especifica una gramática mediante expresiones regulares.
22/6/2022 May 26‐28, 2021 54
Caso práctico:
Caso práctico:
MongoDB + API Twitter + Python
Mongo Atlas (free tier)
22/6/2022 May 26‐28, 2021 55
Caso práctico:
Caso práctico:
htt // l d
https://cloud.mongodb.com/
db /
Importante para la aplicación:
 Usuario y Clave (usuario administrador creado en mongoDB)
 Network Access (0.0.0.0/0)
 Connection String (crear la de Python, ver la versión)
22/6/2022 May 26‐28, 2021 56
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 57
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 58
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 59
Caso práctico:
Caso práctico:
API Twitter
22/6/2022 May 26‐28, 2021 60
Caso práctico:
Caso práctico:
https://developer.twitter.com/
Crear una cuenta de desarrollador
una cuenta de desarrollador para poder crear aplicaciones que
para poder crear aplicaciones que
accedan al API, y a su vez, el acceso al API es por Access Key.
de uc as o ac ó de uso que da e os a a cue ta

Pide muchas información del uso que daremos a la cuenta.
Documentación:
https://developer.twitter.com/en/docs
22/6/2022 May 26‐28, 2021 61
Caso práctico:
Caso práctico:
API Twitter
22/6/2022 May 26‐28, 2021 62
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 63
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 64
Caso práctico:
Caso práctico:
Search API: Acceso a Twitter Search
https://developer.twitter.com/en/docs/tweets/search/overview/standard
RESP API: Acceso al Core
RESP API A lC d l d t d T itt
de los datos de Twitter
https://developer.twitter.com/en/docs/api‐reference‐index
Streaming API: Acceso en tiempo real a los tweets
API: Acceso en tiempo real a los tweets públicos
https://developer.twitter.com/en/docs/tutorials/consuming‐streaming‐data
22/6/2022 May 26‐28, 2021 65
Caso práctico:
Caso práctico:
Tweet:
https://developer.twitter.com/en/docs/tweets/data‐dictionary/overview/tweet‐object
Y dentro del Tweet, puede tener (user, entities, extended entities y/o geo).
User:
https://developer.twitter.com/en/docs/tweets/data‐dictionary/overview/user‐object
Entities:
htt //d l
https://developer.twitter.com/en/docs/tweets/data‐dictionary/overview/entities‐object
t itt / /d /t t /d t di ti / i / titi bj t
Extended Entities:
https://developer.twitter.com/en/docs/tweets/data‐dictionary/overview/extended‐entities‐object
Geo:
https://developer.twitter.com/en/docs/tweets/data‐dictionary/overview/geo‐objects
22/6/2022 May 26‐28, 2021 66
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 67
Caso práctico:
Caso práctico:
https://twython.readthedocs.io/en/latest/
22/6/2022 May 26‐28, 2021 68
Caso práctico:
Caso práctico:
https://developer.twitter.com/en/docs/tweets/timelines/FAQ
22/6/2022 May 26‐28, 2021 69
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 70
Caso práctico:
Caso práctico:
Python
+ Entorno de desarrollo con Python 3.x
+ Posibilidad de agregar librerías / packetes / módulos

+ Posibilidad de agregar librerías / packetes / módulos
22/6/2022 May 26‐28, 2021 71
Caso práctico:
Caso práctico:
https://www.jetbrains.com/pycharm/download/
22/6/2022 May 26‐28, 2021 72
Caso práctico:
Caso práctico:
CSV
22/6/2022 May 26‐28, 2021 73
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 74
Caso práctico:
Caso práctico:
Equivalencias de SQL en MongoDB
https://docs.mongodb.com/manual/reference/sql comparison/
https://docs.mongodb.com/manual/reference/sql‐comparison/
22/6/2022 May 26‐28, 2021 75
Caso práctico:
Caso práctico:
MongoDB CRUD Operations
https://docs.mongodb.com/manual/crud/
find
count
sort
group
sum
unwind
limit
22/6/2022 May 26‐28, 2021 76
Caso práctico:
Caso práctico:
MongoDB Pipeline
p // g / / / gg g pp /
https://docs.mongodb.com/manual/core/aggregation‐pipeline/
22/6/2022 May 26‐28, 2021 77
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 78
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 79
Caso práctico:
Caso práctico:
$sort
, {$sort : {total : 1}}
, {$sort : {total : 1}}
22/6/2022 May 26‐28, 2021 80
Caso práctico:
Caso práctico:
MongoDB Pipeline
db.orders.aggregate([{$match: {status: "A"}}, {$group: {_id: "$cust_id", total:
{$sum: "$amount"}}}, {$sort
$ $ $ : {total : 1}}])
22/6/2022 May 26‐28, 2021 81
Caso práctico:
Caso práctico:
$unwind desagregar arrays, por cada elemento del array crea un nuevo documento duplicando
l d á d t
los demás datos.
/* 1 */ /* 3 */
{ {
"_id
id" :
: "_id
id" :
:
ObjectId("5eaa6b2f804aacfaf16311ce"), ObjectId("5eaa6b95804aacfaf163286d"),
"nombre" : "roger", "nombre" : "monica",
"deportes" : [ "rally", "basquet”] "deportes" : ["basquet", "zumba"]
} }
/* 2 */ /* 4 */
{ {
"_id
id" :
: "_id
id" :
:
ObjectId("5eaa6b5d804aacfaf1631bce"), ObjectId("5eaa6bb7804aacfaf1632ffd"),
"nombre" : "jordi", "nombre" : "jony",
"deportes" : [ "egames” ] "deportes" : ["futbol", "egames”]
} }
22/6/2022 May 26‐28, 2021 82
Caso práctico:
Caso práctico:
MongoDB
g Pipeline
p
22/6/2022 May 26‐28, 2021 83
Caso práctico:
Caso práctico:
MongoDB Pipeline
22/6/2022 May 26‐28, 2021 84
Caso práctico:
Caso práctico:
MongoDB Charts
https://www.mongodb.com/products/charts
22/6/2022 May 26‐28, 2021 85
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 86
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 87
Caso práctico:
Caso práctico:
22/6/2022 May 26‐28, 2021 88
Caso práctico ‐
Caso práctico
• Ver ejemplo
22/6/2022 May 26‐28, 2021 89
Otras fuentes de datos:
Otras fuentes de datos:
22/6/2022 May 26‐28, 2021 90
Preguntas:
22/6/2022 May 26‐28, 2021 91
WORKSHOP
I
Introduction to Big Data
d i Bi D
and social network
analysis case study
(Twitter)
VIII International Conference
on Science, Technology and Expositor: PhD. Roger Clotet
Innovation for Society
Universidad Internacional de Valencia (VIU),
Spain

CITIS Workshop - Introduction To Big Data and Social Network Analysis Case Study Twitter

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

CITIS Workshop - Introduction To Big Data and Social Network Analysis Case Study Twitter

Cargado por

Copyright:

Formatos disponibles

WORKSHOP

“conjunto de datos masivos heterogéneos que supera la capacidad

V’s: Volumen - Variedad - Velocidad

En el caso particular de la web de comercio digital

Zara es un tienda de ropa perteneciente al

https://www.google.com/covid19/mobility/ (16 de octubre de 2020)

RAE: Preservar es “Proteger

Hay que garantizar que la información almacenada, gestionada y

*(Gomez Garcia & Conesa i Caralt, 2015)

Title: Locals vs. Tourists Visualized

MongoDB + API Twitter + Python  MongoDB Charts

Conjunto de documentos no necesariamente con la misma estructura

MongoDB + API Twitter + Python

Mongo Atlas (free tier)

 Connection String (crear la de Python, ver la versión)

de uc as o ac ó de uso que da e os a a cue ta

+ Posibilidad de agregar librerías / packetes / módulos

MongoDB + API Twitter + Python

También podría gustarte