Manual de acceso al servidor de Big Data del

proyecto Big Data para el Desarrollo Urbano

Sostenible

Objetivo
Instrucciones para acceder al servidor de Big Data disponible para las ciudades.

Los datos disponibles

● Waze
○ Alertas (accidentes, inundaciones, agujeros, etc.)
○ Los atascos de tráfico (extensión, intensidad, tiempo perdido, etc.)
○ Irregularidades (Ocurrencias fuera del patrón esperado)
○ Período: a partir del set/2018
○ Velocidad de actualización: Datos actualizados en tiempo real cada
minuto

● Open Street Maps (OSM)

○ Es un proyecto de mapeo colaborativo para crear un mapa libre y
editable del mundo. Todos los mapas, datos descriptivos y metadatos
ofrecidos por OSM son datos abiertos, disponibles bajo la licencia
Open Database License.
○ Artículos disponibles: Todas las secciones de ciudades, lugares
públicos y privados (hospitales, escuelas, parques, etc.)
○ Tabla: planet (versión actual de todos los elementos de OSM)
○ Frecuencia de actualización: Semanalmente
○ Tutorial:
https://aws.amazon.com/pt/blogs/big-data/querying-openstreetmap-wit
h-amazon-athena/
Nota: Otros datos serán incorporados a lo largo del proyecto (datos de autobuses,
climáticos, volumen de vehículos en las vías, etc.) de acuerdo con la disponibilidad
por cada ayuntamiento.

Descripción

Este es el servidor de Athena (PrestoDB compatible con SQLAnsi) para la consulta

de datos en escalas de terabytes (TBS).

Este servidor que después de análisis realizados por el equipo de FGV presentó la
mejor relación costo/beneficio para procesamiento de datos en las escalas previstas
para el proyecto.

Actualmente el proyecto cuenta con datos de Waze desde septiembre de 2018

totalizando cerca de 1 billón de registros por mes para las ciudades involucradas.

El sistema permite el acceso tanto para la interfaz web, así como otros programas
de datos de los municipios o clientes de SQL a través de JDBC:

conexión deacceso

● Dirección: ​https://us-east-2.console.aws.amazon.com/athena/
● ID de cuenta: 697036326133
● Usuario y contraseña: se enviarán por e-mail

CÓMO UTILIZAR EL BANCO DE DATOS

Athena

La pantalla inicial de Athena es el editor de consultas. En ella puedes hacer

consultas en las tablas de los datos del Waze. Además de esta pantalla, todavía hay
pestañas para acceder a las consultas guardadas y el historial de consultas.

Antes de hacer su primera consulta, asegúrese de que su grupo de trabajo es el de

su ciudad (número 1 en la imagen siguiente). Si no es así, haga clic en la pestaña y
se redirige a una página con una lista de diferentes grupos de trabajo, seleccione la
ciudad y confirme el cambio (Botón Switch Workgroup).

Importante: no será capaz de hacer consultas si está en el grupo de trabajo

incorrecto.
Importante:​ asegúrese de que la región de acceso de AWS es Ohio

La pestaña de base de datos (2) muestra todas las bases de datos disponibles para
que puedan acceder. En la actualidad, sólo están disponibles las bases de datos
cities y osm (Open Street Maps).

En ciudades, cada ciudad del proyecto deberá ser capaz de visualizar tres tablas
distintas (3): alerts, irregularities y jams.

Muy Importante: ​Al realizar la consulta, tratan de hacerlos limitada en un corto

período de tiempo, como se muestra en la imagen (4). Utilice combinaciones de los
campos year, month, day y hour para filtrar el período deseado (los datos se dividen
en estos campos, haciendo la búsqueda más eficiente y barata).

Limitaciones

● Cada consulta puede escanear como máximo 10Gb de datos, más que eso y
la consulta será cancelada.

● Cada ciudad tiene un límite diario de 20Gb de datos

Tales limitaciones fueron pensadas para permitir la adaptación de los equipos al

servicio del Athena.