Informe Final

“Caso NYC Fire Code Guide”

Integrantes: Nicolas Rubilar U.

Kathia Hinrichsen V.
Sección:
Docente: Cristian Molina.
Asignatura: Big Data
Fecha entrega:
 Índice
Índice...................................................................................................................................................................... 2
Introducción..........................................................................................................................................................3
Descripción de Problema..................................................................................................................................5
Descripción de la Solución...............................................................................................................................6
Arquitectura..........................................................................................................................................................7
Prueba de Conceptos.........................................................................................................................................8
Conclusión..........................................................................................................................................................12

1
 Introducción
Para el presente examen se nos fue entregado un caso de estudio con el fin de reconocer
todo lo aprendido durante el semestre aplicando los conocimientos en un ejemplo de trabajo
con BigData.
El caso inicia con la contratación de Flowers quien siendo fiscal reconoce la importancia que
genera trabajar con los datos en todo ámbito, incluso para combatir con los crímenes. En
2009, Flowers se convirtió en el “Director Analítico” de la cuidad el cual tiene por misión la
creación de equipos que trabajen con los datos que se recaba y así poder generar eficiencia
en los trabajos relacionados.
Flowers, no busca a un gran equipo, con grandes títulos o con mucha experiencia, él cree que
lo mejor para poder trabajar en los datos es tener la capacidad de adaptación al cambio,
exponer ideas y soluciones creativas, pero lo más importante para él es la perspectiva de para
participante del grupo, y es por eso por lo que eligió a un grupo variado.
En el texto, Flowers busca generar ideas innovadoras para la solución a la misión que se le
entregó, las conversiones ilegales que se producen en el estado de Nueva York.
El objetivo general del informe es reconocer y aplicar las principales características de
BigData mediante el caso entregado, con la finalidad de ejemplificar lo aprendido en clases
durante el semestre.
En cuanto a los objetivos específicos se encuentran los siguientes:
- Analizar el caso entregado y discriminar la información relevante para la realización del
informe.
- Comparar y asociar la información que entrega el texto con los conocimientos
obtenidos.
- Relacionar y describir los procesos relacionados a BigData para la toma de decisiones.

2
El actual documento se dividirá en 4 temas:
1) Introducción y conclusión del informe
2) Problemática
3) Solución
4) Propuesta de Arquitectura en relación con el problema
5) Prueba de conceptos.
Y en cuanto a la metodología en la que se trabajará se buscará generar una investigación
aplicada orientada a la tecnología, el cual su propósito es la resolución de problemas de la
vida cotidiana y el control de situaciones prácticas. Es decir, se centra en resolver un
problema en contexto determinado aplicando conocimientos.

Descripción de Problema

El grupo liderado por Flowers tenía como fin el lograr una optimización en los procesos de
resolución de problemas generados por las conversiones ilegales. Se entiende por conversión
ilegal a subdividir el alojamiento, lo que produce muchos riesgos, tales como:
 Hacinamiento
 Incendios
 Focos de delito
 Venta, distribución y/o consumo de drogas
 Enfermedades
 Plagas
 Sobrecarga eléctrica

Para entender el problema que se general al subdividir las viviendas el caso entrega datos de
referencia, los cuales son recibir un total de 25.000 llamadas en quejas de forma anuales,
contar con tan solo 200 inspectores y no tener un sistema que categorice los diferentes tipos
de casos que llegan mediante las quejas.
Al momento de comenzar con el levantamiento de información el equipo se dio cuenta que no
existe coordinación con las organizaciones de la cuidad lo que provoca una descoordinación
3
al momento de realizar acciones, lo que tiene consecuencias graves en caso de policía o
bomberos.
En 2do lugar, el equipo se vio en la obligación de recurrir a las organizaciones que poseen
información sobre las propiedades y edificaciones, sin embargo, se dieron cuenta de que el
formato de estos no estaba en optimas condiciones para trabajar con ellos, por ejemplo: cada
organización le entregaba una numerología diferente u ocupaban diferentes métodos de
localización.
Y en 3er lugar, se dieron cuenta que la ineficiencia de los inspectores al estar altamente
demandados y contar con poco personal para un estado tan grande, de este modo el equipo,
salió a terreno con estos para observar y tomar notas de como era funcionamiento de la
inspección.

Descripción de la Solución

La solución que empleo el equipo dirigido por Flowers consiste en la creación de un sistema
de identificación de edificios mediante el procesamiento de datos reunidos de las
organizaciones involucradas, de las cuales tomo los siguientes datos:
- Totalidad de propiedades, alrededor de 900.000
- Tipo de edificación
- Fecha de construcción
- Visita de ambulancias
- Tasa de delitos
- Quejas telefónicas
- Sistemas de localización
- Numerología
- Entre otros.
Del mismo modo, tras la salida a terreno con los inspectores pudieron determinar un factor
importante que no se había considerado, como lo es la “Fachada”, ya que para la mejora de
esta es necesaria previa autorización de la municipalidad lo que permitió que el equipo tomara
otra perspectiva en cuanto a las edificaciones.

4
En otras palabras, el sistema creado por el equipo de Flowers facultó categorizar las
conversiones ilegales y entregar un reporte semanal lo permitió establecer prioridades a los
casos que se presentaban y entregar inspección inmediata al 5% superior más riesgoso de
tener un incendio. De igual manera, se logró discriminar la cantidad de llamadas telefónicas ya
que se creía que al tener mayor cantidad mayor era la gravedad, sin embargo, en ocasiones
las quejas lograban ser solo por ruidos, lo que genera un desgasto de recursos.

Antes de la implementación de sistema, el porcentaje de casos hallados en estado de

gravedad alcanzaba como máximo un 13%, a diferencia del trabajo realizado con los datos,
que alcanza un 70% en ordenes de desalojo debido a las inspecciones de los edificios. Esto
se interpreta de la siguiente manera:
- Aumenta la eficiencia en la recopilación de datos, lo que genera que los inspectores no
pierdan recursos.
- Determina la necesidad de cada edificación, por lo que ayuda a prevenir.
- Permite una toma de decisiones informada, por ende, los resultados se verán
incrementados.
- Facilita el trabajo de los inspectores, lo que produce que realicen sus actividades de
manera satisfactoria.
- Prevención de accidentes y/o muertes, por sobre todo los bomberos.

Arquitectura

Según lo analizado del caso y los conocimientos que se poseen, si solo se tuviera que elegir
1, nosotros recomendaríamos que implementaran una arquitectura de tipo Cloud, ya que esta
permite gestionar, almacenar y acceder a los datos y software por medio de internet de
manera rápida y eficiente, sin la necesidad de necesitar una instalación física y
acondicionada. En otras palabras, permite el fácil uso y acceso, bajos costos de inversión
inicial, reduce los tiempos de implementación, posee una seguridad de alto nivel,
personalización al momento de trabajar

5
Sin embargo, esta elección también posee desventajas, la más relevante sería los costos a
largo plazo en almacenamiento, ya que a medida que pase el tiempo la información será
mayor y se deberá invertir dinero para continuar con esta arquitectura.

No obstante, el mejor modelo para trabajar es mezclar las buenas características de

OnPremise y Cloud para generar un modelo hibrido que logra simplificar la migración de las
aplicaciones de bases de datos a nubes, refuerza la seguridad, entregar personalización y
posee una fácil implementación. Además, entrega una plataforma de servicios integrados
completo a través de las IaaS, PaaS y SaaS.

Prueba de Conceptos

6
Al abrir la zona de trabajo, Cloud Shell Editor, y después de cargar el archivo y crear la tabla
en Hive, se debe entrar en el ambiente HUE donde nos permitirá realizar consultas a la base
de datos.
Las 3 consultas realizadas fueron:
Tiene por objetivo contar las ultimas
select count(last_full_insp_dt), inspecciones completas agrupada por calles, de
street from caso la cual se identificaron las 3 calles con más
group by street;
inspecciones, las cuales son: BROAD ST con
129 inspecciones, NEW YORK PLZ con 236 y
STATE ST con 234.

7
 Tiene por objetivo contar los resultados
select count(last_insp_stat), aprobados de la base de datos agrupados por el
Alpha from caso
nivel de peligro, lo cual arrojó que 191
group by last_insp_stat, alpha
having last_insp_stat = aprobaciones de 533 pertenecen a la zona
"APPROVAL"; categorizada en N en peligro.

8
 Se busca con esta consulta contar el resultado
select count(last_insp_stat), de las inspecciones aprobadas según las calles,
street
lo que entregó como resultado fue que la calle
from caso
group by street, last_insp_stat STATE ST y NEW YORK PLZ son las que
having last_insp_stat = poseen más cantidad de inspecciones
"APPROVAL"; aprobadas.

Comparación Hive – Spark

Si se comparan los resultados en
cuento a procesamiento de datos
entre HIVE y SPARK se obtienen
las siguientes diferencias:
- 1era consulta: hive
demora 2.48 segundos en
comparación de spark que
trabaja procesando los datos en
5.908 segundos.

9
- 2da consulta: hive demora 2.56 según, en cambio spark ejecuta la misma consulta en
3.539 segundos.

- 3era consulta: hive demora 2.39 segundo a diferencia de spark, que a la tercera vez de
correr la consulta demora 3.561 segundos.

10
 Conclusión
En resumen, el caso muestra como de buena manera utilizar BigData, ya que durante todo el
relato se pueden identificar las 5V. En un principio todo lo que había eran datos sin conexión
alguna de los cuales se consideraban quizás un desperdicio, sin embargo, fueron estos
mismos los que permitieron que se tomaran decisiones que ayudarían a generar soluciones a
los problemas que tenían y no encontraban una solución fácil.

Las 5 V se ven a lo largo de la historia, un ejemplo claro es la de volumen cuando tomaba

todos los datos que se iban generando de las organizaciones para crear relaciones y
determinar características importantes para la creación del sistema, sin embargo no termina
ahí, el equipo de Flowers profundiza más en el procesamiento de los datos al punto de tomar
en comparación 5 años anteriores que no ocupaban para darle valor real, lo que les permitió
considerar correlaciones que no eran detectables en cantidades pequeñas. Como
consecuencia de esto el programa creado se perfeccionaría, aumentaría la eficiencia y
aumentaría la predicción al momento de priorizar más aun de lo que ya había conseguido.

11