Programación Concurrente y Distribuida (CC65) Tarea Académica 1 Sección SW72 Profesor: Carlos Alberto Jara Garcia

Título del paper Distributed deep learning platform for pedestrian detecti

on IT convergence environment

Autores Seong-Soo Han  , Yoon-Ki Kim  ,You-Boo Jeon  , JinSoo Pa

Doo-Soon Park,  DuHyun Hwang , Chang-Sung Jeong

Año de publicación 2020

Motivación Implementación de un modelo distribuido con aprendiza

profundo de bajo costo que sea eficiente para detección

Problema Los autores mencionan que Deep learning para detecció

peatones requiere un gran volumen de datos, requiere u
gran cantidad de recursos informáticos y, por lo tanto, la
construcción de un sistema de este tipo es muy costosa.
et al., 2020)

Propuesta de solución Lo autores presentaran una plataforma de aprendizaje

profundo distribuida que puede construir fácilmente un
clúster y ejecutar un proceso de aprendizaje profundo en
entorno de nube distribuida.(Han et al., 2020)

Algoritmos de deep learning usados Faster R-CNN: Detección con gran performance en accur
para peatones.
Data parallelism: La data de entrada es distribuida,
actualizando los gradientes.

Servicios, bibliotecas usadas y descripción de cómo el OS – level virtualización: contenedor aislado del sistema
algoritmo es paralelizado físico, incluida la CPU, la memoria y la red distribuida.

Deeplearning4j: Framework basado en Java y JVM

Los algoritmos de deep learning pueden ser ejecutados

paralelamente usando Hadoop and Spark.

Arquitectura física o diagrama de infraestructura
contenerizada usada.
Cloud service para buildear un data center
Akka: Framework, esta toma importancia en las
Comunicaciones simplificando la construcción de
aplicaciones concurrentes y distribuidas en la JVM.Sopor
programación multihilos y enfatiza en concurrencia basa
en actores.
Hadoop Distributed File System(HDFS) : es un sistema de
archivos estructurado por bloques basado en el sistema
archivos de Google (GFS)
El módulo de envío recibe solicitudes de los usuarios par
ejecución del programa de aplicación, y el analizador de
solicitudes analiza la solicitud del usuario en paralelo.
Crea un programa de aplicación paralelo para interactua
con la gestión paralela
El entrenamiento paralelo distribuido se utiliza en el
aprendizaje profundo para acelerar el entrenamiento.
Se divide en paralelismo de datos y paralelismo modelo
En a, se carga todo el modelo en cada computadora
distribuida, y los datos de entrada se dividen en varias
partes, cada una de las cuales se distribuye entre las
computadoras para el entrenamiento

En b, varias computadoras dividen el modelo de aprendi

profundo para el entrenamiento. Cada computadora rea
un entrenamiento.

La arquitectura consta de tres capas:

Capa de interfaz de aprendizaje profundo distribuido (DD
Capa de ejecución de aprendizaje profundo distribuido
(DDLEL)
Capa de infraestructura de sistema distribuido (DSIL)

El usuario desarrolla una aplicación en DDLIL y lo envía a

DDLEL que a su vez administra, asigna recursos del sistem
en el entorno distribuido y luego ejecuta los programas.
aprovecha HDFS para almacenar archivos distribuidos.
 Opinión crítica de su parte (estudiante) de las los beneficios
o perjuicios del uso de paralelismo en dicho algoritmo.
En este algoritmo se observa que logran implementar un
sistema distribuido con virtualización. Esto significa que
costos son bajos en términos de hardware. Obtiene
resultados en menor tiempo. Pero, el algoritmo no perm
ejecutar mas problemas en general solo está hecho para
detección de peatones. Por ejemplo si se usara otro data
no podría resolver el problema , ya que habría un proble
al momento de procesar el clúster.

Referencias:

Han, S. S., Kim, Y. K., Jeon, Y. B., Park, J. S., Park, D. S., Hwang, D. H., & Jeong, C. S. (2020). Distributed
deep learning platform for pedestrian detection on IT convergence environment. Journal of
Supercomputing, 76(7), 5460–5485. https://doi.org/10.1007/s11227-020-03195-0