Miniproyecto 2
Desarrollo de una Aplicación de Estimación de Postura con MediaPipe para Interacción en
Tiempo Real
Stephanny Patricia Martinez Cordoba
Universidad Autónoma De Occidente
Facultad De Ingeniería
Cali, Colombia
stephanny.martinez@uao.edu.co
Resumen— Este informe presenta el desarrollo de una
aplicación que utiliza la estimación de postura, basada en la
arquitectura de MediaPipe, para detectar y clasificar al menos
cinco posturas humanas. La aplicación permite la interacción en
tiempo real con un enfoque en el control de hardware mediante
Arduino. Se aborda la necesidad de detectar posturas para
mejorar la interacción en juegos y aplicaciones de control de
hardware. A través del uso de técnicas de estimación de postura,
se logra un sistema versátil y preciso que promete diversas
aplicaciones.
Palabras clave— Estimación de postura, MediaPipe,
Detección de posturas, Interacción en tiempo real, Control de
hardware, Aplicación.
I. INTRODUCCIÓN
En la era de la inteligencia artificial y el aprendizaje
profundo, la estimación de postura se ha convertido en una
aplicación de vanguardia con una amplia variedad de
aplicaciones en áreas que van desde la atención médica y la
seguridad hasta la interacción humano-computadora. Este
proyecto se enfoca en el desarrollo de una aplicación que
aprovecha el poder de la estimación de postura a través de una
arquitectura tipo MediaPipe, o sistemas similares, para detectar
y clasificar posturas específicas.
El informe que sigue a continuación abordará en detalle los
pasos clave para desarrollar esta aplicación, incluyendo la
selección de la arquitectura, la creación del conjunto de datos
personalizado, el entrenamiento de la red neuronal, y la
implementación de la aplicación final. A través de este
proyecto, se busca explorar el potencial y la aplicabilidad de la
estimación de postura en situaciones del mundo real y
demostrar cómo esta tecnología puede habilitar nuevas
oportunidades en la interacción humano-máquina.
II. MARCO TEORICO
1. Estimación de Postura: Definición y Significado
La estimación de postura se refiere a la capacidad de un
sistema de visión por computadora para identificar y seguir la
posición y orientación de las articulaciones y extremidades del
cuerpo humano en imágenes o videos. Esto implica la
determinación de la posición tridimensional de estas
Daniel Lopez Dominguez
Universidad Autónoma De Occidente
Facultad De Ingeniería
Cali, Colombia
daniel.lopez_dom@uao.edu.co
articulaciones, lo que es fundamental para comprender y
replicar el movimiento humano.
2. Técnicas de Estimación de Postura
Existen varias técnicas para la estimación de postura, que
incluyen:
• Métodos Basados en Marcadores: Estos métodos
requieren que los sujetos utilicen marcadores en el
cuerpo para ayudar al sistema a rastrear la postura.
Aunque precisos, estos métodos pueden resultar
incómodos y limitar la libertad de movimiento.
• Métodos Basados en Modelos 3D: Utilizan modelos
tridimensionales del cuerpo humano y buscan ajustar
estos modelos a las imágenes para determinar la
postura. Son precisos, pero requieren un modelado
detallado y son computacionalmente intensivos.
• Métodos Basados en Visión por Computadora: Estos
métodos, como MediaPipe, utilizan redes neuronales
convolucionales para detectar puntos clave en el
cuerpo y estimar la postura. Son ampliamente
utilizados debido a su capacidad para trabajar en
tiempo real y su capacidad de adaptación.
3. MediaPipe y Arquitecturas Similares
MediaPipe es una arquitectura de red neuronal
convolucional desarrollada para estimar la postura en tiempo
real a partir de imágenes o secuencias de video. Utiliza una red
neuronal profunda para predecir la posición de las
articulaciones clave en el cuerpo. MediaPipe se ha convertido
en una tecnología fundamental en aplicaciones interactivas y
de visión por computadora debido a su velocidad y precisión
en la estimación de postura [Revisar sección III. MediaPipe y
su arquitectura].
4. Aprendizaje Profundo en Estimación de Postura
El aprendizaje profundo, en particular las redes neuronales
convolucionales (CNN), ha revolucionado la estimación de
postura. Estas redes son capaces de aprender características
complejas y representaciones de imágenes, lo que es esencial
para identificar y rastrear las articulaciones del cuerpo humano
en diferentes posturas. Las bibliotecas de aprendizaje profundo,
como TensorFlow y PyTorch, ofrecen herramientas y marcos
para entrenar y desplegar modelos de estimación de postura.
5. Creación de Conjuntos de Datos Personalizados
Para entrenar modelos de estimación de postura, es
fundamental contar con conjuntos de datos personalizados que
contengan imágenes de ejemplo de las posturas de interés. La
creación y etiquetado de estos conjuntos de datos son procesos
cruciales que requieren una atención meticulosa para garantizar
que el modelo sea preciso y generalizable.
6. Interacción con Hardware y Software
La estimación de postura se puede aplicar para interactuar
con hardware y software. Por ejemplo, es posible manipular
juegos, activar dispositivos como Arduino o crear interfaces de
usuario intuitivas basadas en gestos. Esto abre un amplio
espectro de aplicaciones en áreas como el entretenimiento, la
atención médica y la robótica.
III. MEDIAPIPE Y SU ARQUITECTURA
MediaPipe es una plataforma de procesamiento de medios
en tiempo real desarrollada por Google. Su arquitectura se
centra en el procesamiento eficiente de flujos de datos
multimedia en tiempo real. A continuación, se detallan los
componentes clave de su arquitectura:
1. Flujo de Datos en Tiempo Real:
Se especializa en el procesamiento de flujos de datos en
tiempo real, como imágenes de cámara o secuencias de video.
Estos datos fluyen a través de una serie de módulos de
procesamiento de manera continua (ver fig. 1. Gráfico de
solución de manos de MediaPipe).
2. Grafo de Procesamiento:
Utiliza un grafo de procesamiento en el que los módulos se
conectan en una estructura de grafo dirigido. Cada nodo del
grafo representa un módulo de procesamiento específico.
3. Módulos de Procesamiento:
Los módulos de procesamiento son componentes
funcionales en la arquitectura de MediaPipe. Cada módulo
realiza una tarea específica, como detección de objetos,
seguimiento de manos, detección facial o estimación de pose.
4. Optimización de Rendimiento:
Utiliza técnicas de optimización de rendimiento, como el
uso de aceleración de hardware, para garantizar que los
algoritmos de procesamiento funcionen de manera eficiente en
tiempo real, incluso en dispositivos móviles y sistemas
embebidos.
5. API de Alto Nivel:
MediaPipe proporciona una API de alto nivel que facilita a
los desarrolladores la creación de aplicaciones que aprovechan
sus capacidades de procesamiento de medios.
6. Compatibilidad Multiplataforma:
MediaPipe es compatible con múltiples plataformas,
incluyendo Android, iOS, Linux y Windows, lo que permite la
implementación de aplicaciones en una variedad de
dispositivos.
7. Módulos Personalizables:
Los desarrolladores pueden personalizar y ampliar
MediaPipe utilizando módulos de procesamiento
personalizados para satisfacer las necesidades específicas de su
aplicación.
8. Pipeline de Datos Complejo:
MediaPipe admite pipelines de procesamiento complejos
que pueden involucrar múltiples módulos de procesamiento
interconectados para tareas avanzadas de visión por
computadora y procesamiento de medios.
Fig. 1. Gráfico de solución de manos de MediaPipe. [1]
En lo que respecta a las redes neuronales y las técnicas de
optimización y regularización utilizadas en MediaPipe:
• MediaPipe emplea redes neuronales convolucionales
(CNN) y otras arquitecturas de redes neuronales
profundas para tareas de visión por computadora. Estas
redes se adaptan según la tarea específica, como la
detección de objetos, la detección facial o el
seguimiento de manos.
• Algunas arquitecturas de red específicas incluyen
MobileNet para aplicaciones móviles, SSD (Single
Shot MultiBox Detector) para detección de objetos y
redes personalizadas como BlazeFace para la detección
facial en tiempo real.
• Para el entrenamiento de estas redes, se utilizan
optimizadores como el Descenso de Gradiente
Estocástico (SGD) o variantes como Adam. Además,
se aplican técnicas de regularización, como la
disminución del coeficiente de aprendizaje y la
 regularización L1 y L2, para evitar el sobreajuste y
mejorar el rendimiento.
En relación con la arquitectura empleada en esta solución,
se utiliza “MediaPipe Hands” que combina diferentes modelos
para la detección y clasificación de gestos realizados con las
manos:
Modelo de Detección de la Palma: Este componente se
encarga de identificar y delimitar la posición y orientación de
la mano en la imagen capturada. Su tarea principal es
proporcionar un cuadro delimitador que englobe la mano
detectada.
Modelo de Referencia de la Mano: Una vez que el modelo
de detección de la palma ha localizado la mano, el modelo de
referencia de la mano entra en acción. Este segundo
componente se enfoca en la región de la imagen recortada,
definida por el cuadro delimitador generado previamente. Su
objetivo es identificar y devolver puntos clave de la mano en
un espacio tridimensional (3D).
Fig. 2. Puntos de referencia de las manos y sus índices. [2]
IV. DESCRIPCION DEL PROBLEMA
El problema central de esta actividad radica en la
implementación de un sistema que aproveche la estimación de
postura utilizando arquitecturas tipo MediaPipe o tecnologías
similares. Se plantea el desafío de crear una aplicación capaz
de detectar, clasificar y actuar en función de al menos cinco
posturas corporales distintas. La aplicación puede ser ejecutada
en diversas plataformas, ya sea en un entorno colaborativo en
línea como Google Colab, en una configuración local
utilizando una distribución de Python como Anaconda, o a
través de una página web accesible al público. El proceso
implica la captura de imágenes en tiempo real a través de una
cámara y la realización de acciones específicas con cada
postura estimada, como la manipulación de un juego o el
control de hardware, como dispositivos Arduino.
Para abordar este problema, se deben considerar varios
aspectos críticos:
a) Selección de Tecnología: La elección de una arquitectura
adecuada, como MediaPipe o tecnologías análogas, para
la estimación de postura es fundamental. Esta elección
afectará significativamente la precisión y eficiencia de la
detección de posturas.
b) Creación de Conjuntos de Datos: Se requerirá la
construcción de un conjunto de datos personalizado que
contenga imágenes representativas de al menos cinco
posturas. El etiquetado preciso de estas imágenes será
crucial para el entrenamiento del modelo.
c) Desarrollo de la Aplicación: La creación de una
aplicación funcional que permita la captura en tiempo
real de imágenes de una cámara y la estimación de
posturas a través del modelo seleccionado. La aplicación
debe ser capaz de clasificar las posturas y,
posteriormente, activar acciones específicas para cada
una de ellas.
d) Plataforma de Implementación: La elección de la
plataforma en la que se desplegará la aplicación es
relevante. La aplicación debe ser compatible con
entornos colaborativos en línea, configuraciones locales
o páginas web, según las necesidades del proyecto.
e) Interacción con Hardware y Software: El desafío
consiste en integrar la estimación de postura con
acciones concretas. Esto podría incluir la manipulación
de juegos, la activación de hardware, como Arduino, o
cualquier otra acción deseada.
V. PLANTEAMIENTO DE LA SOLUCIÓN
La solución implementada se basa en la combinación de la
biblioteca MediaPipe para la estimación de la postura de la
mano y la biblioteca Pygame para crear un juego de
plataformas 2D. A continuación, se detalla cómo funciona esta
solución:
1. Estimación de Postura con MediaPipe:
La solución utiliza la biblioteca MediaPipe para realizar
la estimación de la postura de la mano en tiempo real a través
de una cámara. Esto se logra mediante el uso de la función
`mp.solutions.hands` de MediaPipe, que detecta las
articulaciones de la mano y los dedos.
2. Captura de Imágenes y Procesamiento:
La cámara captura imágenes en tiempo real, que se
procesan para identificar las coordenadas de las articulaciones
y dedos de la mano. Se definen varios puntos clave de interés
en la mano, incluyendo los dedos pulgar, índice, medio, anular
y meñique.
3. Cálculo de Estados de los Dedos:
La solución determina el estado de cada dedo en función
de su posición y relación con otros dedos. Por ejemplo, se
verifica si el pulgar está extendido o doblado, si el índice está
levantado o si el dedo medio está extendido.
4. Control de un Juego de Plataformas:
La aplicación incluye un juego de plataformas en 2D
implementado con la biblioteca Pygame. El jugador se
representa como un cuadrado de colores, y el objetivo es mover
al jugador en el entorno del juego.

5. Interacción Basada en la Estimación de Postura:

La estimación de postura se utiliza para controlar la
acción del juego. Los estados de los dedos detectados (mano
cerrada, mano abierta, índice levantado, pulgar solo o índice y
medio levantados) determinan cómo el jugador se mueve o
interactúa en el juego.
Fig. 3. Mano abierta, comando “A”: acción de agacharse.

6. Visualización y Retroalimentación:
La solución proporciona una visualización en tiempo real
de la mano, resaltando las posiciones de las articulaciones y
dedos. Además, muestra información en pantalla sobre el
estado de los dedos y su efecto en el juego, como el número de
dedos levantados y el cambio de colores.

7. Generación de Plataformas Aleatorias:

El juego genera plataformas de manera aleatoria para que
el jugador pueda moverse y saltar. La generación de
plataformas se controla por un proceso de probabilidades.

8. Control Multihilo: Fig. 4. Mano cerrada, comando “W”: acción de saltar.

Para lograr la estimación de postura y el funcionamiento

del juego de forma paralela, se implementa un sistema de hilos.
Dos hilos se ejecutan de manera simultánea: uno para el
seguimiento de la mano (estimación de postura) y otro para el
funcionamiento del juego.

VI. RESULTADOS

En esta sección, se presentan los resultados visuales que

evidencian la interacción en tiempo real entre la estimación de
postura de la mano y el juego de plataformas 2D. A través de
una serie de capturas de pantalla, se ilustra cómo la detección
precisa de posturas, como la mano abierta, el pulgar solo, el
índice levantado y otros gestos, se traduce en acciones (a)
específicas dentro del juego. Cada captura de pantalla refleja
momentos clave de la interacción, demostrando cómo los
movimientos de la mano influyen directamente en el
comportamiento del personaje del juego. Estas imágenes
ofrecen una representación visual de cómo la tecnología de
estimación de postura permite una experiencia de juego
inmersiva y basada en gestos, explorando el potencial de la
interacción humano-máquina en el entretenimiento interactivo.
 (b)
Fig. 5. (a)(b) Pulgar levantado, comando “D”: acción de desplazarse a la
derecha.

(b)
Fig. 7. (a)(b) Índice y medio levantado, comando “SPACE”: acción de
cambiar de color al personaje.

CONCLUSIONES
(a) La realización exitosa de este proyecto, que se centra en el
uso de la estimación de postura con una arquitectura tipo
MediaPipe y su aplicación en un juego de plataformas 2D,
resalta el poder transformador de la tecnología de visión por
computadora en el ámbito del entretenimiento interactivo y
más allá. Durante el desarrollo de este proyecto, se ha logrado
una interacción efectiva y dinámica entre los gestos de la mano
del usuario y las acciones dentro del juego, demostrando la
eficacia de la arquitectura MediaPipe en la detección y
clasificación de posturas.
La capacidad de controlar el movimiento del personaje,
saltar y cambiar colores mediante gestos de la mano, como la
(b)
mano abierta o el pulgar solo, ofrece una experiencia de juego
Fig. 6. (a)(b) Índice levantado, comando “S”: acción de desplazarse a la única y cautivadora. Además, la detección y clasificación de al
izquierda.
menos cinco posturas distintas demuestra la versatilidad de la
tecnología de estimación de postura en la creación de
aplicaciones interactivas.
Este proyecto no solo tiene aplicaciones en el ámbito del
entretenimiento, sino que también sugiere un amplio abanico
de posibilidades en el contexto de la accesibilidad y la
interacción humano-máquina. La tecnología de estimación de
postura, respaldada por arquitecturas como MediaPipe, se
presenta como un recurso valioso que promete innovaciones
futuras en la interacción basada en gestos.

REFERENCES

[1] Introduction to MediaPipe | LearnOpenCV. (1 de marzo de 2022).

(a)
Accedido el 20 de octubre de 2023. [Imagen]. Disponible:
https://learnopencv.com/introduction-to-mediapipe/
[2] Face and Hand Landmarks Detection using Python - Mediapipe,
OpenCV - GeeksforGeeks. (12 de octubre de 2021). Accedido el 20 de
octubre de 2023. [Imagen]. Disponible:
https://www.geeksforgeeks.org/face-and-hand-landmarks-detection-
using-python-mediapipe-opencv/
[3] Cao, Z., Simon, T., Wei, S. E., & Sheikh, Y. (2017). "Realtime multi-
person 2D pose estimation using part affinity fields." En Proceedings of
the IEEE Conference on Computer Vision and Pattern Recognition
(CVPR), pp. 7291-7299.
[4] Chen, Y., Wang, Z., Peng, Y., Zhang, Z., Yu, G., & Sun, J. (2018).
"Cascaded pyramid network for multi-person pose estimation." En
 Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), pp. 7103-7112.
[5] Kendall, A., & Cipolla, R. (2017). "MediaPipe: A convolutional
network for real-time 6-DOF camera relocalization." En Proceedings of
the International Conference on Computer Vision (ICCV), pp. 2938- [8]
2946.
[6] Cheng, Y., Wang, D., Zhou, P., & Zhang, T. (2019). "Modeling 3D
human poses from 2D joint locations." En Proceedings of the IEEE
International Conference on Computer Vision (ICCV), pp. 4385-4393.
[7] “? Como instalar MEDIAPIPE | Python » omes-va.com”. OMES.
Accedido el 18 de octubre de 2023. [En línea]. Disponible: https://omes-
va.com/como-instalar-mediapipe-
python/#:~:text=Para%20instalar%20MediaPipe%20en%20nuestro,tene
r%20previamente%20instalado%20Python%203.&text=Pero%20si
%20en%20realidad%20no,puedes%20seguir%20los%20mismos%20pas
os.&text=pip%20install%20mediapipe%20.
J. Cáceres. “Sistema de reconocimiento de gestos utilizando técnicas de
Machine Learning en un entorno quirúrgico”. oa.upm. Accedido el 18 de
octubre de 2023. [En línea]. Disponible:
https://oa.upm.es/70354/1/TFG_JAVIER_CACERES_BORDALLO.pdf