INSTITUTO POLITECNICO

NACIONAL

ESCUELA SUPERIOR DE INGENIERIA

MECANICA
Y ELECTRICA

Materia: INGENIERIA DEL

SOFTWARE

TEMA : Aplicación del dispositivo “KINECT” para

aplicaciones medicas
3er parcial

Alumno:
Cervantes Castillo David Israel
Abstract
Microsoft Kinect V2 es una cámara 3D de bajo costo que se puede utilizar para el seguimiento
de movimiento. La cámara 3D tiene tres sensores integrados. Son infrarrojos, profundidad y
color. La calidad del movimiento de una persona se evaluará utilizando datos tridimensionales
recopilados de Microsoft Kinect. La precisión de los datos recopilados se evaluó con los
usuarios en tiempo real. Como el objetivo principal del proyecto es rastrear los movimientos
humanos en tiempo real usando Microsoft Kinect V2 y usar los movimientos humanos para
calcular ciertos parámetros. Estos pueden ser utilizados para evaluar la calidad de esos
movimientos y así predecir las debilidades en esas articulaciones. Este método tiene como
objetivo crear medios artificiales de monitoreo de pacientes y autoevaluación. El análisis de la
marcha es un proceso complejo, ya que implica el seguimiento del movimiento con altos
grados de libertad. Se ha visto un gran desarrollo en los últimos años con los enfoques que
cambian de sistemas basados en marcadores a sistemas sin marcadores. Este documento
presenta un nuevo enfoque para el análisis de la marcha que se basa en la captura de
movimiento humano Markerless utilizando la popular consola de juegos Kinect V2 de
Microsoft. Para este estudio, la salida del modo de cámara RGB del sistema Kinect se utilizó
como un sistema basado en marcadores. El modo de esqueleto y la salida del modo de
profundidad del sistema Kinect se utilizaron como sistema sin marcadores. El sistema
presentado en este documento rastreó el movimiento humano en un entorno en tiempo real y
se utilizan algoritmos de visión por computadora para este propósito.

Microsoft Kinect SDK 2.0 se utiliza para desarrollar el prototipo. El estudio muestra que Kinect
puede usarse tanto como sistemas basados en marcadores como en sistemas sin marcadores
para rastrear el movimiento humano. Se calcularon los ángulos de grado formados por el
movimiento de cinco articulaciones, a saber, hombro, codo, cadera, rodilla y tobillo. El
dispositivo tiene sensores infrarrojos, de profundidad y de color. Los datos de profundidad se
utilizan para identificar las partes del cuerpo humano utilizando información de intensidad de
píxeles y las partes ubicadas se asignan en un marco de color RGB. La imagen resultante del
modo de esqueleto Kinect se consideró como las imágenes resultantes del sistema sin
marcadores y se utilizó para calcular el ángulo de las mismas articulaciones. En este proyecto,
los datos generados por el algoritmo de seguimiento de movimiento para los movimientos del
lado de la postura y del lado de la sentadilla profunda se recopilan y almacenan para una
evaluación adicional.
CAP 2. CARACTERIZACIÓN DE
EXPRESIONES FACIALES
Se dará una teoría básica con conceptos que debemos conocer acerca del
dispositivo Kinect y su funcionamiento.

El seguimiento de movimiento es un proceso de seguimiento del movimiento de

un objeto o un ser humano utilizando los datos procesados o recopilados. Hay
dos enfoques que se pueden usar para el seguimiento de movimiento. Son
seguimiento de movimiento basado en marcador y seguimiento de movimiento
sin marcador. El seguimiento de movimiento basado en marcadores captura el
movimiento utilizando dispositivos externos conectados al objeto o al cuerpo
humano. Por ejemplo, se pueden utilizar sensores o acelerómetros. El
seguimiento de movimiento sin marcador captura el movimiento sin usar ningún
dispositivo externo. Por ejemplo, las cámaras 3D se pueden usar para rastrear
el movimiento de un objeto o un ser humano.

Las soluciones de captura de movimiento sin marcadores como Kinect, Asus

motion pro live y otras cámaras 3D identifican / rastrean objetos o humanos en
un espacio tridimensional y producen la imagen de profundidad del sujeto
seguido. Cada valor de profundidad de imagen se indica en milímetros (mm) y
tiene la información de intensidad de píxeles en cada ubicación. El proceso se
conoce como seguimiento de profundidad.

El seguimiento del esqueleto como se ve en la figura es el proceso de localizar

las articulaciones / partes del cuerpo humano. Las soluciones sin marcadores
(cámaras 3D) rastrean las articulaciones del esqueleto humano utilizando
imágenes RGB (color). La cámara Microsoft Kinect produce tres flujos de datos
diferentes RGB, profundidad, IR. Muchos enfoques rastrean las trayectorias de
las articulaciones esqueléticas utilizando imágenes de profundidad. Los datos
de las articulaciones esqueléticas estarán en coordenadas tridimensionales (X,
Y y Z). Las líneas que unen cada articulación del esqueleto representarán las
articulaciones completas del esqueleto humano. La cámara Kinect 3D de
Microsoft proporciona SDK (Kit de desarrollo de software) que puede rastrear
25 articulaciones del esqueleto humano (incluidas las articulaciones de la parte
superior e inferior del cuerpo).
 Cap 3. DISEÑO
En este capítulo se exponen las principales herramientas implementadas para
el desarrollo de este trabajo.
Para calibrar el sensor Kinect existe un software ampliamente utilizado en los
trabajos dedicados a la caracterización del sensor, que se denomina Kinect
Para la captura de los datos se diseñó un prototipo de software que permite la
manipulación del sensor y la visualización de los datos en tiempo real. El
software fue implementado en C++ empleando el entorno de trabajo MFC. El
mismo permite configurar los datos del sensor así como visualizar en la interfaz
principal, También muestra la imagen RGB y de profundidad. Graba los datos
de la imagen de color, la profundidad y los datos del seguimiento facial en un
archivo XDC. Puede conectarse a un servidor de sincronización por TCP o por
puerto serie y visualizar los pulsos de sincronización en la señal.
Para editar los datos capturados fue implementado un prototipo de software
que permite visualizar los datos obtenidos y muestra una reconstrucción 3D de
los mismos. Además ofrece la posibilidad de seleccionar una sección de los
datos capturados y guardarlas en un fichero aparte. Visualiza también las
señales capturadas como una función de tiempo.
 IMPLEMENTACION
PROCESAMIENTO

El siguiente paso fue enumerar algunos movimientos básicos para los que se
desarrolla el algoritmo de seguimiento. Para limitar la tesis a un marco
requerido y también debido a limitaciones de hardware, software y limitaciones
de tiempo, se consideran y ejecutan menos movimientos estáticos. Los
movimientos seleccionados fueron x Posture Side x Deep Squat Side

Después de haber implementado las poses en la aplicación, era necesario

tener algún tipo de mecanismo de calibración para obtener resultados precisos
externamente. Los usuarios tienden a ser erráticos mientras manejan equipos
sensibles y realizan movimientos exactamente. Por lo tanto, se implementan
dos métodos para la calibración que pueden dirigir a los usuarios con mayor
precisión hacia los resultados de calibración de profundidad y movimiento de la
manera más precisa posible.

El primer mecanismo de calibración es la calibración de altura. Esto permite

que Kinect mida la altura de un usuario y almacena los valores en la base de
datos. Cuando se inicia la aplicación, verifica la ubicación correcta de Kinect.
Es decir, comprueba si el Kinect se coloca a una altura y ángulo adecuados o
no. Si no, le pide al usuario que ajuste la altura y el ángulo del Kinect en
consecuencia. Luego, se le pide al usuario que se pare frente a la cámara
Kinect

EJEMPLO
BBVA lanza un sistema de pagos por reconocimiento facial
BBVA continúa trabajando en su apuesta por el desarrollo de pagos basados
en información biométrica para hacer ‘invisible’ el proceso de compra en
comercios.
El nuevo sistema, que ya está siendo usado por miles de empleados en Ciudad
BBVA, utiliza la tecnología de reconocimiento facial desarrollada por Veridas,
una ‘startup’ de biometría creada conjuntamente entre BBVA y Das-Nano.
Para pagar con este sistema, los usuarios de los restaurantes de la sede de
BBVA tan solo tienen que mirar hacia las cámaras situadas dentro unas
cabinas junto a las cajas registradoras. Entonces el sistema identifica el rostro
del cliente –previamente registrado en el sistema– y realiza automáticamente el
cargo en su tarjeta para hacer efectivo el pago.
En las cafeterías de la sede, los usuarios también pueden utilizar la ‘app’
desarrollada por BBVA, ‘Selfie & Go’, para realizar sus pedidos con antelación.
En este caso, el cobro se realiza automáticamente en la tarjeta del usuario
cuando lo pide a través de la ‘app’. De esta forma, una vez que vaya a
recogerlo, no es necesario esperar ni realizar ninguna transacción adicional.
De cara al cliente, el uso de estas tecnologías elimina la fricción en los pagos y
acelera tanto el proceso de compra como la realización del pedido, y reduce la
espera en colas o la necesidad de liberar las manos para encontrar la tarjeta o
efectivo para pagar.
Pero además, de cara al comercio, estas nuevas soluciones permiten ofrecer
promociones directas a los clientes —siempre con su consentimiento— a
través de la ‘app’, como la obtención de un café gratis con la comida, o de
descuentos al alcanzar un determinado número de pedidos (compra nueve,
¡llévate el décimo gratis!).
De esta forma, el sistema ayuda a los comercios a ahorrar tiempo y a
incrementar las ventas al hacer el proceso de compra más rápido y más
eficiente.

ESTADO DEL ARTE

[1] McGlynn EA, Asch SM, Adams J, Keesey J, Hicks J, DeCristofaro A, et al. The quality of health
care delivered to adults in the United States. N Engl J Med. 2003;348(26):2635– 45.

[2] Alnowami, Majdi, et al. "Feasibility Study of Markerless Gait Tracking Using Kinect." Life
Science Journal 11.7 (2014).

[3] James A.Foley/ UN World Population Report Predicts 8 Billion People by 2025, 11 billion by
2100/June.2013/Nature world News [4] World Development Indicators /World Health
Organization's Global Health Workforce Statistics, OECD/ June.2015