1

Estudio del funcionamiento del sensor Kinect y

aplicaciones para bioingeniería
Ladislao Mathe, Darío Samban, Gabriel Gómez (dariosamban@ gmail.com)

 Se desarrollaron dos aplicaciones necesarias para el

Abstract— El Grupo Robótica y Sistemas Integrados de la
Universidad Nacional de Córdoba está llevando adelante un
proyecto financiado por el Ministerio de Ciencia y Tecnología de
la provincia de Córdoba y la SeCyT-UNC de un brazo robótico
para Laparoscopía
Para las operaciones quirúrgicas mínimamente invasivas, es de
gran ayuda disponer de un brazo robótico que sostenga al
endoscopio. Sin embargo, también es de gran importancia que
este brazo robótico afecte lo menos posible a las operaciones que
necesite realizar el cirujano. Por tal motivo, se propuso y se inició
el estudio de un sensor óptico que permita ubicar espacialmente a
los brazos del cirujano y, de esta manera, planificar la trayectoria
del brazo robótico a los efectos de evitar colisiones entre ellos.
El sensor Kinect se presenta como una excelente posibilidad
dado que permite adquirir las imágenes en el espectro visible y,
con la información del espectro infrarrojo, armar un plano
tridimensional de los objetos. En este caso, se desarrollaron dos
aplicaciones que servirán como punto de inicio para el proyecto
del Brazo Robótico. La primera aplicación proporciona un
entorno de ensayos capaz de evaluar todos los componentes del
sensor en tiempo real. La segunda aplicación permite registrar y
guardar trayectorias del cuerpo de una o varias personas
pudiendo reproducirlas luego en cualquier momento.
Index Terms— Sensor óptico Kinect – colisiones determinación
3D
proyecto general del brazo de laparoscopía. La primera
aplicación es un entorno de prueba capaz de confirmar el buen
funcionamiento del sensor y todos sus componentes internos.
La segunda aplicación, se entiende como una herramienta
capaz de captar y guardar todas las trayectorias que realice el
cuerpo de una o varias personas, pudiendo reproducirlas luego
en cualquier momento.
Además de este proyecto general, también se prevé la
utilización del sensor Kinect para dirigir un robot móvil que
tenga visión tridimensional
II. EL SENSOR KINECT Y SU COMPOSICIÓN
El sensor de Kinect es un equipo alargado conectado a un
pivote, diseñado para estar en una posición horizontal. El
dispositivo tiene
una cámara RGB,
un sensor de profundidad y
un micrófono multi-array bidireccional
que, en conjunto, capturan imágenes y movimientos de los
cuerpos en 3D, además de ofrecer reconocimiento facial y
aceptar comandos de voz.

I. INTRODUCCIÓN
ESDE el año 2007, se está desarrollando en el GRSI –
D Grupo Robótica y Sistemas Integrados de la Universidad
Nacional de Córdoba, el proyecto “Brazo Robótico para
Laparoscopía” cuyo objetivo es el de asistir al cirujano en las
operaciones laparoscópicas. Este proyecto nace a raíz de un
pedido del Servicio de Cirugía Pediátrica - Hospital de Niños
de la Santísima Trinidad de Córdoba.
Fig. 1 Dimensiones del sensor Kinect
Uno de los sub-proyectos consiste en incorporar al sistema
Robótico un sensor de imágenes que permita utilizar las
mismas para planificar los desplazamientos del brazo robótico El sensor de Kinect adquiere imágenes de video con un
de manera de evitar colisiones entre el brazo robot y los brazos sensor CMOS de colores a una frecuencia de 30 Hz, en colores
del cirujano. A tal efecto, se adquirió un sensor Kinect. RGB de 32-bits y resolución VGA de 640×480 pixeles. El
En el presente trabajo, se detallan las actividades realizadas canal de video monocromo CMOS es de 16-bit, resolución
con el sensor Kinect orientadas a determinar las capacidades QVGA de 320×240 pixeles con hasta 65,536 niveles de
técnicas y de funcionamiento del sensor de manera de poder sensibilidad (Fig. 2.).
diseñar luego aplicaciones para detectar movimientos o Para calcular distancias entre un cuerpo y el sensor, el sensor
superficies tridimensionales con el objetivo de asegurar la emite un haz láser infrarrojo que proyecta un patrón de puntos
correcta planificación de las trayectorias del Brazo Robótico sobre los cuerpos cuya distancia se determina. Una cámara
de modo de no colisionar con los brazos del cirujano. infrarroja capta este patrón y por hardware calcula la
profundidad de cada punto. El rango de profundidad del
sensor de Kinect está entre 0.4 y 4 mts (Fig. 3.) Existen 2

modos (Default y Near) para determinar distancias. Se ha
elegido el modo “Default” ya que permite medir hasta 4
metros de distancia con respecto al sensor
El ángulo de vista (FOV) es de 58° horizontales y 45°
verticales. Por otro lado el pivote permite orientar en
elevación, hacia arriba o hacia abajo incrementando el FOV
hasta en 27°.
El array del micrófono tiene cuatro cápsulas, y opera con
cada canal procesando en 16-bit de audio con un ratio de
frecuencia de 16 kHz.
La cámara de Kinect funciona con hardware y software
propios para el reconocimiento de imagen.
Fig. 2. – Composición interna del sensor Kinect.
La cámara tiene dos funciones principales:
 generar un mapa en 3D de la imagen que tiene en su
campo visual y
 reconocer humanos en movimiento entre los objetos de
la imagen a partir de diferentes segmentos de las
articulaciones del cuerpo y un esquema en escala de
grises.
Fig. 3 – Rango de distancias admitidas por el sensor Kinect. Existen 2
modos (Default y Near).
2
En un amplio campo visual con objetos, la cámara Kinect
trata de reconocer a qué distancia están los distintos objetos,
distinguiendo movimientos en tiempo real.
El sensor Kinect puede llegar a distinguir la profundidad de
cada objeto con una resolución de 1 centímetro y las
estimaciones de la altura y anchura con una exactitud de
aproximadamente 3 milímetros.
El hardware de Kinect está compuesto por la cámara y el
proyector de luz infrarroja, añadido al firmware y a un
procesador que utiliza algoritmos para procesar las imágenes
tridimensionales.
Fig. 4 Funcionamiento del sensor monocromático
El procesador es capaz de interpretar los movimientos que
se registran de los objetos capturados por la cámara de
Kinect en “eventos con significado” que aparecen en pantalla.
Los movimientos buscados por el algoritmo son
contextualizados. Por ejemplo, si se está aplicando el sensor
Kinect a un juego como Kinect Adventures, donde una balsa
desciende por la corriente del río, dado que este juego requiere
movimientos tales como agacharse o tumbarse, el algoritmo
buscará la identificación de estos movimientos en tiempo real
para producir eventos en pantalla. Si el usuario navega por el
menú con interface gráfica de Netflix entonces se buscarán
movimientos con las manos horizontales y verticales que serán
registrados en los fenómenos de pantalla. (GetLab)
III. DETECCIÓN DE ARTICULACIONES MEDIANTE EL SENSOR
KINECT
Normalmente, el flujo de datos “crudos” que suministra el
sensor Kinect proporciona la información de 20 puntos de una
persona cuando está dentro del rango visual admisible (Fig. 5).
De esta manera, es posible obtener la información posicional
en tiempo real y en los 3 ejes cartesianos de estos 20 puntos
por persona. Cabe destacar que la información recolectada está
en un formato imagen de 640x480 pixeles tomada a una
velocidad de 30 FPS (Frames per Second o Cuadros por
segundo).
Con el fin de obtener todas las trayectorias que realiza una
persona, es necesario registrar y archivar los 20 puntos que
entrega el dispositivo. Cabe destacar que esta es la
 3

funcionalidad más importante que tiene el sensor para la

aplicación buscada, dado que otorga la posibilidad de tener la
posición tridimensional en cada instante de tiempo. Si se toma
una sucesión dinámica de estas entregas, se podrá obtener
todas las trayectorias de todos las partes del cuerpo de una
persona.

IV. ELECCIÓN DEL KIT DE DESARROLLO DE SOFTWARE - SDK

PARA PROGRAMAR EL KINECT
Antes de iniciar el desarrollo de la primera aplicación se
realizó un estudio y análisis de distintos kits de desarrollo con
el objetivo de decidir con que SDK (software development kit)
programar las aplicaciones. Esta instancia es crucial ya que
una vez comenzado el desarrollo de las aplicaciones, hubiese
sido un gran problema tener que dar marcha atrás y cambiar la
SDK si hubiese surgido algún problema de compatibilidad con
los equipos o bien con las aplicaciones a realizar

Fig. 5 – Conjunto de 20 puntos detectado por el sensor Kinect.

Entre las opciones, se encontraron dos posibles librerías:

librerías libres o librerías oficiales (Fig. 6). Dentro de las
primeras, la más conocida y la más utilizada es la llamada
OpenNi que guarda compatibilidad con las librerías de
OpenKinect. Para el desarrollo de la aplicación se seleccionó
la librería OpenNi debido a su mayor difusión en Internet y por
lo tanto, existir más información con distintas aplicaciones.
En cuanto a la oficial, Microsoft lanzó la SDK 1.0 para
Kinect la cual cuenta con una ordenada documentación y Fig. 6. – Comparación entre Microsoft SDK for Kinect 1.0 y el OpenNi
amplia información en la web.
A pesar de que las librerías OpenNi presentaban más
ventajas, al haber mucha más información por parte de la SDK
oficial, se decidió utilizar la librería oficial para desarrollar las
primeras aplicaciones. V. DESARROLLO DE LA APLICACIÓN PARA
ENSAYOS DEL SENSOR “TEST KINECT”
Primero se establecieron los requerimientos funcionales del
proyecto y para esto fue necesario diferenciar todos los
dispositivos que existen dentro del sensor Kinect.

 Cámara RGB
 Cámara Monocromática D con IR
 Motor
 Acelerómetros
 Micrófono ambiental
 LED
Se diseñó un software que captura las señales de un sensor
Kinect conectado a una entrada USB y los exhibe en una
pantalla simple donde se puede observar el funcionamiento de
todos los dispositivos nombrados anteriormente. De esta
manera se logra asegurar que la conexión está lograda y el
equipo está funcionando correctamente.
Las librerías del SDK de Kinect están disponibles para los
lenguajes C++ y C#. Se eligió el segundo (C#) para desarrollar
las aplicaciones.
Las imágenes de ambas cámaras del Kinect se obtuvieron
mediante los componentes WPF KinectColorViewer y
KinectDepthViewer, que ofrece la SDK.
Para obtener los cuadros por segundo simplemente se
calcula en función de las imágenes captadas en cámara
monocromática Depth. Se obtienen los tiempos en cada
instante y en función de éstos, se calcula la cantidad de
cuadros en un segundo. Por último se presenta el resultado
como un dato en el cuadro de visualización.
Para cambiar el ángulo utilizando el motor del sensor, se
diseñó un simple cuadro de texto en donde el usuario ingresa
por teclado el ángulo deseado respecto a la horizontal (no
respecto a la base) y luego presionando en botón SET con el
mouse, se comanda el movimiento del motor cambiando el
parámetro ElevationAngle del objeto Sensor.
En cuanto al grabador y reproductor de audio, cuando el
usuario oprime el botón “grabar”, se activa una bandera la cual
permite el ingreso a un bucle que toma los datos entregados
por el Audiosource del objeto Sensor y los guarda en un
simple array.
Este mismo bucle está dentro de otro bucle que permite
determinar de dónde proviene el sonido muestreado por el
micrófono ambiental determinando el parámetro BeamAngle.
Cuando el usuario presiona el botón “Reproducir”,
simplemente, se abre el archivo de sonido .MP3 guardado
anteriormente.
Fig. 7. – Interface gráfica “TestKinect” diseñado
4
Se realizó una interface gráfica (Fig. 7.) simple y amistosa
para que el usuario tenga la posibilidad de probar que todos
los componentes del sensor funcionen de manera correcta.
VI. DESARROLLO DE LA APLICACIÓN DE GRABADO Y
REPRODUCCIÓN DE TRAYECTORIAS “IOSKELETON”
La otra aplicación desarrollada consiste en la realización
de una aplicación capaz de identificar los puntos más
importantes del cuerpo humano (clase Skeleton de SDK)
grabándolos todo el tiempo que desee el usuario con la opción
de guardarlos en un archivo TXT. Esto es, grabar y guardar
trayectorias del cuerpo de una persona en un archivo común.
Posteriormente, en la misma aplicación, se tendrá la opción de
cargar el archivo generado y reproducir las trayectorias de
manera gráfica.
Para lograr la generación de un archivo es necesario la
creación de un protocolo de archivo. Es decir, una forma de
guardar los datos para que luego puedan ser reproducidos
respetando la forma. Es importante comprender el
funcionamiento y la forma de las señales captadas para luego
entender el protocolo que se va a crear detallado más adelante
en este documento.
Esta aplicación es de gran importancia para el proyecto
general ya que conforma el “Input / Output” de archivos que
representan la trayectoria de personas. De esta forma, se podrá
alojar en archivos todos los movimientos que se registren para
luego reproducirlos y analizarlos permitiendo manipular
sistemas robóticos en función de los puntos de las trayectorias
captadas.
El guardado de datos se realiza mediante la escritura de la
posición tridimensional de todos los puntos en cada instante en
un archivo TXT. Para lograr este objetivo fue necesaria la
elaboración de un protocolo de escritura y lectura de datos.
Cada imagen será representada por una línea de texto de
tipo String con el siguiente formato:
 fps: primero se coloca el número de fps actual del
cuadro escaneado.
 #: indica que comienza a describir los puntos de una
persona (esqueleto)
 Id: id del esqueleto a grabar
 Sucesión de coordenadas x y z de cada punto en el
siguiente orden:
Por ejemplo:
“20 # 0 0,691704 0,4166231 21224 0,6856822 0,3888395 21408 0,6675547
0,2409311 21312 0,6683985 0,1429283 21200 0,6130065 0,2980414 21272
0,5938133 0,4018739 21640 0,5701469 0,4764952 21352 0,5687516
0,503214 21176 0,7293036 0,2940527 21472 0,7549853 0,3960381 21856
0,7716017 0,4639662 20608 0,7719545 0,5019765 19968 0,6706141
0,4530297 21104 0,6450689 0,7161486 21264 0,6435035 0,8764954 21432
0,6385844 0,9064202 20984 0,722645 0,4507132 21264 0,7384559
0,7030128 20848 0,7608178 0,883681 20832 0,766999 0,918592 20512 ff”

De esta manera, y siguiendo este protocolo, se logra la
escritura y lectura de todas las trayectorias que realiza una o
varias personas en frente del sensor Kinect. Por supuesto, la
aplicación dispone de una interface gráfica simple y amigable
(Fig. 8.) para lograr una conexión segura entre el usuario y el
software.
Fig. 8 Interfaz grafica de “IOSkeleton”
Es de destacar que la aplicación ofrece dos posibilidades
de grabado: manual y automático. La primera brinda la
posiblidad de iniciar y terminar la grabación oprimiendo un
simple botón. La segunda opción permite que el usuario
configure el tiempo de grabado en segudnos y al oprimir el
botón de grabado, la aplicación registra las trayectoras
captados en ese periodo de tiempo.
VII. APLICACIONES PARA BIOINGENIERÍA
Actualmente, el sensor Kinect es utilizado en múltiples
campos tales como la publicidad o el entretenimiento entre
otros. La idea fundamental es incluir mayor participación de
dicho sensor en el campo de la salud mediante la inclusión del
sensor en dispositivos o desarrollos de bioingeniería.
Como se menciono anteriormente, las aplicaciones
descriptas anteriormente se encuentran dentro del marco de
un proyecto mayor el cual consiste en la construcción de un
brazo de laparoscopia monitoreado con el sensor Kinect. A
grandes rasgos, el proyecto se basa en controlar el brazo de
laparoscopia utilizando el sensor Kinect, quien controla todas
los movimientos alrededor del brazo moviéndolo si es
necesario. Evitando así, cualquier tipo de colisión que pueda
causar algún daño en el paciente.
Sin embargo, el proyecto anterior es solo uno de miles que
se pueden realizar. La idea principal es ir incluyendo
paulatinamente el sensor Kinect a dispositivos biomédicos.
Otro proyecto en marcha actualmente en el cual se utilizan las
aplicaciones descriptas anteriormente, es un estudio de
“fuerzas de la marcha”. En el mismo, se hace caminar al
paciente por una plataforma de fuerza obteniendo el peso que
se ejerce en cada instante de la marcha. Al mismo tiempo, se
escanea el paciente con dos sensores Kinect escaneando cada
trayectoria que realiza el paciente. Luego sincronizando los
5
datos obtenidos tanto por los sensores Kinect como por las
celdas de carga de la plataforma de fuerza, se obtienen los
vectores de fuerza que realiza el paciente en cada instante de
la marcha permitiendo al profesional médico realizar algún
tipo de diagnostico en el caso de que el paciente presente
alguna patología del marcha.
Como vemos, el sensor Kinect presenta un gran potencial
en cualquier tipo de aplicaciones. Por ello consideramos que
es necesario aplicar este potencia al campo de la medicina
integrando el sensor a dispositivos biomédicos.
VIII. CONCLUSIONES
Con este desarrollo se logró dar un gran paso en el
proyecto general ya que se estableció una forma de “Entrada /
Salida” de archivos que contienen trayectorias, lo cual hace
tiempo se estuvo buscando. Por otro lado, se adquirieron
conocimientos de “nivel avanzado” acerca del funcionamiento
del sensor y la generación de aplicaciones en C# con el mismo
Se adquirieron conocimientos acerca del funcionamiento
general del Sensor Kinect además de las aplicaciones que se
pueden llegar a desarrollar.
A partir del desarrollo de la aplicación de prueba “Test
Kinect” se comenzó la familiarización con el Sensor Kinect
que permite evaluar el funcionamiento general. Con el
desarrollo de la aplicación “IOSkeleton”, se adquirieron los
conocimientos acerca del formato de las señales recibidas
desde el sensor además de crear un protocolo de entrada y
salida de los mismos.
Respecto al aspecto técnicos se logró hacer funcionar el
sensor Kinect conectado a una PC obteniendo las señales
captadas por todos los dispositivos que posee el Kinect tales
como la cámara VGA, cámara monocromática de distancia,
micrófono ambiental, motor vertical y acelerómetros.
Mediante el desarrollo del “Test Kinect” se logró una
excelente aplicación de ensayos que permite verificar el buen
funcionamiento de todos los componentes que integran el
sensor y al mismo tiempo una herramienta muy útil para el
usuario en general. La otra aplicación desarrollada, el
“IOSkeleton” registra los puntos de una o varias personas en el
espacio cartesiano tridimensional siendo capaz de grabar las
trayectorias del mismo, guardarlas y cargarlas en un archivo de
texto estándar. Esto representa un gran avance dado que
permite usarlo como punto de partida para construir otras
aplicaciones.
AGRADECIMIENTOS
El ámbito profesional y de investigación reinante en el
Grupo Robótica y Sistemas Integrados de la Facultad de
Ciencias Exactas, Físicas y Naturales de la Universidad
Nacional de Córdoba facilitaron de gran modo el trabajo
desarrollado, destacándose por el muy buen ambiente de
trabajo basado en el respeto y la confianza. Este punto es de
gran importancia para formar experiencia y realizar prácticas
profesionales supervisadas para la capacitación laboral y
profesional, ámbito en el que nos vamos a mover en un futuro
no muy lejano. Por otra parte, se tuvo permanentemente en
 6

cuenta la futura aplicación de este sensor. Esto es, en

Quirófano del Hospital de Niños de la Provincia de Córdoba.
Para finalizar reconocemos que el tiempo de trabajo en el
Grupo Robótica y Sistemas Integrados de la Facultad de
Ciencias Exactas, Físicas y Naturales de la Universidad
Nacional de Córdoba fue justificado con creces y dejó una
enseñanza muy rica en todos los sentidos. Es realmente
importante contar con laboratorios de este tipo dentro de una
facultad de ingeniería ya que se brindan herramientas y
espacios ideales para que los alumnos de la institución puedan
desarrollar sus trabajos e investigaciones de la manera
correcta. Finalizando, se agradece a toda la gente que hizo
posible la realización de este proyecto, especialmente a los
integrantes del Grupo de Robótica y Sistemas Integrados
(GRSI). A su director Ing. Ladislao Mathe, al Ing. Gabriel
Gómez, al Ing. Oscar Cáceres y al Ing. Juan Pedroni como así
también a los otros alumnos ayudantes de investigación
quienes colaboraron con gran entusiasmo

REFERENCIAS
[1] (SlideShare) Juan Pablo Arbeláez (2011, March). Kinect, Como
Funciona. Available: http://www.slideshare.net/ArbelaezGroup/kinect-
como-funciona-7228721
[2] (Visual Studio Developer Center) Microsoft. Get started with Visual
Studio. Available: http://msdn.microsoft.com/en-us/vstudio/ff431702
[3] (Kinect for Windows) Microsoft. Kinect SDK. Available:
http://www.microsoft.com/en-us/kinectforwindows/develop/
[4] (Coding4Fun) Microsoft. Project Gallery. Available:
http://channel9.msdn.com/coding4fun/kinect/

Sambán Darío (M’11–M’12) 1989, nacido en, Argentina

donde cumplió con todos sus estudios. En el año 2006
completo los estudios secundarios en el instituto San José de
su ciudad natal. En el año siguiente, comenzó la carrera de
Ingeniería en Computación en la Universidad Nacional de
Córdoba. En el año 2012 comenzó su proyecto final de carrera
además de insertarse en el mercado laboral en QAustral S.A.
como analista funcional de Software. (email: dariosamban@
gmail.com)