Robtica y visin

artificial
Miguel Cazorla
http://www.dccia.ua.es/~miguel
Grupo de Visin Robtica
Universidad de Alicante
 Introduccin
Percepcin biolgica vs. computacional
Qu es una imagen?
Procesamiento de una imagen
Visin estreo
Casos prcticos
La vista nos engaa
 Cmo vemos
Sistema biolgico simplificado
Captura de imgenes
Procesamiento
 Visin biolgica vs. computacional
Captura de imagen: cmara
Cmaras ms veloces: humana 30fps (no
se procesan frames), computacional
6mill.fps
Mayor resolucin: humana 576Mpxeles,
computacional 50Mpxeles
Procesamiento: mtodos para procesar
imgenes
Computador ms rpido, cerebro ms
paralelo
 Computacional vs. biologica
La ptica de una cmara puede ser
fcilmente modificada (zoom, campo de
visin, etc.)
Cmaras con un mayor espectro
(infrarrojos, ultravioleta)
Capturan ms rpido que el ojo humano
 Partes de una cmara
ptica
Sensor
Perdemos la
profundidad en
el proceso
Qu es una imagen?
 Visin en robtica
Una cmara proporciona una gran
cantidad de informacin sensorial
Debemos procesar la imagen que captura
la cmara para proporcionar informacin
til al robot
Problema principal: velocidad de
procesamiento
 Tareas de la visin
Reconocimiento de objetos para evitar
obstculos estticos y mviles
Construccin de modelos de objetos y
lugares para reconocerlos y localizarlos
Caracterizar su propia posicin y
movimiento y la de los objetos que le
rodean
 Procesamiento de imgenes
Una imagen es una matriz donde cada
punto (pxel) contiene un valor
Existen mtodos que permiten procesar la
imagen para obtener informacin del
entorno alrededor del robot
Estos mtodos usan la informacin de los
pxeles y aplican frmulas y algoritmos
matemticos
 Ejemplo: binarizado
Imaginad que nos dicen que tenemos que
buscar un determinado color
Dicho color se corresponde con un
determinado valor de pxel
Simplemente, cambiamos el valor del
pxel a 1, si su valor inicial se
corresponde con el color buscado, a 0 en
otro caso
Ejemplo: binarizado
Ejemplo de binarizado para
tarea robtica
Seguimiento con colores
 Visin en futbol robtico
Entorno muy estructurado y no cambiante
Simplifica el problema al tener colores
para identificar los objetos
Ejemplos de visin en
robtica: TeamChaos
 Extraccin de caractersticas
Tcnicas que permiten extraer ciertos
elementos (caractersticas) de la imagen
para luego ser usados en otras tareas
Estos elementos sirven de base para
otros mtodos que realizan tareas ms
complejas (reconocimiento, localizacin,
etc.)
Extraccin de caractersticas
Aplicacin: orientacin del
robot
 Conduccin sin conductor
En 1995, Ernst Dickmanns construy el
primer vehculo completamente autnomo
y guiado por visin (alcanz ms de
120Km/h)
Diagrama: procesamiento y
tareas
 Visin estreo
Al tomar una imagen perdemos la
profundidad
Con dos cmaras podemos recuperar la
profundidad (smil biolgico)
Existen otros mtodos (mono con
cabeceo), pero el estreo actualmente es
muy eficiente
 Obtencin de la profundidad
A partir de la diferencia en la posicin de
un objeto en una y otra imagen, se puede
obtener la profundidad
 Correspondencia
Izq. d1 d2 Der.

Disparidad
25
Ejemplo: nube de puntos

26
 Cmo usar esta informacin
Evitacin de obstculos
Reconocimiento de objetos
Localizacin
Mapeado

27
Seguir objeto ms cercano

28
Aplicacin: construir mapa 3D
El robot captura una nube de puntos 3D
conforme se mueve
Podemos calcular la transformacin 3D
entre cada par de tomas (egomovimiento)
A partir de las transformaciones podemos
reconstruir el entorno por el que se ha
movido el robot
29
Ejemplo de mapa

30
Ejemplo de mapa

31
Vdeo 3D

32
Mapa desde arriba

33
 Reflexin
Una cmara proporciona una gran
cantidad de informacin (comparado con
otros sensores)
Esta gran cantidad de informacin a
veces no es tan til (mucho tiempo para
clculos)
Debemos guiarnos por la tarea:
reconocer colores, obtener profundidad,
etc. 34
 Finalizando
Comparacin visin biolgica vs.
Computacional
Qu es una imagen?
Procesamiento de una imagen
Visin estreo
Casos prcticos
Preguntas?