Procesos de fabricación integrados: Procesamiento de Imágenes y visión artificial

Tema 1: Introducción

Visión por computador ¿Qué es esta tecnología?

Sentidos: Los medios por los que interaccionamos con el mundo que nos rodea

 La vista es el más importante y complejo de los sentidos

 75% de la información procesada por el cerebro
 Información de los objetos del entorno: posición, trayectoria
 Determinación del camino libre de obstáculos
 Presencia de posibles peligros

Definiciones:

Análisis de las imágenes a través de computadores para obtener una descripción de los objetos
físicos que son captados por la cámara.

Ventajas de la Visión por Computador

Aplicaciones industriales:

 Dotar del “sentido de la vista” a los robots industriales

 Control de calidad

Sociedad de la imagen:

 Las cámaras están integradas en todos los dispositivos electrónicos

 Nos encontramos con imágenes en todas partes
 Gráficos realistas

Tecnologías implicadas

 Tecnología electrónica
 Ingeniería de software
 Inteligencia artificial

Estructura general de una aplicación

¿Es difícil analizar una imagen?

Grados de libertad

 Rotación, translación, escala

 Movimiento del objeto y/o de la cámara
 Iluminación

Coexistencia con otros objetos: oclusiones

 Información limitada del objeto

Características, qué se debe buscar, dónde

Restricción temporal (desenas de milisegundos)

Exactitud

 Falsos positivos / Falsos negativos¿Es difícil analizar una imagen?

Elementos de hardware

Ópticas

Objetivo

Captar los rayos luminosos y concentrarlos sobre el elemento sensible de la cámara. Está
compuesto por la disposición de un cierto número de lentes que actúan como una sola lente
convexa

Distancia Focal f

Los rayos paralelos que pasan por una lente convexa convergen hacia un punto (punto focal).

La distancia entre el eje de la lente y el punto es la distancia focal.

Es el parámetro principal a la hora de calcular el tamaño de los objetos en la imagen.

Cuanto menor sea la distancia focal mayor será el ángulo de visión del objetivo, incrementando
así el tamaño de la escena que vemos.

Cuanto mayor sea la distancia focal, menor es el ángulo de visión y, por tanto, disminuye ese
encuadre o tamaño de la escena.

Los autores que incluyen la visión periférica consideran que los objetivos normales son los de
35mm. Los que prefieren no incluirla, optan por los 50mm
Apertura máxima (Luminosidad)

Hace referencia a la cantidad de luz que puede llegar a entrar a través de su lente frontal

 Número de lentes
 Material de fabricación
 Recubrimientos
 Tamaño

Luminosidad

Los objetivos más luminosos serán aquellos en los que su apertura de diafragma sea mayor.
Siendo esta apertura el diámetro D del diafragma situado en el interior del objetivo.

Esta apertura se mide con el Número f/. El número f/ es una escala universal de aperturas que
se basa en unidades llamadas pasos de diafragma.

Cada paso dobla o reduce a la mitad la cantidad de luz que entra por el objetivo.

Este parámetro indica la relación entre la distancia focal y el diámetro del diafragma.

La luminosidad que tiene un objetivo viene impresa o grabada en él y se indica de la siguiente

manera: Por ejemplo, tenemos un objetivo de distancia focal fija 50 mm que tiene la siguiente
inscripción 1:1.4. Esto significa que la apertura máxima es de f/1.4, por lo que podemos decir
que nuestro objetivo es muy luminoso.

En objetivos zoom lo común es encontrar dos inscripciones de las aperturas máximas. Por
ejemplo, un objetivo zoom con una distancia focal 18 - 200 mm y la inscripción 1: 3.5 - 5.6
significa que la apertura máxima cuando usemos el objetivo en 18 mm será de f/3.5 y cuando
lo usemos a 200 mm será de f/5.6.

Ópticas (Tipos)

De distancia focal fija.

Presentan una gran calidad óptica, introducen menos aberraciones en la imagen y son más
livianas y compactas.
De longitud focal variable (zoom).

Proporcionan varias longitudes focales en un solo cuerpo de objetivo, mediante el movimiento

de ciertos elementos dentro del mismo.

Ojo de Pez (Fish Eye): entre 7 y 17 mm

Super Gran Angular: Menos de 24 mm

Gran Angular: entre 24 y 35 mm

Objetivo Normal: entre 35 y 50 mm

Teleobjetivo: 70 mm o mas

Macro: distancia mínima de enfoque muy reducida (entre 30 y 200 mm).

Todoterreno: amplios rangos focales en una sola lente (entre 18-300 mm)

Ópticas (Otros parámetros)

Profundidad de campo

La zona que comprende desde el punto más cercano y el más lejano de nuestro campo que sea
aceptable en cuanto a nitidez, una vez formada su imagen en el mismo plano de enfoque.

Parámetros:

 Numero f/
 Distancia focal
 Distancia del objeto

Cámaras digitales

Sensores digitales de imagen

Todos los sensores utilizan una superficie plana formada por minúsculos receptores de luz

Dependiendo de la tecnología utilizada, podemos distinguir básicamente dos tipos

 CCD: Charge-couple devices

 CMOS: Complementary Metal Oxide

Cámaras digitales (sensores)

Sensores CCD:

Inventado en 1969 por Boyle y Smith (premiados con el Nobel 2009)

La información generada por todos los pixeles se combina y se envía a la salida, donde se hará
el procesado necesario de la señal (Conversión A/D, amplificar, eliminar ruido)
  Tienen mayor sensibilidad a la luz
 Más calidad de imagen y rango dinámico
 Mayor precio
 Mayor consumo eléctrico
 Pueden ser más lentos que los otros sensores

Principio de funcionamiento: global shutter

Se captura todo el frame a la vez, pero en dos fases:

 Almacenamiento de datos: Durante la exposición, la luz incidente en los fotodiodos

provocará una variación en la carga, proporcional a la intensidad, que queda
almacenada
 Lectura de datos: Al finalizar el almacenamiento, las cargas se desplazan hacia una
memoria lógica

El ADC convierte en digital

Desventaja

Al desplazar las cargas de un lado a otro se puede producir una contaminación de los pixeles
adyacentes

Efectos de la conversión A/D externa:

Smear:

Aparece un halo de luz vertical alrededor de los puntos de luz brillante

Lag:

 Se produce cuando visualizamos un punto altamente iluminado y en movimiento sobre

un fondo oscuro
 Se produce contaminación de los pixeles, pero en esta ocasión en la dirección del
movimiento

Hay mejoras continuas de esta tecnología que los evitan

Sensores CMOS:

 Fabricados utilizando técnicas de semiconductores de la industria de la

microelectrónica.
 Son más baratos
 La conversión A/D va incorporada en cada celda
 Puede incorporar funciones de procesado en el propio pixel (como amplificar)
 Dispositivo más compacto sin requerir de elementos adicionales
 Menor consumo eléctrico
 Menor sensibilidad a la luz
Principio de funcionamiento: Rolling shutter

 Almacenamiento de datos: El frame es captado línea a línea desde arriba hacia abajo
 Cada celda se convierte en fotosensible en diferente instante de tiempo
 Lectura de datos: Cada pixel es independiente por lo que no será necesario desplazar
las cargas para realizar A/D

Desventaja: al leer línea a línea, se pueden producir degradaciones:

 Zonas oscurecidas en la imagen

 Deformaciones diagonales en los objetos en movimiento

Efectos de Rolling shutter

Slow flickering lights:

 En presencia de luces que parpadean lentamente, se produce un efecto de barra negra

que atraviesa la imagen
 O, con flash, puede provocar que la mitad de la imagen salga iluminada y la otra oscura

Skew effect:

 Provoca deformación en objetos en rápido movimiento.

Wobble o tambaleo:

 En cámaras montadas sobre vehículos o al utilizar un teleobjetivo largo

 Se produce una trepidación poco natural

Cámaras digitales (tipos)

Número y dimensión de sensores

Matriciales

 Blanco y negro
 Color
o 1 sensor
o 3 sensores

Lineales

 Blanco y negro
 Color
o 1 sensor
o 3 sensores

Cámaras de color

 Filtro Bayer
 3-Sensores

Cámaras digitales (3D)

Luz estructurada

Tres elementos fundamentales, un patrón de luz conocido, un sistema de detección y un

procesado de los datos obtenidos

Estereovisión

Consiste en capturar una misma escena desde dos o más puntos de vista y calcular el un mapa
de disparidad

Tiempo de vuelo

La variable de interés es el tiempo. Este transcurre desde que el pulso electromagnético es

emitido hasta que vuelve a ser captado por el sensor

Tema 2: Imágenes digitales

1. Imágenes digitales
2. Histogramas y tablas de consulta
3. Operaciones matemáticas y lógicas

Imágenes digitales

Zona de memoria donde se almacena lo captado por la cámara

A la hora de almacenar una imagen habrá que decidir dos factores:

 Respecto a las dimensiones: muestreo espacial

 Respecto a la amplitud de la señal: niveles de gris

Por estos dos valores se dice que las imágenes son digitales. Toman valores discretos tanto en
el espacio xy como en la amplitud de la señal

Muestreo espacial

Determinación de los parámetros (2 criterios)

 Resolución del objeto de interés más pequeño

 Memoria del sistema

Histogramas y tablas de consulta

El histograma es una representación gráfica de la distribución de los distintos tonos de una

imagen. No contiene información espacial

Imágenes digitales

Operaciones Matemáticas y Lógicas

Operaciones Aritméticas

 Operaciones con/sin saturación

 Datos con/sin signo
 Bits por pixel (8,16,32)
 Imagen por pantalla
Operaciones lógicas

 AND
 OR
 NOT
 XOR

Tema 3: Operadores sobre imágenes

1. Filtrado de imágenes
2. Transformaciones geométricas
3. Interpolación

Filtrado

Definición

Son aquellos algoritmos de los que se obtiene una imagen g(x,y) a partir de la imagen original
f(x,y)

Finalidad

Favorecer alguna característica de la imagen o eliminar alguna para poder analizar mejor la
imagen

Dominios:

 Dominio del espacio:

o Convolución
o Correlación
 Dominio de la frecuencia: Fourier

Transformaciones geométricas

Utilidad

Reconocimiento de objetos cuando no existen una condiciones preestablecidas de escala o

posición

Eliminar distorsiones debidas a la óptica o perspectivas

Reajustar imágenes de una misma escena tomada bajo distintas condiciones

El valor de un píxel en la imagen de salida dependerá de las coordenadas (x,y) de ese píxel.

Distintos tipos de transformaciones:

 Las que preservan las distancias: Rotación, traslación y reflexión

Interpolación

A varios pixeles de la imagen original les corresponde el mismo en la imagen destino.

Algunos píxeles de la imagen destino quedan vacíos.

Solución:

 Estimación valores pixeles.

 Compromiso entre rapidez y exactitud.

Método del vecino más próximo

 Es un método básico.
 Requiere un tiempo de procesado bajo.
 Solo tiene en cuenta un píxel: el más cercano al punto interpolado.
 Simplemente aumenta el tamaño de cada píxel.
 Resultado muy pixelado y contornos muy escalonados

Método Bilineal

 Tiene en cuenta los valores en los píxeles conocidos que rodean a uno dado en una
vecindad de los 2x2 píxeles más cercanos.
 Se toma el promedio ponderado de estos 4 píxeles y se calcula el valor interpolado.
 El resultado está más suavizado que las imágenes obtenidas utilizando el método del
píxel más cercano.
 Necesita más tiempo de procesado.
 Imagen con apariencia más suaves

Método Bicúbica

 Un paso más allá del caso bilineal es considerar la vecindad de los 4x4 píxeles
conocidos más cercanos, es decir, un total de 16 píxeles.
 Como están situados a distancias distintas del píxel de valor desconocido, se da mayor
peso en el cálculo a los más cercanos.
 Produce imágenes más nítidas que los dos métodos anteriores.
 Es un buen compromiso entre tiempo de procesado y calidad de resultado.
 Es un procedimiento estándar en programas de edición de imágenes, drivers de
impresoras e interpolación en cámaras.
Tema 4: Ruido, contraste y bordes

1. Reducción de Ruido
2. Modificación del contraste
3. Realce de borde
4. Detección de bordes

Reducción de ruido

Efecto

 Pixeles aislados que toman valores distintos al de sus vecinos

Debido a:

 Al sensor de la cámara
 Al medio de transmisión de la señal
 Alimentación de la cámara

Diversos tipos de ruidos en imágenes

 Gaussiano
 Impulsional
 Frecuencial
 Multiplicativo

El Gaussiano e Impulsional se eliminan en el dominio del tiempo

El multiplicativo y Frecuencial se eliminan en el dominio de la frecuencia

Filtros lineales (convoluciones)

 Filtro pasa bajo con operador media

 Aplicación sobre ruido gaussiano (suavizado de bordes)
 Aplicación sobre ruido impulsional
 Muchos más pixeles erróneos, no es el filtro adecuado

Filtros no lineales

Mediana: En una secuencia impar de números, la mediana es aquel valor que cumple que tiene
el mismo número de valores inferiores que superiores
Modificación del contraste

Imagen ideal

 La iluminación es uniforme.
 La ganancia entre la luz de entrada y la imagen es lineal.

Amplitud de la escala

 Algoritmos de modificación del contraste

Modificación del contraste

𝑃 = 𝑚𝑎

m valor de gris de la imagen original.

P nuevo valor de gris.

a potencia a la que se eleva.

Realce de bordes

Resaltar aquellos pixeles que presentan un valor de gris distinto del de sus vecinos.

 Tiene un efecto opuesto a la eliminación de ruido (ruido y bordes en alta frecuencia)

 Antes de resaltar los bordes habrá que pasar un filtro paso bajo
 Necesario en imágenes difuminadas

Dos formas de resaltar los bordes

1. Realce de bordes = Ganancia ∙ Imagen – Bajas frecuencias

2. Realce Bordes = Imagen + Altas Frecuencias

Detección de bordes por gradiente

Utilidad de la detección de bordes:

 Facilitar la extracción de características en la imagen (Ej.: esquinas o rectas)

 Detección de objetos y determinación de su forma
 Análisis del grado de rugosidad (textura)

Ventaja:

 Es más inmunes a cambios en la iluminación que la búsqueda de niveles de gris.

Tema 5: Movimiento, Segmentación y descriptores

1. Detección de movimiento
2. Segmentación
3. Transformaciones morfológicas
4. Extracción de descriptores

Detección de movimiento con cámara estática

Restricciones:

 No existen cambios de iluminación entre una imagen y otra.

 Todos los objetos son rígidos.
 Respecto al movimiento se supondrá que la cámara está fija y que son los objetos los
que se mueven.

Métodos:

Diferencias de imágenes:

 Menos preciso
 Más simple
 Más rápido

Segmentación (Umbralización)

Fundamentos

Discontinuidad

 Los objetos destacan del entorno y tienen por tanto unos bordes definidos

Similitud

 Cada uno de los elementos tiene propiedades parecidas de color, textura, etc.

Segmentación (Mean-shift)

Fundamentos

 Es un algoritmo robusto para encontrar máximos locales en una distribución de

densidad de un conjunto de datos.
 Para ser robusto solo analiza los datos que están próximos a los máximos locales
Pasos del algoritmo.

1. Elegir la ventana de búsqueda

2. Calcular el centro de masas
3. Centrar la ventana alrededor de ese punto
4. Volver al paso dos hasta que los centros de masas consecutivos coincidan

Transformaciones morfológicas

Elemento estructural

Es un conjunto de puntos que servirá para determinar la estructura de otro conjunto X

Uno de esos puntos constituirá el centro del elemento.

Otra de las características que definen los objetos es su perímetro.

El método exacto exige un alto coste computacional.

La morfología presenta una forma más rápida pero inexacta para obtener este parámetro

Extracción de descriptores

Descripción de los objetos:

Características de la región:

 Tamaño, perímetro y compacticidad.

 Posición.
 Orientación.
 Momentos invariantes a la rotación la escala y la traslación.

Características de la forma:

 Descriptores topológicos.
 Códigos encadenados.
 Signatura.
 Descriptores de Fourier.