PONTIFICIA UNIVERSIDAD CATÓLICA DEL PERÚ

FACULTAD DE INGENIERÍA

Procesamiento de Señales e Imágenes Digitales [IEE 239]

Horario 08M2

Ciclo 2023-1

Estado del arte

Detección de somnolencia del conductor

Grupo “e-driver”

Docente: Donato Andres Flores Espinoza

Integrantes:

Thiago Fabricio Cáceda Moya

Sergio Iosef de la Cruz Ayala

Brayan Ochoa Almeyda

Marvin Raí Arismendiz Millones

Lima, 19 de junio de 2023

 Índice

1. Estado del arte

1.1. Productos Comerciales

1.2. Artículos Académicos

1.3. Patentes

1.4. Norma Técnica

2. Idea del Producto

3. Bibliografía
1.1. PRODUCTOS COMERCIALES:

1.1.1. Sistemas de detección de somnolencia del conductor desarrolladas por compañías

En la actualidad existen varias compañías que implementan sistemas de detección de

somnolencia del conductor:

La compañía Bosch ha desarrollado un algoritmo de detección de somnolencia del conductor,

el cual registra el comportamiento del conductor al volante desde el momento en que se inicia
el viaje. Reconoce de manera continua los cambios en la dirección del volante que se
producen en el transcurso del viaje, esto le permite detectar señales típicas de fatiga como que
el conductor apenas maneje el volante, combinado con algunos movimientos bruscos y
rápidos para mantener la trayectoria. Una vez detectadas estas señales, se le avisa al conductor
mediante una alerta de audio para que se tome un descanso. Notar que el registro del
movimiento del volante es gracias al Steering-angle sensor

Figura 01. Componente del sistema

Tomado de la página BOSCH - Solutions
Luego, la compañía Valeo, ha implementado un sistema de vigilancia del conductor que
controla el estado de alerta del conductor. Es decir, el vehículo está equipado con una cámara
enfocada en la cara del conductor, a partir de la cual se puede monitorear la fatiga y atención
del conductor en el trayecto, así se asegura de que mantiene los ojos en la carretera y es
consciente de cualquier situación peligrosa.

Figuras 02 y 03. Sistema de vigilancia del conductor

Tomado de la página de la empresa Valeo

Finalmente, la compañía Optalert, identificó dos maneras de medir la somnolencia: Por una
lado, la escala de somnolencia de Karolinska (KSS), la cual mide el cansancio subjetivo - el
sentimiento de estar cansado y necesitas descansar. Por otro lado, la escala de somnolencia de
Johns (JDS) de Optalert, la cual cuantifica el deterioro cognitivo debido a la somnolencia, el
cual incrementa el riesgo de maniobras erróneas durante la conducción. Optalert ofrece un
algoritmo que permite cuantificar la somnolencia mediante el registro de los parpadeos del
conductor.

Figura 04. Monitoreo de parpadeos

Tomado de la página de la empresa Optalert
 1.1.2. Sistema de vigilancia del estado de conductor (DMS)

Creada por la empresa STONKAM, la cual se especializa en la creación de nueva tecnología y

accesorios inteligentes para el rubro automotriz. Es un sistema de monitoreo del estado del
conductor, el cual ayuda a evaluar y alertar al conductor cuando se detecta somnolencia o
distracción en este con el principal objetivo de dar una mayor seguridad al conducir.

Figura 05. DMS31

Tomado de la página de la empresa STONKAM

Algunas de sus características más relevantes de este accesorio son: El reconocimiento y

comprobación del estado del rostro del conductor, hasta 400 verificaciones; hacer pruebas de fatiga,
de distracción , si es que el conductor habla por teléfono, fumando y en la situación en la que no hay
conductor, generación de una grabación de video de 20segundos cuando existe la detección de un
comportamiento de operación anormal, ser fácilmente monitoreable por medio de una aplicación de
celular y tener una resolución de imagen de 720p/1080p para tener la máxima cantidad de pixeles
posible.

Figura 06. Ejemplo de muestreo

Tomado de la página de la empresa STONKAM
1.1.3. Aplicación móvil: Driver Sleep Alert

Esta es una aplicación móvil que detecta si un conductor se duerme. La aplicación primero detecta el
rostro de la persona y muestra una indicación de ello. Después usando la cámara frontal de un celular
detecta si la persona cerró los ojos por un tiempo mayor al de un parpadeo normal y emite una señal
visual y por audio para alertar al conductor. Se puede elegir entre este modo de detección que es
continuo o elegir una alerta que sonará cada determinado tiempo. Además se puede seleccionar el
tono o sonido que emitirá en la alerta.

Figura 07. Aplicación móvil para detectar somnolencia del conductor.

Tomado de la aplicación móvil “Driver Sleep Alert”
1.2. ARTÍCULOS ACADÉMICOS:

1.2.1. Diseño de un sistema de detección de somnolencia del conductor de un vehículo

mediante procesamiento de imágenes con Matlab

En este artículo se plantea un sistema de detección de somnolencia con el fin de reducir

accidentes de tránsito, este sistema utiliza procesamiento de imágenes, cuya data se obtiene
mediante una cámara enfocada en el conductor. Durante la investigación se identificaron
varios cambios faciales como parpadeo frecuente (pestañeo), mover la cabeza de un lado a
otro (cabeceo) y bostezos (cansancio).

Figura 08. Patrones de somnolencia

Tomado de Design of a Vehicle Driver Drowsiness Detection System Through Image
Processing using Matlab - Fig. 5

Notar que en somnolencia el abrir y cerrar los ojos es más frecuente y muy rápido, por lo que
no se realiza completamente. Se analizaron dos factores que influyen en el pestañeo:
- Frecuencia de parpadeo, cabe recalcar que la frecuencia de parpadeo en una persona
con sueño es de 21 parpadeos/min mientras que en una persona en estado normal es
de 15 parpadeos/min.
- Apertura de los ojos, se refiere a la amplitud entre los dos párpados al momento de
cerrar los ojos durante el pestañeo. Para su cálculo se utilizó PERCLOS.
-
Para desarrollar este sistema de detección de somnolencia del conductor se consideraron tres
etapas: adquisición de imágenes, procesamiento y detección y alerta.
Para la adquisición de imágenes se empleó una cámara web con iluminación incluida, durante
esta etapa se hizo la conexión entre la cámara y el software con el comando ‘imaqhwinfo’, el
cual también permite conocer algunas características y resolución de la cámara. Asimismo, se
eligen dos entornos, uno para el día y otro para la noche. En la captura de la imagen, mediante
un algoritmo se genera un marco con un rectángulo a la cara del conductor.

Luego, para el procesamiento de la imagen, se convierte la imagen en una matriz

bidimensional, donde cada elemento de la matriz representa un píxel. Se mejoró el contraste,
para lo cual se convirtió la imagen a su escala de grises y se aplicaron filtros a la imagen antes
de analizar la somnolencia.
 Con respecto a la detección, lo primero que se hizo fue aislar la sección de interés, en este
caso, los ojos. A partir de ello se analiza la apertura de los ojos y la frecuencia de parpadeo.
Se analiza el parpadeo completo, es decir, tanto el abrir y cerrar de ojos.

Figura 09. Procesamiento de imágenes durante el parpadeo

Tomado de Design of a Vehicle Driver Drowsiness Detection System Through Image
Processing using Matlab - Fig. 10 y 11

Finalmente, se enviaría una alerta de manera de audio si es que se detectase alguno de los
patrones de somnolencia mencionados anteriormente.
En la siguiente imagen se muestran los componentes del sistema propuesto:

Figura 10. Componentes del sistema

Tomado de Design of a Vehicle Driver Drowsiness Detection System Through Image
Processing using Matlab - Fig. 12

1.2.2. Aplicación móvil de monitoreo en tiempo real del conductor a través de la posición d ela
cabeza, la somnolencia y la detección de enojo

- Extracción de características faciales

 -

1.3. PATENTES

1.3.1. Método de detección de somnolencia del conductor del sistema de advertencia de

conducción somnoliento(US6243015B1)

El método de detección de somnolencia se fundamenta en el cálculo constante del ancho

vertical promedio de los ojos del conductor, comparándolo con un valor estandarizado. A
medida que el conductor se encuentra despierto o somnoliento, se ajusta el factor de
somnolencia, incrementándose o reduciéndose. Este valor indica el grado de somnolencia, y si
alcanza su valor máximo estandarizado, se activará una alarma sonora.

Figura 11. Diagrama de flujo del sistema de alarma

Tomado de US6243015B1 - Figura 2
1.3.2. Procedimiento y dispositivo para detectar la somnolencia y evitar que el conductor
de un vehículo a motor se duerma(US6304187B1)

Consiste en la creación de un método computacional de detección junto con la

implementación de un dispositivo que utiliza un sensor optoelectrónico en conjunto con una
unidad electrónica dispuesta en el interior de un vehículo automóvil. El funcionamiento de
estos elementos es el siguiente: El sensor se debe ajustar el sensor para que quede alineado
con la cabeza del conductor sentado en dicho vehículo al mismo tiempo que el retrovisor
interior(espejo unidireccional), el cual tendrá en la parte interior el sensor.

Figura 12. Colocación del sensor

Tomado de US6304187B1 - Figura 4

Después de la detección de la presencia del conductor sentado en el automóvil,, se encuadra el

rostro de la persona para luego registrar los ojos del conductor en la señal de vídeo raser
emitida por el sensor y poder detectar a la vez las duraciones de los periodos de parpadeo
sucesivos y este valor lo compara con el valor límite entre el parpadeo típico de una persona
despierta y la duración de una persona somnolienta.

Figura 13. Detección de rostro del conductor

Tomado de US6304187B1 - Figura 8
 Figura 14. Detección de los ojos del conductor
Tomado de US6304187B1 - Figura 9

1.4 Norma técnica

Se encontró el borrador finalizado la norma técnica con código AIS: AIS-184, la cual tiene como
título: ‘Sistemas de aviso de somnolencia y atención del conductor para vehículos de las categorías M,
N2 y N3’. Cabe destacar que con vehículos de tipo M se refiere a vehículos de motor utilizados para
el transporte de pasajeros como autos sedan, camionetas, minibuses y autobuses. Con respecto a la
categoría N2, se refiere a vehículos utilizados para el transporte de mercancías, y N3, para el
transporte de mercancías pesadas como camiones. En esta norma se trata lo siguiente:
Requisitos técnicos del sistema de alerta de somnolencia y atención del conductor:

- Donde se destaca que el sistema DDAW (Driver Drowsiness and Attention Warning)
supervisará el nivel de somnolencia del conductor y le proporcionará alertas a través del
dispositivo HMI del vehículo.

- Además, el conductor no puede tener habilitada la opción de desactivar manualmente el

sistema DDAW.

- Se detallan las velocidades en las que el sistema DDAW se debe activar de manera
automática: 70Km/h para el caso de vehículos tipo M1, mientras que 60Km/h para los tipo
M2, M3, N2 y N3.

- El sistema DDAW debe operar de manera efectiva durante el día y noche, asimismo, no debe
tener limitaciones con respecto a condiciones meteorológicas.
 - El sistema DDAW debe alertar al conductor cuando se detecte un nivel de somnolencia mayor
o igual a 8 en la escala de somnolencia de Karolinska (KSS). Sin embargo, puede ser
advertido desde que se detecta un nivel de somnolencia de 7 en KSS.
-

Figura 15. Escala de somnolencia de Karolinska

Tomado de AIS-184 de apéndice de Parte 1

- Se recomienda analizar indicadores como el monitoreo de las micro correcciones rápidas y

bruscas en la dirección, y el control de la posición del vehículo en el carril.

- El sistema de alertas debe tener dos modos: uno visual y uno acústico. Con respecto a la
visual, puede ser una indicación fija o intermitente. Mientras que la acústica, la mayor parte
de la alerta, se debe situar en el espectro de frecuencias entre 200 Hz y 800 Hz, y una
amplitud entre 50 dB y 90 dB.

Finalmente, se trataron temas correspondientes al fabricante como los procedimientos de validación

de los sistemas de alerta de somnolencia y atención del conductor, los procedimientos de evaluación
de la documentación técnica y pruebas de verificación.
2. Idea del producto

La propuesta que tenemos es el desarrollo de un detector de somnolencia de un conductor de un

vehículo utilizando el entorno de Matlab, el cual se espera que tenga las siguientes características:

1. Permitirá el análisis constante de las características físicas del rostro del conductor para
evaluar el estado en el que está.
2. Genera una alerta para que el usuario tome conciencia de que está en una condición no apta
para el manejo.
3. Mostrará la información del estado del usuario como el nivel de somnolencia que tiene el
conductor según los parámetros establecidos.

Además, incluirá una interfaz de usuario donde se podrá apreciar el registro de las imágenes captadas
por la cámara para que se tenga constancia del análisis y correcto registro de la cara del conductor.
3. BIBLIOGRAFÍA

Bosch Mobility Solutions. (s.f.). Driver Drowsiness Detection.

https://www.bosch-mobility.com/en/solutions/assistance-systems/driver-drowsiness-detection/

Valeo. (s.f.). Driver Monitoring.

https://www.valeo.com/en/driver-monitoring/

Optalert. (s.f.). Automotive Solutions.

https://www.optalert.com/solutions/automotive/

Yauri-Machaca, M., Meneses-Claudio, B., Vargas-Cuentas, N., & Roman-Gonzalez, A. (2018).

Design of a Vehicle Driver Drowsiness Detection System Through Image Processing using Matlab. En
2018 IEEE 38th Central America and Panama Convention (CONCAPAN XXXVIII) (pp. 1-6). San
Salvador, El Salvador. doi: 10.1109/CONCAPAN.2018.8596513.
https://ieeexplore-ieee-org.ezproxybib.pucp.edu.pe/document/8596513

STONKAM(s.f.). Sistema Inteligente con IA - DMS

https://es.stonkam.com/products/Driver-Status-Detection-System-DMS31.html?gad=1&gclid=Cj0KC
QjwnMWkBhDLARIsAHBOftpFnh5Tg97bYdH_mBNOLta_iD0VoOJmdS7bVXNRIgcDBA4PrA7V
cRsaAn_fEALw_wcB

Pirim, P. (2001). U.S. Patent No. 6,304,187. Washington, DC: U.S. Patent and Trademark Office.
https://patents.google.com/patent/US6304187?oq=drowsiness

Ministry of Road Transport and Highways. (2022). Draft AIS-184/DF.

https://morth.nic.in/sites/default/files/ASI/1_Draft_AIS%20184_DF.pdf

Yeo, J. H. (2001). U.S. Patent No. 6,243,015. Washington, DC: U.S. Patent and Trademark Office.
https://patents.google.com/patent/US6243015

Aplicación de alerta de detección de somnolencia

https://play.google.com/store/apps/details?id=com.lkh012349s.driver_sleep_alert&hl=en&gl=US

H. Ujir, E. M. Jee, M. Farhaan Iqbal, Q. K. Mun and I. Hipiny, "Real-Time Driver’s Monitoring
Mobile Application through Head Pose, Drowsiness and Angry Detection," 2021 8th International
Conference on Computer and Communication Engineering (ICCCE), Kuala Lumpur, Malaysia, 2021,
pp. 1-6, doi: 10.1109/ICCCE50029.2021.9467232.
https://ieeexplore-ieee-org.ezproxybib.pucp.edu.pe/document/9467232