IoT Based Weapons Detection System For Surveillance and Security Using YOLOV4

Machine Translated by Google
Actas de la 6.ª Conferencia Internacional sobre Sistemas de Comunicación y Electrónica (ICCES2021)
Número de pieza IEEE Xplore: CFP21AWOART; ISBN: 9780738114057
Sistema de detección de armas basado en IoT para
Vigilancia y seguridad usando YOLOV4
Anuj Singh Sachin Sharma
Departamento de Aplicaciones Informáticas Departamento de Informática e Ingeniería Era Gráfica
Era Gráfica Se considera Universidad Considerada como Universidad Dehradun, India
Dehradun, India sachin.cse@geu.ac.in
anujsinghrawat72@gmail.com
Tanmay Anand Pankaj Singh
Departamento de Ciencias de la Computación e Ingeniería Departamento de Ciencias de la Computación e Ingeniería
Era Gráfica Considerada como Universidad Era Gráfica Considerada como Universidad
Dehradun, India tanmayanand99@gmail.com Dehradun, India
koranga.yug.098@gmail.com
Resumen— Debido al aumento de la delincuencia y el terrorismo en la detector que utiliza una sola red neuronal para detectar objetos
mayor parte del mundo, la vigilancia de la seguridad se está volviendo cada vez en la entrada que se le da en formato de imagen o video.
más importante. En este trabajo se diseña un sistema basado en visión artificial Neural Network es una red de neuronas como nodos que funciona
para la detección de armas para vigilancia de seguridad en tiempo real. Para la
de manera similar a un cerebro humano. Aprende con cada
identificación, detección y notificación a las autoridades correspondientes, el
entrada cometiendo errores y luego validando y comparando el
sistema emplea el algoritmo YOLO V4 (You Only Look Once). Esta red neuronal
error con la salida real [6] y luego viene el IoT, un sistema que
se puede entrenar usando imágenes, videos y videos de transmisión en vivo.
Este modelo incorpora dispositivos inteligentes de Internet de las cosas (IoT) puede funcionar de forma inalámbrica para intercambiar y transferir
que están interconectados y automatizados en la detección de armas. La datos con microprocesadores
la ayuda de dispositivos
la sd
alida
e IoT Lyos microcontroladores/
ItoT
ransmitida
ayudarán sensores
para
or los
comprender
sensores
el
y
precisión de este modelo varía según la calidad de las imágenes y videos modelo YOLO para proporcionar un comando específico de
utilizados en el proceso de detección. Aquí, el trabajo de investigación propuesto acuerdo con la condición dada y notificar a la persona u
ha descubierto que el proceso de detección se ve afectado por el tipo de organización específica.
hardware que se ha utilizado para ejecutar el algoritmo, que va desde la
detección de imagen/video de baja calidad con un 70 % de precisión hasta la
El problema de detección de armas se aborda con Yolo y el
detección de imagen/video de alta calidad con un 95 %. precisión.
problema de notificar o alarmar a la organización se soluciona
con IoT [7].
Palabras clave: detección de armas, YOLO V4, visión artificial,
II. NECESIDAD DE VIGILANCIA DE ARMAS BASADAS EN IA Y
Video en tiempo real, Inteligencia Artificial, dispositivos inteligentes IoT.
SISTEMA DE SEGURIDAD
I. INTRODUCCIÓN En esta era de la tecnología, todos intentan hacer frente a los avances
en terrorismo, robos, etc. Por lo tanto, la seguridad es el tema principal
La detección de armas en el mundo real es una vieja aspiración
de todas las organizaciones de seguridad y la solución para abordar
de las agencias de seguridad en general, debido a la enorme
estos problemas [8]. Como un robo en un banco donde el sistema
importancia que puede alcanzar algún día en términos de seguridad [1].
9781665435871/21/$31.00
ICCES51350.2021.9489224
Comunicación
Internacional
Conferencia
Electrónica
Sistemas
10.1109/
(ICCES)
©2021
IEEE
DOI:
sobre
2021
6ta
de
|
y
|
basado en IA puede ayudarlos incluso sin una interfaz humana y
De hecho, muchos delitos se cometen con armas en todo el
notificar a la organización de seguridad más cercana. Estos sistemas
mundo y están aumentando a un ritmo alarmante. La
se pueden utilizar en aeropuertos, estaciones de tren, cajeros
implementación propuesta se centra en la detección precisa y
automáticos de bancos, áreas militares e incluso en una casa [9]. La
segura de armas en tiempo real, independientemente del
IA podría usarse en estos sistemas de vigilancia para detener muchos
fondo o el tamaño del arma visible [2]. En los últimos años, los
ataques violentos por adelantado para que la policía, el ejército o
modelos de detección de objetos se han mejorado e improvisado.
cualquier organización pueda detener o prevenir cualquier daño a las
Sin embargo, existen numerosos problemas en algunas
personas o al público [10]. Estos también pueden estar en un punto
condiciones de detección, como el entorno nocturno, el tamaño
estable como la vista superior de un edificio o una esquina y también
de píxel del objeto y el ángulo de visión del objeto, que dificultan
en cosas móviles autónomas/semiautónomas como vehículos aéreos
las decisiones de detección para el detector [3]. El objetivo de
no tripulados, drones para operaciones de vigilancia. El aumento del
este enfoque es mejorar los resultados utilizando conjuntos de
terrorismo y la violencia ha convertido en una necesidad urgente para
datos etiquetados manualmente y probándolos desde imágenes
el mundo utilizar estos detectores de armas basados en IA sin la
de baja calidad hasta videos de alta FPS. El objetivo es detectar
intervención de un ser humano [11]. Esto ayudará a la sociedad a
todas las armas posibles, desde cuchillos hasta lanzacohetes,
estar más segura incluso en ausencia de un ser humano, lo que
que pueden ser de apoyo desde casas, bancos hasta operaciones
ayudará a contrarrestar muchos problemas fácilmente [12].
militares complejas. La detección debe detectar el objetivo en
condiciones adversas, por lo que será útil para fabricar un modelo tercero MARCO DE ARMAS YOLO BASADO EN IOT
fino. El objetivo se aproxima utilizando un detector de una etapa DETECCIÓN
YOLOv4 para obtener resultados inmediatos y confiables [4].
Los lugares como terminales de autobuses, estaciones de
El modelo utiliza visión artificial para identificar y clasificar
tren, lugares públicos, etc. están en riesgo debido a la tasa de
objetos/objetivos. La visión por computadora es uno de los
aumento de la delincuencia y el terrorismo. El funcionamiento
campos de la Inteligencia Artificial que ayuda a la máquina/
del modelo propuesto se muestra en la Fig. 1. El vídeo que se
computadora a interpretar y comprender el objeto usando
graba en tiempo real desde diferentes lugares se pasa por el Yolo
imágenes y videos [5]. Solo miras una vez o YOLO es un objeto en tiempo real
9780738114057/21/$31.00 ©2021 IEEE 488
Licencia de uso autorizada limitada a: Universidad Nacional Pedro Ruiz Gallo. Descargado el 22 de enero de 2023 a las 22:31:59 UTC desde IEEE Xplore. Se aplican restricciones.
Modelo V4 donde la búsqueda de cualquier tipo de arma se realiza over Union es una métrica de evaluación para decidir si es una
de forma automática. Una vez que se detecta el arma, se informa buena predicción o no.
a las autoridades correspondientes.
IV. ARQUITECTURA DEL MODELO PROPUESTO
YOLO v4 utiliza una sola red neuronal para la imagen completa y
divide las imágenes en regiones y cuadros delimitadores y
probabilidades para cada región. YOLO v4 es una versión
modificada del anterior YOLOv3.
En YOLOv4, los paquetes especiales utilizados en la columna
vertebral, que se utiliza para la extracción de funciones, del modelo
son BagofFreebies (BoF) y BagOfSpecials (BoS) que mejoran
la eficiencia del modelo con CSPDarknet53 (CrossStage Darknet
parcial53). BoF se usa solo para aumentar el costo de la
capacitación mientras deja bajo el costo de la inferencia mediante
el uso de aumento de datos y BoS se usa para aumentar el costo
de la inferencia en una pequeña cantidad con un aumento
significativo de la precisión de la detección de objetos. La Fig. 2
muestra la Arquitectura del modelo propuesto. The Neck, que se
utiliza para recopilar mapas de características de diferentes etapas,
de YOLOv4 contiene SPP (Spatial Pyramid Pooling) modificado
que genera una salida de tamaño fijo independientemente del Fig. 2 Arquitectura del modelo propuesto.
tamaño de entrada que se transfiere a las redes totalmente
conectadas y PaNet modificado (Path Aggregation Networks) que La cabeza de Yolo hace la predicción densa con las coordenadas
se utiliza para una mejor propagación de la información de textura de los cuadros delimitadores, el valor de confianza de la predicción
y patrón de una capa a la siguiente. y la etiqueta de clase. Los modelos anteriores de detección de
objetos como Yolov3, SSD (detector de disparo único) utilizan una
norma Ln convencional (n = 1,2) para calcular la distancia entre
los cuadros delimitadores predichos y los cuadros delimitadores
reales del terreno. Estos también se utilizaron para calcular la
calidad del modelo, pero el rendimiento de estos fue promedio. Sin
embargo, al usar la pérdida de IoU, el cuadro delimitador predicho
aumenta el tamaño hacia el cuadro delimitador de la realidad del
terreno, lo que da como resultado un cuadro delimitador más
preciso que la pérdida L2. Si la pérdida de IoU es menor que el
umbral, el modelo debe estar más capacitado para superarlo.
V. CARACTERÍSTICAS DEL MODELO PROPUESTO
El Yolov4 es una mejor versión para la detección de objetos, ya
que su precisión para la identificación y clasificación del objeto es
muy alta, incluso con la precisión media mínima de su modelo
entrenado. Por lo tanto, el mAP del modelo se puede aumentar y,
por lo tanto, el proceso de detección del modelo será más rápido
y preciso incluso en los peores casos. En los próximos días,
trabajaremos en su mAP e intentaremos mejorarlo después de
probarlo y entrenarlo usando conjuntos de datos de la mejor a la
peor calidad. Y aumentando las iteraciones/épocas para entrenarlo
mejor y dar un resultado confiable. El modelo Yolov4 es eficiente
en la detección de pequeños objetos de píxeles en una imagen
que no tiene en su versión anterior. Una RCNN más rápida es
mejor para detectar objetos pequeños, pero su velocidad no es
favorable para la detección de objetos en tiempo real [13]. En la
detección de objetos en tiempo real, la única precisión no importa,
Figura 1. Modelo propuesto.
la velocidad o el período de detección también importan, lo que
El cabezal Yolo se utiliza para detectar las coordenadas de los
Yolov4 ha superado con éxito [14]. Como Yolov4 funciona con una
cuadros delimitadores e interactuar con el mapa de características
sola red neuronal, se puede instalar fácilmente en un sistema integrado.
para encontrar la probabilidad de los objetos en ese cuadro
Estaremos trabajando en la instalación y validación del código en
delimitador y, si la probabilidad es más preponderante que el
los dispositivos IoT para probar el producto en escenarios en
umbral, entonces el objeto con IoU (intersección sobre unión) tiempo real. Se pueden usar microcontroladores IoT como Arduino
mayor que el valor de umbral recibe un cuadro delimitador a su alrededor. Intersección
Uno Rev3, ESP32, Nvidia Jetson, Raspberry Pi 4 para
procesamiento, validación y envío de datos de forma inalámbrica.
9780738114057/21/$31.00 ©2021 IEEE 489
La cámara también es una parte importante de este proyecto, ya que
se utilizarán más megapíxeles de la cámara y se incrementará la
eficiencia para hacer zoom y detectar el objeto. Los sensores son la
parte más importante de los dispositivos IoT que ayudan a recopilar y
analizar datos de diversas formas [15], [16].
Si implementamos un sensor de visión nocturna en la cámara, puede
detectar imágenes de manera eficiente incluso en un entorno oscuro o
nocturno. O si implementamos un sensor térmico y de profundidad que
analice las texturas térmicas en la cámara también ayudará a detectar
la imagen mediante la evaluación 3D del objeto. Luego viene la parte de
alerta del proyecto, nuestro motivo era después de la detección y
validación del objeto con alta confianza, el sistema debería enviar un
mensaje de alerta a la persona u organización respectiva de inmediato.
Los dispositivos IoT vienen con un módulo inalámbrico incorporado y
enviarán el comando necesario al servidor y llegarán a través de una
API instalada en el móvil, la PC o cualquier sistema conectado al
servidor de esa persona, a través de un correo electrónico o un mensaje
de alerta, se puede usar cualquier medio. . Cuanto más potentes y
grandes sean los pesos de yolov4, más potente se puede utilizar el
microcontrolador IoT para proporcionar un mejor resultado.
VI. IMPLEMENTACIÓN Y ANÁLISIS DE RESULTADOS DEL
MODELO PROPUESTO
Hemos utilizado imágenes de Kaggle y Google para Dataset. El conjunto
de datos de Kaggle se etiquetó previamente, mientras que nosotros
etiquetamos manualmente las imágenes de Google. Entrenamos los
datos en 3000 iteraciones. El conjunto de datos contiene imágenes de Fig. 3 Configuración de entrenamiento para yolov4.
un cuchillo, espadas, pistolas, ametralladoras, escopetas, etc. Pero lo
hemos tomado como una sola clase como Arma. También usamos el Mosaic mezcla 4 imágenes de entrenamiento que le permiten detectar
contenedor de Google que contiene millones de conjuntos de datos un objeto a una escala más pequeña que la normal. Mientras que SAT
segmentados y etiquetados que se pueden usar para los casos de usa el estado del modelo para informar las vulnerabilidades
capacitación y prueba. El modelo también contiene un conjunto de datos transformando la imagen de entrada.
de prueba o un conjunto de datos de validación para verificar Filtros = (No de clases +5) x 3 Pasos
inmediatamente el modelo después de un entrenamiento exitoso (Fig. 3 = (80% de lotes máximos), (90% de lotes máximos)
y Fig. 4) y calcular el mAP (Mean Average Precision) que es una métrica
para calcular la eficiencia de un modelo entrenado. La configuración del
entrenamiento modulariza: 64 lotes y 16 subdivisiones significa que se
tomarán 4 imágenes por lote. La altura y el ancho se pueden aumentar
para mejorar la precisión, buscará más área de los datos de entrada
aquí se usa 416X416, también podemos tomar 608 x 608. Los canales
son 3 como formato de color RGB (rojo, verde, azul) de las imágenes o
videos de entrada. La técnica de aumento de datos se usa para la
diversificación de imágenes que introduce datos sintéticos para un mejor
resultado de entrenamiento y los detectores de objetos contienen
muchos como CutOut, MixUp, CutMix, pero también, Yolov4 introdujo 2
métodos de aumento de datos más: Mosaic y SAT (Entrenamiento
autocontradictorio).
Fig. 4 Configuración de prueba para yolov4.
el objeto Los datos contienen las ubicaciones del directorio para
guardar automáticamente los pesos producidos durante el proceso de
entrenamiento. el objeto los nombres contienen las clases que se usarán
en el modelo de entrenamiento y prueba aquí se usa Arma de una sola clase.
9780738114057/21/$31.00 ©2021 IEEE 490
Uso de imágenes de Google para la detección: el algoritmo YOLO aquí
detectó tres objetivos de armas con una precisión del 78 %, 80 % y 75 %
respectivamente, independientemente del fondo y las posiciones de las
armas.
Fig. 5. Archivos utilizados con fines de entrenamiento y prueba e imágenes del
conjunto de datos con sus respectivas etiquetas.
Fig. 7 Imágenes de video CCTV con detección de armas.
Esta es una instantánea del archivo de texto de etiqueta de una imagen
del conjunto de datos, que contiene dos objetos con su valor de clase y
las coordenadas de los cuadros delimitadores, respectivamente. Uso de video para detección de armas: En la Fig. 7, el algoritmo detectó
El modelo se probó en conjuntos de datos y videos de imágenes de un arma (pistola) en imágenes de CCTV y predijo el arma con una
objetos únicos y múltiples. precisión del 70% incluso en esta calidad inferior.
Fig. 6 Detección de armas.
Uso de la cámara web para detectar el modelo del arma: la Fig. 6
muestra que la imagen del AK47 se detecta utilizando el modelo Fig. 8. Detección de armas a partir de imágenes de video.
entrenado yolov4. La precisión de detección es del 94%.
9780738114057/21/$31.00 ©2021 IEEE 491
Fig. 11 Pérdida promedio del modelo entrenado Yolov4 v/s número de iteraciones
realizadas.
Fig. 9. Detección de armas a partir de imágenes de video nocturnas.
VIII. CONCLUSIÓN
La Fig. 8 muestra que el modelo YOLO ha detectado el arma en vista
nocturna con un 95 % de precisión en el video. En la Fig. 9 y la Fig. 10, En este trabajo se diseña e implementa un sistema basado en visión
el modelo YOLO ha detectado el objetivo del arma en una vista de artificial para la detección de armas para la vigilancia de seguridad en
cámara de visión nocturna del video de 30 FPS con una precisión del 82 tiempo real. Usando el algoritmo YOLO V4 (solo miras una vez) y las
%. El mAP (precisión media media) del modelo aquí utilizado es del 77,75 armas de la red neuronal se detectan con buena precisión. La calidad de
% y una pérdida media de 1,314. las imágenes y videos puede afectar el proceso de detección. Aquí,
El modelo detectó armas con una precisión muy alta en algunas de las llegamos a la conclusión de que el proceso de detección se ve afectado
peores condiciones, por lo que puede funcionar mejor con la detección
por el tipo de hardware, el tiempo de ejecución del algoritmo, que van
en tiempo real con un modelo de mAP alto al aumentar los conjuntos de desde la detección de imagen/video de baja calidad con una precisión
datos de entrenamiento de calidad y más iteraciones para el entrenamiento. del 95 %. En el futuro, se pueden explorar tecnologías avanzadas para
La figura 11 muestra una caída lineal entre 0 y 300 iteraciones, luego, de una detección de armas más efectiva.
300 a 3000 iteraciones, la pérdida promedio disminuye en pequeñas
fracciones.
REFERENCIAS
[1] Pang, L., Liu, H., Chen, Y. y Miao, J. (2020). Detección de objetos ocultos en
tiempo real a partir de imágenes de ondas milimétricas pasivas basadas en el
algoritmo YOLOv3. Sensores, 20(6), 1678.
[2] Warsi, A., Abdullah, M., Husen, MN, Yahya, M., Khan, S. y Jawaid, N. (agosto de
2019). Sistema de detección de armas usando YOLOv3. En la Conferencia
internacional IEEE de 2019 sobre instrumentación, medición y aplicación
inteligentes (ICSIMA) (págs. 14). IEEE.
[3] Castillo, A., Tabik, S., Pérez, F., Olmos, R., & Herrera, F. (2019).
Preprocesamiento guiado por brillo para la detección automática de armas de
acero frío en videos de vigilancia con aprendizaje profundo. Neurocomputación,
330, 151161.
[4] Redmon, Joseph, Santosh Divvala, Ross Girshick y Ali Farhadi, "Solo miras una
vez: Detección unificada de objetos en tiempo real", Actas de la conferencia
IEEE sobre visión artificial y reconocimiento de patrones, págs. 779788, 2016.
[5] Olmos, Roberto, Siham Tabik y Francisco Herrera, "Alarma de detección
automática de pistola en videos usando aprendizaje profundo",
Neurocomputación, vol. 275, núm. 2018, págs. 6672.
[6] Tiwari, Rohit Kumar y Gyanendra K. Verma, "Un marco basado en la visión
artificial para la detección visual de armas mediante el detector de puntos de
interés de harris", Procedia Computer Science, vol. 54, núm. 2015, págs.
703712.
[7] Chaabouni, N., Mosbah, M., Zemmari, A., Sauvignac, C. y Faruki, P. (2019).
Detección de intrusos en la red para seguridad IoT basada en técnicas de
aprendizaje. Encuestas y tutoriales de comunicaciones de IEEE, 21(3),
Fig. 10 Detección de armas a partir de secuencias de vídeo con visión nocturna. 26712701.
9780738114057/21/$31.00 ©2021 IEEE 492
[8] Jain, H., Vikram, A., Kashyap, A. y Jain, A. (julio de 2020). Detección de Armas usando
Inteligencia Artificial y Aprendizaje Profundo para Aplicaciones de Seguridad. En
2020 Conferencia Internacional sobre Electrónica y Sistemas de Comunicación
Sostenibles (ICESC) (págs. 193198). IEEE.
[9] Glowacz, A., Kmieć, M. y Dziech, A. (2015). Detección visual de cuchillos en aplicaciones
de seguridad utilizando modelos de apariencia activa.
Herramientas y aplicaciones multimedia, 74(12), 42534267. [10]
Żywicki, M., Matiolański, A., Orzechowski, TM y Dziech, A.
(2011, mayo). La detección de cuchillos como un subconjunto del enfoque de
detección de objetos basado en las cascadas de Haar. En Actas de la 11ª
Conferencia Internacional “Reconocimiento de patrones y procesamiento de
información (págs. 139142).
[11] Amit Juyal, Sachin Sharma, Priya Matta. “Métodos de Aprendizaje Profundo para la
Detección de Objetos en Vehículos Autónomos” V Congreso Internacional de
Tendencias en Electrónica e Informática (ICOEI 2021).
[12] Chetan Pandey, Sachin Sharma, Priya Matta. “Técnicas de privacidad para la Red de
Sensores Corporales en Internet de las Cosas de Salud (HIoT) Una Encuesta
Crítica” 5ta Conferencia Internacional sobre Metodologías de Computación y
Comunicación (ICCMC 2021).
[13] Saksham Gera, Mridul Sharma, Sachin Sharma. “Sistema de monitoreo de atención
médica automatizado basado en IoT para Smart City”. V Congreso Internacional de
Metodologías de Computación y Comunicación (ICCMC 2021).
[14] Vartika Agarwal, Sachin Sharma, Gagan Bansal. “Técnicas de Programación Segura
de Gestión de Recursos de Red en Redes de Comunicación Vehicular”. V Congreso
Internacional de Sistemas Inteligentes de Cómputo y Control (ICICCS 2021).
[15] Neha Gupta, Pradeep Kumar Juneja, Sachin Sharma, Umang Garg.
“Aspecto futuro de la arquitectura 5GIoT en Smart Healthcare System”. V Congreso
Internacional de Computación Inteligente y Sistemas de Control [ICICCS 2021].
[16] Priya Kohli, Sachin Sharma, Priya Matta. “Desafíos de Seguridad, Aplicaciones y
Métodos de Autenticación Vehicular en VANET para la Gestión Inteligente del
Tráfico”. Congreso Internacional de Ingeniería y Gestión Inteligente (ICIEM 2021).
9780738114057/21/$31.00 ©2021 IEEE 493

IoT Based Weapons Detection System For Surveillance and Security Using YOLOV4

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

IoT Based Weapons Detection System For Surveillance and Security Using YOLOV4

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

También podría gustarte