Cetys Universidad, escuela de ingeniería
Ing. en ciencias computacionales : Aprendizaje de máquina
impartido por: Ing. Ulises Orozco
Detección y agrupamiento de códigos QR
Daniel Cruz 31044, Alex B Machado 28111, Samuel Zazueta 33167
I. RESUMEN1
Este documento este informe del proyecto final,
titulado como, “Detección y agrupamiento de códigos QR con
orientación independiente” como sabemos que machine
learning es una de las tendencias de la computación más
populares se decidió hacer un proyecto que consiste en diseñar
un programa en python, capaz de dectectar y reconocer
imágenes o código QR. Se utilizará un algoritmo de
aprendizaje profundo conocido como CNN (Convolutional
Neural Network), este algoritmo conseguirá que el programa
sea capaz de reconocer y clasificar las imágenes de prueba con
el objetivo de crear una alternativa de lo que son el pase de
listas convencionales.
II. DESCRIPCIÓN DEL PROBLEMA
Este proyecto se trata de busca resolver el problema
de la eficacia al momento de la toma de asistencias en un
salón de clases o audiencias en general y dar una solución
simple a dar cuestionarios generales asignando un código QR
con orientación sensible a cada invitado de las mismas, a su
vez, facilitando el trabajo para aquellas personas encargadas
de recopilar información de dichas audiencias dándole la
facilidad de dar un chequeo automático general con tan solo
tomar una fotografía.
1
1
III. OBJETIVOS
El objetivo principal es convertir una imágen con
múltiples códigos QR direccionales en una herramienta para
agilizar procesos de asistencia/cuestionario para una multitud
donde exista un código QR asignado individualmente.
Especialmente, nuestro objetivo consiste en usar el código
QR el cual es muy especial, ya que facilita la forma de
compartir de manera fácil y rápida. Casi la mitad de la
población tiene un smartphone, es por esto que las personas
pueden escanear fácilmente estos códigos también son muy
útiles para las empresas por ejemplo, si en una publicidad se
quiere saber más información, con el código qr se podría
mandar a una página web para esto; nosotros lo que queremos
es poder tomar una foto, y que se registren todos los códigos
QR posibles que se vean en la foto para asi poder la
información que contiene cada uno.
A. Captura de Datos
Con el fin de adquisición de imágenes individuales por
cada código QR en la imagen principal, se aplicarán una serie
de filtros para dar claridad a los patrones de color blanco y
negro:
Esto con el fin de poder evaluar cada imagen obtenida con
la base de datos de códigos QR registrados, los datos entonces
son guardados individualmente para luego ser manipulados
con mayor facilidad.
B. Aplicación de Filtros
Después de obtener los datos en un formato simple de
utilizar, estos se compararon con los archivos registrados para
buscar el mayor porcentaje de similitud, con el propósito de
encontrar a su “alumno” registrado, a su vez, se busca capturar
la información de orientación en el cual ha sido captado el
código QR, con el propósito de utilizar el mismo como un
valor de entrada donde se tengan 4 posibles lados, esto para
dar utilidad a la orientación del mismo, por ejemplo, en una
pregunta de opción múltiple, ser capaz de obtener los
resultados individuales de una multitud de códigos QR.
IV. MARCO TEORICO
1. ALGORITMOS PRINCIPAL:
● CNN (convolutional neural network): un subconjunto
del aprendizaje automático . Es uno de los varios
tipos de redes neuronales artificiales que se utilizan
 para diferentes aplicaciones y tipos de datos. Una
CNN es un tipo de arquitectura de red para
algoritmos de aprendizaje profundo y se usa
específicamente para el reconocimiento de imágenes
y tareas que involucran el procesamiento de datos de
píxeles . Existen otros tipos de redes neuronales en el
aprendizaje profundo, pero para identificar y
reconocer objetos, las CNN son la arquitectura de red
preferida. Esto los hace muy adecuados para tareas de
visión artificial ( CV ) y para aplicaciones en las que
el reconocimiento de objetos es vital, como los
vehículos autónomos y el reconocimiento facial .
2. TERMINOLOGIA:
● Machine learning: El aprendizaje de máquina (MA)
es un campo de investigación dedicado a comprender
y crear métodos que "aprendan", es decir, métodos
que aprovechan los datos para mejorar el rendimiento
en algún conjunto de tareas.Se considera parte de la
inteligencia artificial. Los algoritmos de aprendizaje
automático construyen un modelo basado en datos de
muestra, conocidos como datos de entrenamiento,
para hacer predicciones o tomar decisiones sin estar
programados explícitamente para hacerlo.
● Red neuronal: Las redes neuronales artificiales
(ANN), generalmente llamadas simplemente redes
neuronales (NN) o redes neuronales, son sistemas
informáticos inspirados en las redes neuronales
biológicas que constituyen los cerebros de los
animales. Una ANN se basa en una colección de
unidades o nodos conectados llamados neuronas
artificiales
● código QR: es una etiqueta óptica que contiene
información y puede ser leída por una máquina.
Básicamente es cómo un código de barras, pero
bidimensional. Un código de barras tradicional es
unidimensional ya que codifica la información en sus
barras verticales.
● Detección de objetos: La detección de objetos es una
tecnología de ordenador relacionada con la visión
artificial y el procesamiento de imagen que trata de
detectar casos de objetos semánticos de una cierta
clase en vídeos e imágenes digitales.
● Resolución de imagen: La resolución de una imagen
indica la cantidad de detalles que puede observarse en
esta. El término es comúnmente utilizado en relación
a imágenes de fotografía digital, pero también se
2
utiliza para describir cuán nítida (como antónimo de
granular) es una imagen de fotografía.
● Compresión sin pérdida y compresión con pérdida:
cuando queremos reducir el tamaño de un archivo
(que puede ser una imagen), pero no queremos
comprometer la calidad, este tipo de compresión se
denomina compresión sin pérdida. El archivo
comprimido se puede guardar, pero cuando lo
requerimos, durante el proceso de descompresión, se
restaura toda la información y obtenemos la imagen
real (Figura 2-6). Este primer tipo de compresión da
prioridad a la información contenida en el archivo,
especialmente cuando se comprime texto, donde no
podemos permitirnos perder ni un solo dato.
○
3. HERRAMIENTAS Y LIBRERÍAS
● OpenCv: es una biblioteca libre de visión artificial
originalmente desarrollada por Intel. OpenCV
significa Open Computer Vision. Su funciones
principales es detección de movimiento,
reconocimiento de objetos, reconstrucción 3D a partir
de imágenes, son sólo algunos ejemplos de
aplicaciones de OpenCV.
● Tensorflow: es una biblioteca de código abierto para
aprendizaje automático a través de un rango de
tareas, y desarrollado por Google para satisfacer sus
necesidades de sistemas capaces de construir y
entrenar redes neuronales para detectar y descifrar
patrones y correlaciones, análogos al aprendizaje y
razonamiento usados por los humanos.
● Keras: Es una biblioteca de software de código
abierto que proporciona una interfaz Python para
redes neuronales artificiales. Keras actúa como una
interfaz para la biblioteca Tensor Flow.
● Anaconda: es una distribución libre y abierta​de los
lenguajes Python y R, utilizada en ciencia de datos, y
aprendizaje automático. Esto incluye procesamiento
de grandes volúmenes de información, análisis
predictivo y cómputos científicos.
○
● numpy: es una biblioteca para el lenguaje de
programación Python que da soporte para crear
vectores y matrices grandes multidimensionales,
junto con una gran colección de funciones
matemáticas de alto nivel para operar con ellas.

● Matplotlib: Es una biblioteca para la generación de
gráficos en dos dimensiones, a partir de datos
contenidos en listas o arrays en el lenguaje de
programación Python. Proporciona una API, pylab,
diseñada para recordar a la de MATLAB.
● pillow: Pillow es una biblioteca adicional gratuita y
de código abierto para el lenguaje de programación
Python que agrega soporte para abrir, manipular y
guardar muchos formatos de archivo de imagen
diferentes.
● kaggle: es una comunidad en línea de científicos de
datos y profesionales del aprendizaje automático.
Kaggle permite a los usuarios encontrar y publicar
conjuntos de datos, explorar y crear modelos en un
entorno de ciencia de datos basado en la web; trabajar
con otros científicos de datos e ingenieros de
aprendizaje automático y participar en concursos para
resolver desafíos de ciencia de datos.
● LabelImg: Librería de python utilizada para etiquetar
imágenes de prueba, la misma genera archivos .xml
para cáda imágen por medio de cajas estipuladas por
el usuario.
V. METODOLOGÍA DE LA INVESTIGACIÓN
Antes de hablar sobre las redes neuronales artificiales sobre un
conjunto de imágenes para clasificación, primero examinemos
qué son las redes neuronales. Por ejemplo,¿Qué pasa cuando
nos lastimamos? Se envía una señal inmediatamente a nuestro
cerebro, y luego el cerebro responde basado en la intensidad
de la señal. La transferencia de la señal tiene lugar a través de
las neuronas. Las neuronas transfieren la señal, en forma de
sinapsis, a otra neurona, y el proceso continúa hasta que la
señal llega al cerebro.
Es importante para nosotros describir a las dendritas y el axón.
Las dendritas reciben la señal de otra neurona, y el axón
transmite la señal a la siguiente neurona. Esta cadena se
detiene en el último nodo, que es el cerebro. Las redes
neuronales artificiales usan la misma analogía y procesan
información mediante neuronas artificiales. La información se
transfiere de una neurona artificial a otra, lo que finalmente
3
conduce a una función de activación, que actúa como un
cerebro y toma una decisión.
Ahora que sabemos estos conceptos podemos definir el
modelo sobre el cual basaremos nuestro proyecto se decidió
que se utilizara CNN Las CNN se utilizan para problemas de
procesamiento y clasificación de imágenes. Con las CNN, hay
algunas capas adicionales, aparte de las neuronas normales.
capas de red sabemos que una red neuronal ANN cada uno de
los nodos está conectado a todos y cada uno de los nodos de la
capa siguiente. Esto puede convertirse requiere mucho tiempo
y también conduce al problema del sobreajuste*. Las CNN
son utilizadas para corregir este problema. Con las CNN, no
tenemos una conexión con cada y cada nodo. Con las CNN,
aplicamos filtrado selectivo. El trabajo de las CNN comienza
con la convolución capa, donde aplicamos un filtro (también
conocido como kernel) a la entrada imagen. Este núcleo
avanza a grandes zancadas sobre la imagen, bloque por
bloque, donde cada bloque es una colección de celdas de
píxeles. Durante este proceso, realizamos multiplicación de
matrices, lo que da como resultado una imagen de menor
resolución. En la capa de submuestreo (también llamada capa
de submuestreo) encontramos el valor de píxel promedio
(llamado agrupación promedio) o el píxel máximo valor
(llamado agrupación máxima) y obtener una imagen de
resolución aún más baja.Por último, la salida se conecta a la
capa completamente conectada, donde cada salida máxima de
agrupación está conectada a cada nodo en el totalmente
conectado capa. Después de esto, se sigue una arquitectura de
red neuronal.
por eso es que este modelo es el más adecuado para nuestro
proyecto ya que buscamos clasificar imágenes para poder
utilizarlas como un código qr.
definiremos la dimensión de la imagen. Cada imagen en el
conjunto de datos deberá de tener el mismo tamaño para
mantener una integridad de datos de entrenamiento.
Guardaremos el número de filas de píxeles y número de
columnas de píxeles dentro de las variables r y c Luego
definimos el número de clases usando etiquetas de 0 a 9, lo
que significa que habrá un total de diez clases después dentro
del módulo de keras, tenemos todo el Conjunto de datos
MNIST. Entonces, usamos el conjunto de datos de Keras
directamente y con esto extraemos los conjuntos de
entrenamiento y prueba. que previamente obtendremos de una
base datos en ZXing y con esto se realizará un función que se
encargará de cargar los datos.
Luego remodelamos con la funcionalidad de numpy porque
actualmente los datos están en un formato de matriz sin
estructura adecuada. Usando remodelar, damos los datos
estructura. Hacemos esto diciéndole a Python que convierta la
matriz de tal manera que tenga todos los valores de píxel en
solo una columna Actualmente, el tipo de datos de x_train y
x_test es Int (entero). Queremos convertirlo en Flotante, para
que podamos aplicar el preprocesamiento sobre él fácilmente.
Ahora tenemos que hacer la normalización. Dividimos cada
uno y cada píxel con el valor de intensidad de píxel más alto
de todo el conjunto, por lo que los datos dan como resultado
un rango inferior de cero a uno. Esto ayuda a entrenar el
modelo de manera eficiente.
También se coloca los códigos qr sobrepuestos en zonas de
x_train /= 255 x_test /= 255 pruebas como estas fotos de la ciudad de scotland, estas
imágenes serían nuestros sujetos de pruebas a realizar para el
Ahora que nos hemos ocupado de los independientes modelo. donde el programa detectará todos los códigos QR en
variables, tenemos que cuidar de las variables, qué son las la imagen. más a futuro se aplicará en una cámara para
etiquetas numéricas reales. Al hacer esto, convertimos los aplicarse en la vida real con diferentes códigos QR impresos y
valores, que están actualmente en formato entero, a valores colocados en ciertos lugares donde la cámara tenga alcance.
categóricos. Por último, devolvemos todos los datos
procesados a nuestro código original. Mientras la métricas de evaluación que se aplica al proyecto,
se conoce como average precision, utilizada para modelos de
return (x_train,x_test,y_train,y_test,input_shape) clasificación. como métrica ya que nos funciona para
determinar el porcentaje de precisión para que la cámara sea
el datasets que se empleados como datos de entrenamiento son capaz de detectar los códigos qr, es una métrica hecha para
sacados de la página web conocido como kaggle conocido determinar la cantidad de predicciones que nuestro modelo
code QR, ese Dataset es para el entrenamiento y prueba, ese acertó. Esto sirve para diferenciar e igualar nuestras
dataset solo tiene la imagen de los QR, son más 10000 predicciones con la realidad.
archivos, podemos utilizarlos para generar imágenes con
varios de estos, dar etiquetas a las nuevas imágenes con
cuántos códigos existen en X imágen y con ello podemos
testear la veracidad de el modelo, ya que tendríamos un dato
que nos exponga si el modelo está correcto o no?, pero por
ahora solo limitaremos a una cierta cantidad como 1000
archivos posibles, para no afectar el rendimiento e impedir
una sobrecarga del modelo aplicado.
donde ‘‘TP’’ representa el true positive de los preliclectos
correctos del modelo, también está “FP” false positive
significa el número de predilectos correctos pero presenta un
error. pero también existen la versión contraria pero en base
con el negativo como false negative ‘’ FN’’ y true negative
‘’TN’’. Tras aplicar la sumatoria de los cuatro valores luego
divididos por los otros dos valores se calcula el puntaje de
predicción aplicada en el modelo.

4
 proceso de obtención de imágenes.

no solo eso también estos predilectos también puede calcular

la recall es la métrica de exhaustividad nos va a informar sobre
la cantidad que el modelo de machine learning es capaz de
identificar.

VI. DESCRIPCIÓN DE LA IMPLEMENTACIÓN

Creamos el directorio de donde nuestras imágenes se
Una vez conseguidos los sujetos de prueba, es necesario
encontrarán dentro del proyecto:
continuar a etiquetar unos cuantos de estos, en este caso se
etiquetaron 30 diferentes imágenes para entrenar, y 10 para
probar la efectividad del mismo.

Se utilizó la librería de python LableImg para dar etiquetado a

las imágenes, esta librería es de código abierto por lo que
podemos utilizarlo sin ningún problema, para instalación
rápida simplemente hay que hacer uso de nuestro asistente de
instalación de librerías en python pip con el siguiente
comando:
pip install LabelImg
Una vez hecho esto, para abrirlo simplemente lo llamamos por
su nombre en una consola y nos abrirá el software por default:
y una vez dentro de este directorio, generamos 2 carpetas, una
con el nombre train y la otra con el nombre test, donde
dividiremos nuestras imágenes 30-10 junto con su archivo
.xml generado por nuestra librería LabelImg, una vez hecho
esto podemos pasar a nuestra segunda fase. Cabe mencionar
que todo código presentado en éste documento estará
disponible en los .ipynb encontrados en el repositorio adjunto.

A. ENTRENAMIENTO
Primero que nada debemos crear nuestros directorios para
trabajar con los mismos, con la ayuda de los siguientes
comandos todo esto se hará automáticamente dentro de la
carpeta de nuestro proyecto

una vez etiquetadas nuestras imágenes, damos comienzo a la

segunda fase, la de entrenamiento.

Importamos algunas librerías para comenzar a capturar

nuestras imágenes, se ha dado la opción de utilizar la cámara
web de nuestro dispositivo para capturar imágenes en el
momento, para más información de esto consultar el primer
.ipynb encontrado en el repositorio, donde se lleva todo el

5

A continuación, descargamos algunos de los modelos pre
entrenamos de TensorFlow para agilizar la carga del nuestro,
accedemos a la documentación oficial de TensorFlow,
www.Tensorflow.org/install/source_windows para conseguir
nuestra versión del mismo, en este caso, se ha utilizado
tensorflow 2.11.0 junto con las dependencias CUDA 11.2 y
cuDNN 8.1, encontradas en su respectiva documentación, es
importante aclarar que para que nuestro código corra de forma
correcta, el uso de python 3.8 es requerido, ya que futuras
versiones contienen un error de compatibilidad a través de la
librería “numpy” en una de las funciones utilizadas en el
entrenamiento.
continuamos instalando wget para obtener alguna descargar
alguna utilidad en el futuro de nuestro proyecto y procedemos
a generar directorios para la instalación de la librería
Tensorflow Object Detection y nuestro protoc-compiler
Para poder continuar, es necesario evaluar la instalación de
nuestras librerías y dependencias, por lo que el
“Verification_Script” será nuestra salvación a partir de ahora,
para resumirlo en pocas palabras, si este script nos dá un
resultado positivo, significa que podemos proceder con
nuestro entrenamiento sin ningún problema, por lo que
6
debemos dar una pausa y enfocarnos en que éste corra sin
problemas:
una vez tenemos ese OK, sabemos que estamos listos para
continuar, va a ser necesario instalar algunas dependencias que
por algún motivo no se hayan instalado, esto varía por usuario
por lo que aquí estás por tu cuenta, los problemas encontrados
son simples “no se ha encontrado esta librería” por lo que
como solución general sería instalar XXXX librería en nuestro
ambiente virtual del proyecto.
A continuación, actualizamos tensorflow con el siguiente
comando:
!pip install tensorflow --upgrade
importamos nuestra librería de object detection:
import object_detection
y por último verificamos que todas nuestras librerías hayan
sido instaladas, para ello regresamos de nuevo a nuestro
Verification_Script y adicionalmente hacemos uso del
siguiente comando:
!pip list
y verificamos manualmente que las librerías instaladas hasta
ahora se encuentren en el listado.
En el código anterior, obtendremos nuestro modelo
pre-entrenado, por medio del URL obtenido anteriormente,
accederemos al repositorio oficial de TensorFlow para adquirir
el modelo, que en este proyecto específico utilizamos el
modelo SSD MobileNet V2 FPNLite 320x320, para detección
de objetos por “single snapshot” en una resolución re-escalada
de 320x320.
Una vez descargado nuestro modelo, debemos crear el label
map para ayudar a nuestra IA a entrenar, en este diccionario es
donde debemos colocar el nombre de nuestras etiquetas
generadas por nosotros con la ayuda de la librería LabelImg y
asignarle un id a cada etiqueta, como en este caso solo
requerimos detectar códigos QR, solo tenemos una etiqueta.

VII. DESCRIPCIÓN DE LOS RESULTADOS
VIII. CONCLUSION
La red neuronal convolucional es una técnica popular de
aprendizaje profundo para las tareas actuales de
reconocimiento visual. Como todas las técnicas de aprendizaje
profundo, CNN depende mucho del tamaño y la calidad de los
datos de entrenamiento. Dado un conjunto de datos bien
preparados, las CNN son capaces de superar a los humanos en
tareas de reconocimiento visual. Sin embargo, todavía no son
resistentes a los artefactos visuales como el deslumbramiento
y el ruido, que los humanos pueden manejar. La teoría de la
CNN aún se está desarrollando y los investigadores están
trabajando para dotarla de propiedades como la atención
activa y la memoria en línea, lo que permite a las CNN evaluar
nuevos elementos que son muy diferentes de los que fueron
entrenados. Esto simula mejor el sistema visual de los
mamíferos, avanzando así hacia un sistema de reconocimiento
visual artificial más inteligente.
Podemos decir que los códigos QR son una herramienta muy
importante para nuestra sociedad ya que por su facilidad de
uso y ahorro de tiempo en digitación de información los
códigos QR son actualmente parte de la vida de los
consumidores en varios países del mundo. Entre los usos
prácticos de los códigos QR está un control eficiente de
inventarios, actividades administrativas, registros de piezas,
etc
en este proyecto nos dedicamos en utilizar este algoritmo
donde lo usamos como un detección de objetos (especialmente
códigos QR) en base s de una cámara, este proyecto fue capaz
de reconocer los diferentes de datos de entrenamiento creados
para entrenar el proyecto y que sea capaz de mejorar la
precisión del proyecto reconozca múltiples códigos QR en
cierta distancia y en la misma cámara.
IX. REFERENCIAS
[1] DataScientest. (2022), Convolutional Neural Network, Recuperado de:
https://datascientest.com/es/convolutional-neural-network-es
[2] Marous, J. (19 de marzo de 2018). 15 Applications of AI and Machine
Learning in Financial Marketing. The Financial Brand. Recuperado de:
<https://thefinancialbrand.com/71350/ai-machine-learning-analytics-m
arketing-banking-trends//>
[3] Schmarzo, B. (9 de enero de 2014). Business Analytics: Moving From
Descriptive to Predictive Analytics [mensaje en un blog]. Dell EMC.
Recuperado de:
<https://infocus.dellemc.com/william_schmarzo/business-analytics-mo
ving-from-descriptive-to-predictive-analytics//>
[4] McKinsey Global Institute (2011). Big Data: The Next Frontier for
Innovation, Competition and Productivity. Recuperado de:
<https://www.mckinsey.com/~/media/McKinsey/Business%20Function
s/McKinsey%20Digital/Our%20Insights/Big%20data%20The%20next
%20frontier%20for%20innovation/MGI_big_data_exec_summary.ashx
>
[5] Figueroa Nazuno, Jesús, coord. Advances in: artificial intelligence,
computing science and computer engineering. México: IPN-Centro de
Investigación en Computación, 2004.
[6] Weik, M.H. (2000). image recognition. In: Computer Science and
Communications Dictionary. Springer, Boston, MA.
https://ebiblio.cetys.mx:4083/10.1007/1-4020-0613-6_8657