Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Paper Conferencia RA ELM 04-07-2022
Paper Conferencia RA ELM 04-07-2022
C
agrupar e identificar. El proceso generalmente consiste en
HILE es un potencia agroalimentaria en la exportación de recopilar imágenes con sus metadatos, luego expertos
frutas [1]. En el caso de las manzanas, estas clasifican las imágenes para entrenar modelos, donde
experimentan cuantiosas pérdidas anuales debido a factores actualmente los algoritmos más utilizados son las Redes
bióticos y abióticos. Los huertos de manzanos están bajo la Neuronales Profundas [6].
amenaza contante de una gran cantidad de insectos, y En este estudio se utilizaron las ELM (Maquinas de
enfermedades fúngicas, bacterianas y virales. Dependiendo de Aprendizaje Extremas, del inglés: Extreme Learning
la incidencia y la severidad de la enfermedad o insectos, los Machine). Las ELM son algoritmos de redes neuronales de
impactos van desde una apariencia cosmética poco atractiva, una sola capa oculta, donde los pesos de la capa de entrada y
baja comerciabilidad y mala calidad de la fruta, hasta una los sesgos de la capa oculta se generan aleatoriamente. Es así
disminución del rendimiento o la pérdida total de la fruta o de que los pesos de la capa de salida se calculan resolviendo un
los árboles, que produce enormes pérdidas económicas [2]. sistema lineal gracias a la matriz pseudoinversa de Moore-
La detección temprana de plagas y enfermedades es Penrose. Se ha demostrado que las ELM son competentes en
fundamental para la implementación de programas adecuados términos de exactitud, y se destacan por su proceso de
y oportunos de manejo. Los modelos de predicción de riesgo entrenamiento rápido y estable, además de que su
de enfermedades y plagas se han desarrollado en función de la implementación es relativamente accesible para todo público
incidencia, la gravedad y el momento de la infección, donde [7]. En el estado del arte de las ELM han sido utilizadas para
los modelos utilizan datos meteorológicos actuales y problemas similares al planteado en esta investigación en: (1)
pronosticados [3]. predicción de enfermedades de plantas para datos
Hoy en día, la detección de enfermedades y plagas en los desbalanceados basada información meteorológica; (2)
huertos comerciales de manzanos se basa en la exploración reconocimiento de especies de plantas utilizando imágenes de
hojas y LBP (sigla en inglés: Local Binary Patterns); (3)
R. A-G., D. Z-B., X. L-C., and R.J. B. are with the Faculty of Engineering
Science, Universidad Católica del Maule, Campus San Miguel, Avenida San clasificación de estructuras de plantaciones agrícolas
Miguel 3605, Talca., Chile (e-mails: {rahumada, dzabala, xlopez, utilizando ELM semi-supervisada [8]–[10].
rbarrientos}@umc.cl). En esta investigación se utiliza el set de datos de una
I. S. Author is with the Electrical Engineering Department, Universidad de
Santiago de Chile, Avenida Ecuador 3519, Santiago de Chile, Chile (e-mail: competencia Kaggle, comunidad de Machine Learning y Data
ismael.soto@usach.cl). Science (https://www.kaggle.com). La Base de Datos que se
utilizó en este estudio tiene clasificadas por expertos hojas
sanas y enfermas, como por ejemplo: sarna del manzano y n es la dimensión de la capa de entrada, b j representa el sesgo
roya. La base de datos corresponde a la usada en el artículo del j -esimo nodo oculto, β j denota el vector de peso de salida
científico: “The Plant Pathology Challenge 2020 data set to
entre los j -esimos nodos de salidas y neuronas ocultas, y
classify foliar disease of apples” [11], donde se utilizaron
t i ∈ R es el vector objetivo m-dimensional originado por x i.
m
Redes Neuronales Convolucionales, específicamente
ResNet50, Red Neuronal Profunda de 50 capas. El estudio Además, w j y b j es el resultado de cualquier distribución de
reporta que la exactitud global de la red ResNet50 fue del 97% probabilidad continua, como la distribución rectangular. El
para esta tarea, en el artículo se muestra que participaron termino w j ∙ x i viene a ser el producto interno de w j y x i. Para
diferentes grupos de investigación, donde los 3 mejores grupos
encontrar los β se puede utilizar el método de mínimos
tuvieron áreas bajo la curva ROC [12] de 0.98445, 0.98182 y
0.98089, lo que demuestra una gran exactitud de las redes cuadrados según la expresión: β=H † T , [16] donde el
profundas, pero con una gran complejidad algorítmica, al tener superíndice † representa la operación pseudoinversión de
50 capas. Sin embargo, en casos de hojas con enfermedades Moore- Penrose.
complejas (varias enfermedades a la vez) solo tuvieron un
B. ELM Regularizada
51% de exactitud [11].
La principal contribución de nuestra investigación es El riesgo real de predicción del aprendizaje consiste en el
demostrar la viabilidad de utilizar las ELM para clasificar riesgo empírico y el riesgo estructural [17]. Un modelo con
imágenes de enfermades foliares de manzanos. Se debe una buena capacidad de generalización tiene mejor
considerar que estas imágenes han sido tomadas directamente compensación en ambos riesgos. Por ende, el riesgo real se
en los campos de cultivo (no en un medio controlado), puede representar mediante la suma ponderada de los dos tipos
utilizando un algoritmo extremadamente menos complejo para de riesgos, y la proporción de estos se puede regularizar con
la clasificación como la ELM, red neuronal de una sola capa, un factor de ponderación C por riesgo empírico, este se
2
que tiene un proceso de entrenamiento rápido y un costo representa por la suma del cuadrado del error ‖ε‖ , y el riesgo
computacional de cálculo reducido. 2
estructural representado por ‖β‖ , esto deriva de maximizar la
distancia de las clases de separación de margen [17]. Por lo
II. EXTREME LEARNING MACHINES
tanto, el modelo matemático del algoritmo de la ELM
En esta sección se explica el marco teórico para comprender regularizada (R-ELM) se puede describir en la Ecuación (3):
de manera general el funcionamiento de las Extreme Learning
[ ][ ] [ ]
g ( w 1 ∙ x 1 + b1 ) ⋯ g ( w L ∙ x 1 +b N ) βT1 T
t1
β=¿
{
⋮ ⋱ ⋮ ⋮ = ⋮ ( 2)
( H H + CI ) H T si L> N ( 4 )
−1
g ( w1 ∙ x L +b1 ) ⋯ g ( w L ∙ x L +b N ) β TN T
tL T T
H ( H H + ) T Delo contrario
−1
Donde H es la matriz de salida de la capa oculta, β denota T TI
la matriz de pesos de salida entre la capa oculta y capa de C
salida, T representa los resultados de salida de destino de la
capa de salida, g ( ∙ ) se refiere a una función continua por partes
C.ELM Desbalanceada
no lineal, como la función sigmoide, w j es el vector de pesos
La mayoría de los algoritmos de aprendizaje se ven
de entrada entre en el nodo de entrada y el j -esimo nodo afectados por la distribución de clases, esto incluye a la ELM
n
oculto, x i ∈ R se refiere a los i -esimos datos de entrada donde básica, por ende, esta se ve afectada por la distribución de
clases [19]. El problema surge porque en muchas ocasiones se
consideran entornos ideales en donde los datos están
equilibrados, pero en casos donde los datos no son ideales y
están desequilibrados existe la probabilidad de inclinación
hacia las clases mayoritarias. Designaremos como W-ELM
(del inglés: Weighted ELM) a la ELM-balanceada que se
propone como una solución al problema mencionado.
A) Hoja sana B) Hoja enferma
Las muestras con errores de entrenamientos altos deben
relacionarse con pesos pequeños y viceversa en el algoritmo Fig. 1. Hoja sana y hoja enferma. Se observa que la hoja sana tiene un
ELM [20]. Según el teorema de Karush-Kuhn-Tucker, la color verde uniforme. La hoja enferma tiene manchas amarillas.
solución para β toma la siguiente forma, Ecuación (5) [21]:
B. Software y Hardware
β=¿ En esta investigación se utilizó Matlab R2019 B. Para la
{
implementación de las diferentes ELM, se usaron como
( T
C
I −1 T
H WH + )
H WT si L> N
(5 )
referencia los códigos de Extreme Learning Machines
(http://www.extreme-learning-machines.org/). El Hardware
( I −1
)
T T
donde se ejecutaron los programas fue un notebook con
H WH H + WT De lo contrario sistema operativo Windows 10, 12 GB de RAM y procesador
C Intel(R) Core (TM) i7-8565U CPU @ 1.80GHz 1.99 GHz.
C.Preprocesamiento Imágenes
Donde W es la matriz diagonal de costos de clasificación El procesamiento consistió en segmentar las hojas,
errónea, por lo tanto, solamente la diagonal principal tiene separándolas del fondo de la imagen, se presenta en la Fig. 2,
valores diferentes a 0. Esta matriz diagonal L × L de la donde la imagen original se transformó a escala de grises (Fig.
distribución se define de la siguiente forma, Ecuaciones (6) y 2 (A) y (B)), para simplificar la segmentación al utilizar una
(7), [19]: matriz con un solo canal de color, que luego será la entrada de
1 la ELM. Se utilizó para la detección de bordes el método Sobel
W −ELM 1 :W ii = (6 ) por defecto de Matlab (Fig. 2 (C)), que nos entrega una imagen
N (t i ) binaria [23]. Luego se utilizaron operaciones morfológicas para
mejorar la máscara binaria (pixeles blancos): (1) dilatación
{
(Fig. 2 (D)), resaltando los blancos; (2) llenar los huecos de la
0.618
si N ( t i ) >media [ N ( t i ) ] máscara; (3) erosión (para suavizar la máscara); (4) apertura
N (t i ) (para eliminar los elementos pequeños); (5) selección del
W −ELM 2 : W ii = (7 ) objeto de mayor tamaño de la máscara (Fig. 2 (E)). Asumiendo
1
De lo contrario que el objeto mayor es la hoja detectada en la imagen, los
N (t i ) pixeles de fondo se colorearon en negro (Fig. 2 (E)), todas las
imágenes fueron procesadas con este algoritmo estándar, sin
ninguna intervención humana [24]. El proceso de
Donde N ( t i ) se refiere al número de muestras en la clase t i . segmentación de las hojas se hace necesario ya que métodos
En la W-ELM1, los conjuntos de datos desequilibrados tradicionales se ven afectados adversamente por el fondo de la
alcanzan un equilibrio cardinal. Para disminuir aún más los imagen, específicamente si contienen otras hojas y otros
pesos de los datos de la clase mayoritaria, y en el caso de la W- elementos sólidos [25]. En los experimentos que se realizaron
ELM2 considera la proporción áurea. se comprobó que las ELM mejoraban sus resultados al
segmentar las hojas de su fondo.
III. MATERIALES Y MÉTODOS
A continuación, se describirá base de datos, software y
hardware, preprocesamiento, esquema de validación cruzada y
medidas de desempeño.
A. Base de Datos
La base de datos corresponde a un set de imágenes de hojas
sanas y enfermas de manzanos (1365 x 2040 pixeles),
obtenidas de la competencia “Plant Pathology 2020 - FGVC7 -
Identify the category of foliar diseases in apple trees” [11] de
Kaggle (https://www.kaggle.com). La Base de Datos tiene
1821 imágenes etiquetadas, 516 (28%) corresponden a hojas
sanas, y 1305 (72%) son hojas enfermas [22]. En la Fig. 1. Se
presenta un ejemplo de hoja sana y enferma.
considerando que es una medida relativa entre distintos
dispositivos y solo comparable en el mismo ordenar y
condiciones de ejecución similares.
V. CONCLUSIONES
En Chile y en Latinoamérica, modelos de inteligencia
artificial que ayuden a los procesos agroindustriales pueden
mejorar la producción de alimentos, un claro ejemplo es la
detección de enfermedades en plantas como el caso de estudio
que presentamos; detección de enfermedades de la hoja de
manzana, fruta que es ampliamente exportadas al exterior del
país. También estas metodología y tecnologías pueden ser [3] D. V. Shivling et al., “Low cost sensor based
extrapoladas a otros cultivares. embedded system for plant protection and pest
Hoy en día muchos los modelos inteligencia artificial ya control,” Int. Conf. Soft Comput. Tech.
cumplen con una gran exactitud en reconocimiento de Implementations, ICSCTI 2015, pp. 179–184, Jun.
enfermedades utilizando imágenes, como son las redes 2016, doi: 10.1109/ICSCTI.2015.7489628.
convolucionales, sin embargo, para entrenar estos modelos se
deben configurar una gran cantidad de hiperparámetros y tener [4] J. G. A. Barbedo, “Factors influencing the use of deep
para su funcionamiento una gran infraestructura learning for plant disease recognition,” Biosyst. Eng.,
computacional. vol. 172, pp. 84–91, Aug. 2018, doi:
La realidad de la agricultura chilena es que busca reducir 10.1016/J.BIOSYSTEMSENG.2018.05.013.
costos, siendo una propuesta la utilización de modelos que
puedan ejecutarse de manera embebida en dispositivos baratos [5] A. K. Mahlein, “Plant Disease Detection by Imaging
y que muchas veces no tienen conexión a internet, es aquí Sensors - Parallels and Specific Demands for
donde proponemos en este trabajo utilizar las ELM, que Precision Agriculture and Plant Phenotyping,” Plant
destacan por su proceso de entrenamiento rápido y estable, Dis., vol. 100, no. 2, pp. 241–254, Feb. 2016, doi:
además de que su implementación es relativamente accesible 10.1094/PDIS-03-15-0340-FE.
para todo público [7], y que pueden ejecutarse en dispositivos
de bajo costo. [6] S. Sladojevic, M. Arsenovic, A. Anderla, D. Culibrk,
Este estudio demuestra que las ELM se pueden utilizar en and D. Stefanovic, “Deep Neural Networks Based
este tipo de imágenes, sin embargo, dada su simplicidad, no Recognition of Plant Diseases by Leaf Image
logran competir en exactitud con respecto a las redes Classification,” Comput. Intell. Neurosci., vol. 2016,
convolucionales [11]. 2016, doi: 10.1155/2016/3289801.
Pese a que se obtuvieron modelos con solamente un 0.66 de
exactitud y una media geométrica de 0.6, se puede observar la [7] W. Y. Deng, Q. H. Zheng, S. Lian, L. Chen, and X.
robustez de una ELM desbalanceada, ya que se clasificaron Wang, “Ordinal extreme learning machine,”
imágenes que se obtuvieron en los mismos huertos, Neurocomputing, vol. 74, no. 1–3, pp. 447–456, Dec.
demostrando la viabilidad y potencialidad de los modelos a 2010, doi: 10.1016/J.NEUCOM.2010.08.022.
partir de ELM frente a ruidos extremos y reales, ya que sin
ningún estándar se obtuvieron las imágenes, donde estas [8] A. Bhatia, A. Chug, and A. Prakash Singh,
tienen diferentes posiciones y ángulos de tejido infectado, una “Application of extreme learning machine in plant
variedad de niveles de luz ambiental, varios tipos de sensores disease prediction for highly imbalanced dataset,” J.
de captura, hojas de diferentes temporadas y climas, otros Stat. Manag. Syst., vol. 23, no. 6, pp. 1059–1068, Aug.
elementos anexos a las hojas como frutas, y hojas de varias 2020, doi: 10.1080/09720510.2020.1799504.
edades.
Dado que la idea es utilizar estos modelos de clasificación [9] M. Turkoglu and D. Hanbay, “Leaf-based plant
de hojas enfermas y sanas de manzanos utilizando modelos no species recognition based on improved local binary
demasiado complejos, con un mínimo de preprocesamiento de pattern and extreme learning machine,” Phys. A Stat.
las imágenes, planteamos utilizar estos modelos en los huertos Mech. its Appl., vol. 527, p. 121297, Aug. 2019, doi:
de agricultores. En trabajos futuros evaluaremos las ELM 10.1016/J.PHYSA.2019.121297.
multicapa que tienen un potencial similar a las redes
convolucionales en tareas complejas con imágenes [31]. [10] Z. Feng, G. Huang, and D. Chi, “Classification of the
Complex Agricultural Planting Structure with a Semi-
REFERENCIAS Supervised Extreme Learning Machine Framework,”
Remote Sens. 2020, Vol. 12, Page 3708, vol. 12, no.
[1] S. Ríos Núñez and G. Torres Osses, “El sector 22, p. 3708, Nov. 2020, doi: 10.3390/RS12223708.
agropecuario en la región de Los Lagos y el
paradigma "Chile potencia alimentaria: desafíos para [11] R. Thapa, K. Zhang, N. Snavely, S. Belongie, and A.
la política agraria nacional,” 2014. Khan, “The Plant Pathology Challenge 2020 data set
http://www.scielo.org.ar/scielo.php?pid=S1515- to classify foliar disease of apples,” Appl. Plant Sci.,
59942014000200007&script=sci_arttext&tlng=es vol. 8, no. 9, Sep. 2020, doi: 10.1002/APS3.11390.
(accessed Jun. 13, 2022).
[12] P. Martínez-Camblor, C. Carleos, and N. Corral,
[2] T. Belete and N. Boyraz, “Critical Review on Apple “General nonparametric ROC curve comparison,” J.
Scab (Venturia inaequalis) Biology, Epidemiology, Korean Stat. Soc., vol. 42, no. 1, pp. 71–81, Mar.
Economic Importance, Management and Defense 2013, doi: 10.1016/J.JKSS.2012.05.002.
Mechanisms to the Causal Agent,” J Plant Physiol
Pathol, vol. 5, no. 2, 2017, doi: 10.4172/2329- [13] G. Bin Huang, Q. Y. Zhu, and C. K. Siew, “Extreme
955X.1000166. learning machine: Theory and applications,”
Neurocomputing, vol. 70, no. 1–3, pp. 489–501, Dec.
2006, doi: 10.1016/J.NEUCOM.2005.12.126. [24] P. R. V. Chowdary, M. N. Babu, T. V. Subbareddy, B.
M. Reddy, and V. Elamaran, “Image processing
[14] D. Zabala-Blanco, M. Mora, C. A. Azurdia-Meza, A. algorithms for gesture recognition using MATLAB,”
D. Firoozabadi, P. P. Játiva, and I. Soto, “Relaxation Proc. 2014 IEEE Int. Conf. Adv. Commun. Control
of the Radio-Frequency Linewidth for Coherent- Comput. Technol. ICACCCT 2014, pp. 1511–1514,
Optical Orthogonal Frequency-Division Multiplexing Jan. 2015, doi: 10.1109/ICACCCT.2014.7019356.
Schemes by Employing the Improved Extreme
Learning Machine,” Symmetry 2020, Vol. 12, Page [25] J. G. A. Barbedo, “A review on the main challenges in
632, vol. 12, no. 4, p. 632, Apr. 2020, doi: automatic plant disease identification based on visible
10.3390/SYM12040632. range images,” Biosyst. Eng., vol. 144, pp. 52–60,
Apr. 2016, doi:
[15] S. Ding, H. Zhao, Y. Zhang, X. Xu, and R. Nie, 10.1016/J.BIOSYSTEMSENG.2016.01.017.
“Extreme learning machine: algorithm, theory and
applications,” Artif. Intell. Rev., vol. 44, no. 1, pp. [26] J. G. Moreno-Torres, J. A. Saez, and F. Herrera,
103–115, Jun. 2015, doi: 10.1007/S10462-013-9405- “Study on the impact of partition-induced dataset shift
Z. on k-fold cross-validation,” IEEE Trans. Neural
Networks Learn. Syst., vol. 23, no. 8, pp. 1304–1312,
[16] N. Y. Liang, G. Bin Huang, P. Saratchandran, and N. 2012, doi: 10.1109/TNNLS.2012.2199516.
Sundararajan, “A fast and accurate online sequential
learning algorithm for feedforward networks,” IEEE [27] G. Huang, G. Bin Huang, S. Song, and K. You,
Trans. Neural Networks, vol. 17, no. 6, pp. 1411– “Trends in extreme learning machines: A review,”
1423, Nov. 2006, doi: 10.1109/TNN.2006.880583. Neural Networks, vol. 61, pp. 32–48, Jan. 2015, doi:
10.1016/J.NEUNET.2014.10.001.
[17] W. Deng, Q. Zheng, and L. Chen, “Regularized
extreme learning machine,” 2009 IEEE Symp. [28] X. Zhang, “An Improved Extreme Learning Machine
Comput. Intell. Data Mining, CIDM 2009 - Proc., pp. for Imbalanced Data Classification,” IEEE Access,
389–395, 2009, doi: 10.1109/CIDM.2009.4938676. vol. 10, pp. 8634–8642, 2022, doi:
10.1109/ACCESS.2022.3142724.
[18] Z. Man, K. Lee, D. Wang, Z. Cao, and C. Miao, “A
new robust training algorithm for a class of single- [29] J. H. Hong, J. K. Min, U. K. Cho, and S. B. Cho,
hidden layer feedforward neural networks,” “Fingerprint classification using one-vs-all support
Neurocomputing, vol. 74, no. 16, pp. 2491–2501, Sep. vector machines dynamically ordered with naı¨ve
2011, doi: 10.1016/J.NEUCOM.2010.11.033. Bayes classifiers,” Pattern Recognit., vol. 41, no. 2,
pp. 662–671, Feb. 2008, doi:
[19] K. Zhang and M. Luo, “Outlier-robust extreme 10.1016/J.PATCOG.2007.07.004.
learning machine for regression problems,”
Neurocomputing, vol. 151, no. P3, pp. 1519–1527, [30] D. Zabala-Blanco, M. Mora, R. J. Barrientos, R.
Mar. 2015, doi: 10.1016/J.NEUCOM.2014.09.022. Hernández-García, and J. Naranjo-Torres,
“Fingerprint Classification through Standard and
[20] Q. Shen, X. Ban, R. Liu, and Y. Wang, “Decay- Weighted Extreme Learning Machines,” Appl. Sci.
weighted extreme learning machine for balance and 2020, Vol. 10, Page 4125, vol. 10, no. 12, p. 4125,
optimization learning,” Mach. Vis. Appl. 2017 287, Jun. 2020, doi: 10.3390/APP10124125.
vol. 28, no. 7, pp. 743–753, Mar. 2017, doi:
10.1007/S00138-017-0828-4. [31] J. Tang, C. Deng, and G. Bin Huang, “Extreme
Learning Machine for Multilayer Perceptron,” IEEE
[21] W. Zong, G. Bin Huang, and Y. Chen, “Weighted Trans. Neural Networks Learn. Syst., vol. 27, no. 4,
extreme learning machine for imbalance learning,” pp. 809–821, Apr. 2016, doi:
Neurocomputing, vol. 101, pp. 229–242, Feb. 2013, 10.1109/TNNLS.2015.2424995.
doi: 10.1016/J.NEUCOM.2012.08.010.