(A) (B) (C) (D)

Fig. 2. Muestra fotogramas de video de frutas de manzana Fuji (Malus M. pumila) en varias
etapas de maduración en huertos al aire libre. (A): inmaduro, (B): medio maduro, (C): maduro, y
(D): demasiado maduro.

basado en las características de color extraídas de muestras de frutas. Nuevamente, no se requirió

preparación de muestras de manzana. Cuatro se realizaron repeticiones en cada muestra de
manzana. En otra palabras, en cada lado de la manzana, la extracción de datos de color fue
realizado, y finalmente se registraron sus promedios. Desde que nosotros tuvo cuatro repeticiones
de 170 muestras de manzana de entrada, en total se realizaron 4 x 170 ¼ 680 mediciones. Dado el
uso de cámaras de imágenes ordinarias para extraer datos de color de Apple muestra en el rango
visible, el análisis basado en características de color debería ser más económico que el basado en
datos espectrales. Los componentes L, a * y b * del espacio de color CIE Labor fueron medido
usando un colorímetro CR-400 Chroma Meter (KonikaMinolta, Japón). Luego, el índice de color C
se calculó mediante de la ecuación (2) de La *espacio de color b *, color a * y b * componentes,
como sigue:
C=√ ¿ ¿
Primero, usando el colorímetro, se extrajeron las características del color de diferentes muestras, y
luego usando el método propuesto, Se realizaron operaciones de modelado para detectar las
diferentes etapas de maduración de la fruta (inmadura, medio madura, madura y demasiado
madura clases de maduración). Finalmente, se prepararon videos a través de cámara de color de
rango visible mencionada en la sección 2.1.2, y se identificaron diferentes etapas de madurez
utilizando el modelo propuesto. El objetivo fue investigar el algoritmo propuesto para identificar
las diferentes etapas de maduración utilizando datos de color en huertos.

2.4. Clasificación de la manzana Fuji según diferentes etapas en maduración:

Para clasificar la manzana Fuji en función de las diferentes etapas de madurez, una red neuronal
artificial híbrida – simulada se utilizó la arquitectura de recocido (ANN-SA). ANN tiene varios
parámetros ajustables y solo su ajuste óptimo garantiza un alto rendimiento. Estos parámetros
incluyen el número de capas, el número de neuronas, la función de transferencia, la función de
entrenamiento de la red de retropropagación y el función de aprendizaje de peso / sesgo de
retropropagación. El propósito del algoritmo de recocido simulado es ajustar de manera óptima
parámetros anteriores, basados en una operación de recocido de metales.
Se realiza una operación de "recocido" para lograr el máximo Estados estables y de baja energía
del material. El método consiste en primero “fundir” el material y luego bajar el "Temperatura"
paso a paso (siempre que la "temperatura" sea bajado, la operación de reducción de
"temperatura" se detiene hasta que el material haya alcanzado el equilibrio) y esto continúe hasta
que el material se vuelva "sólido". "Recocido" es se logra si la caída de "temperatura" es lo
suficientemente lenta.
Por el contrario, si un material se "enfría" rápidamente, el cuerpo alcanzar un estado óptimo sin
energía mínima (Zameer, Mirza, & Mirza, 2014).
El algoritmo SA considera estos parámetros como un vector y envía diferentes vectores (es decir,
diferentes estructuras) a ANN durante la etapa de entrenamiento para encontrar la mejor
estructura de la red neuronal y salida media al cuadrado se registra el error de los vectores.
Entonces el vector con el menor MSE se considera el vector óptimo. El número de capas
seleccionable por el algoritmo SA fue al menos 1 y máximo 3. El número de neuronas
seleccionables para la primera capa fue al menos 1 y máximo 25, y para las demás capas al menos
0 y máximo 25. La función de transferencia se podía seleccionar entre 13 diferentes funciones de
transferencia como netinv. La función de entrenamiento de la red de retro propagación se podía
seleccionar desde 19 funciones diferentes como traincgp. Finalmente, la función de aprendizaje de
sesgo / peso de retro propagación se seleccionó de un conjunto de 15 funciones diferentes como
learnos. A continuación, se realizaron 1000 iteraciones para evaluar la validez del híbrido enfoque
ANN-SA. Para cada iteración, el 60% de las muestras fueron seleccionados al azar para
entrenamiento, 10% para validación y 30% para prueba. Por lo tanto, en 1000 repeticiones, 1000
conjuntos aleatorios uniformes de las muestras se utilizaron para entrenamiento, 1000 conjuntos
aleatorios para validación y finalmente 1000 conjuntos aleatorios para propósitos de prueba.

2.5. Definiciones de criterios para la evaluación del desempeño del clasificador ANN-SA en
estimación automática de manzanas en las etapas de maduración.

El rendimiento del clasificador se midió utilizando tres tipos de criterios: 1) matriz de confusión,
error de clasificación por clase y tasa de clasificación correcta (CCR); 2) recuerdo, precisión,
especificidad, precisión y medida F; 3) receptor en funcionamiento
Fig. 3. Gráfico espectral de diferentes muestras de manzana Fuji; (A): Gráfico espectral de
reflectancia. Gráfico pre procesado que incluye tres pasos principales (B): 1er paso: conversión
de datos espectrales de reflectancia a absorción; (C): 2do paso: dispersión de luz y línea de base
correcciones mediante un algoritmo de eliminación de tendencia de ondículas; (D): 3er paso:
suavizado mediante un filtro de mediana.

característica (ROC) y área bajo la curva (AUC) Sabzi, Abbaspour-Gilandeh, y Javadikia (2017),
Sabzi, Abbaspour-Gilandeh, Garcı´a-Mateos, Ruiz-Canales, y Molina-Martı´nez (2018), y
Pourdarbani, Sabzi, Hernandez- Hernandez, Hern andez-Hern andez, y Garcı ´a-Mateos (2019).

Como se menciona en la sección 2.4, la clasificación se realizó utilizando un método híbrido ANN-
SA; después de extraer el color y características espectrales, los datos se dividen aleatoriamente
en tres conjuntos: El 60% de las muestras de entrada van al conjunto de trenes, el 10% de los
datos se utilizado para la validación, y el 30% restante de datos se utilizó para probar el
rendimiento del clasificador, siendo esos tres conjuntos disjuntos. Cabe señalar que la validación
interna del modelo
se realizó. La siguiente es una descripción detallada de cada criterio de desempeño utilizado.
2.5.1. Matriz de confusión, tasa de clasificación correcta de clase y tasa de clasificación correcta
total
Una matriz de confusión es una matriz cuadrada con número de filas y columnas iguales al número
de clases de clasificador de salida. Por ejemplo, en este estudio debido a la existencia de cuatro
clases de maduración para la clasificación, la matriz de confusión tiene cuatro filas y cuatro
columnas (4x4). Filas en matriz de confusión representar las clases y columnas de maduración
prevista de ANN-SA representan clases de maduración verdaderas (reales). La tasa de clasificación
correcta de clase (CCR) se define como el número de muestras en el diagonal principal de cada fila
dividida por el número total de muestras en esa fila de matriz. Finalmente, el CCR total se define
como la traza (suma de los elementos en la diagonal principal de la matriz) dividido por el número
total de muestras en la matriz de confusión.
2.5.2. Diferentes criterios de rendimiento de clasificación: recuperación, exactitud, especificidad,
precisión y medida-F.

En la Tabla 1, varios índices de desempeño de clasificación binaria (de dos clases, positiva o
negativa), incluida la recuperación, exactitud, especificidad, precisión y medida F, son
formalmente
definido.

Un verdadero positivo (TP) es igual a la fracción de clase positiva, muestras que se están
clasificando adecuadamente como tales. A la verdad

Tabla 1 - Definición matemática formal de varios índices de rendimiento de

clasificación: exactitud, especificidad, precisión y Medida F.
DESCRIPCION ECUACION
Fracción de muestras positivas detectadas
correctamente entre el subconjunto total de TP
Recall= ∗100
muestras positivas. TP+ PN

Fracción de muestras positivas detectadas

correctamente entre las muestras totales que TP
están siendo asignados positivamente. Presicion: ∗100
TP+ FP

Clasificaciones correctas de fracciones del

sistema total. TP+TN
Exactitud= ∗100
TP+ FN + FP+ TN
Fracción de muestras negativas detectadas
correctamente entre el subconjunto total de
muestras negativas. TN
Especifidad = ∗100
TN + FP
El promedio ponderado armónico de Recall
y términos de precisión.
2∗Recall∗Presicion
Medida F=
Recall+ Presicion

negativo (TN) es igual a la fracción de muestras negativas que están siendo correctamente
clasificados como tales. Un falso positivo (FP) es la fracción de muestras negativas clasificadas
erróneamente como positivas muestras de clase. Finalmente, un falso negativo (FN) es igual a la
fracción de muestras positivas clasificadas erróneamente como clase negativa muestras.

2.5.3. Característica operativa del receptor (ROC) y área bajo la curva ROC (AUC):

El diagrama ROC se utiliza para evaluar el desempeño de los clasificadores. Uno de esos diagramas
se puede trazar para cada clase, en un contexto "binarizado" (una clase frente a las demás clases).
ROC las curvas se trazan dentro del {FPF, TPF} o plano de {1- especifidad, sensibilidad}, siendo:
FP TP
FPF ≜ y TPF ≜ .
(TN + FP) ( FP+ FN )

Cuanto más cerca esté el área bajo las curvas ROC (AUC) del valor de uno, mejor se desempeña el
clasificador. Cuanto más cerca la gráfica ROC es a la sensibilidad = 1 – especifidad línea recta
1
( AUC= ), cuanto más pobre es la clasificación, estando en el peor caso posible igual al
2
lanzamiento de una moneda. Esta curva es independiente del número de muestras en cada clase y
solo considera el rendimiento de las clases en función del número de muestras clasificadas
incorrectamente. Por lo tanto, el área debajo de ROC curvas está numéricamente dentro de la

AUC ∈ {12 , 1} rango, AUC = 1, significa que la curva ROC es vertical pasando por {FPR=0, TPR=1}

1
punto en el plano de {1-especifidad, sensibilidad} y así siendo óptimo, mientras AUC= , hace
2
una clasificación equivalente al lanzamiento aleatorio de una moneda.
muestras. Como puede verse en la Fig.3 (B), un preprocesado el espectro tiene varios picos, cada
uno de los cuales contiene importante información espectral que permite estimar las diferentes
etapas de madurez de las muestras de manzanas. Espectrales datos de tres rangos de longitud de
onda, 535e560 nm, 835e855 nm y 950e975 nm, se utilizaron en la madurez estimación de la
etapa. En los gráficos espectrales, cada pico contiene información útil sobre la base de la cual la
clasificación puede ser realizado. Como puede verse en la Fig.3 (B) con la conversión de datos
espectrales de reflectancia a absorción, en la Fig.3 (C) con la dispersión de la luz y las correcciones
de la línea base por un algoritmo de eliminación de tendencia de wavelet, y en la Fig.3 (D) con
suavizado por un filtro mediano, diferentes picos en espectros han ocurrido en los distintos
valores de longitud de onda (nm). Basado en prueba y error, tres picos que tenían altos se
seleccionó la precisión de clasificación. Ellos tenían la ventaja de un rango espectral estrecho que
podría aumentar la velocidad del análisis y, por lo tanto, proporcionar una rápida detección de las
etapas de maduración de la manzana. Sin embargo, Cabe señalar que solo los mejores resultados
de datos espectrales deben utilizarse para la detección y clasificación de frutas en línea.

3.2 Tamaño y estructura óptimos del híbrido ANN-SA arquitectura neuronal.

Después de investigar diferentes estructuras ANN simulando algoritmo de recocido (SA),

finalmente, la mejor estructura fue seleccionados para estimar los diferentes estados de madurez
de las manzanas Fuji. La tabla 2 representa la estructura óptima de las capas ocultas. conjunto de
ANN-SA. Como se muestra en la Tabla 2, la mejor estructura tiene 3 capas ocultas.

3.3. Evaluación del desempeño del clasificador ANN-SA en determinar las diferentes etapas de
madurez de las manzanas Fuji usando características de color de rango visible

Después de examinar las características de color a *, b *, L y C, fue determinó que con solo usar las
entradas de color a * y C fue la precisión del híbrido ANN-SA mayor. Por lo tanto, se seleccionaron
dos características como entradas del clasificador. Tabla 3 comparar el rendimiento del clasificador
híbrido ANN-SA con las entradas a * y C usando una matriz de confusión, error de clasificación por
clase y tasa de clasificación correcta total (CCR) para el conjunto de prueba después de 1000
iteraciones (conjunto de prueba). Ya que se estudiaron 170 muestras de manzana y el 30% (51
muestras) fueron seleccionados al azar de manera uniforme en cada iteración, por tanto, se
ejecutaron 51.000 iteraciones. De acuerdo a matriz de confusión, se puede ver que 3432 de un
total de 51.000 las muestras se clasificaron incorrectamente, lo que resultó en un CCR del 93,27%
(ver Tabla 3).

La Tabla 4 representa el desempeño de clasificación del ANN-SA con entradas de a * y C para datos
del conjunto de prueba después de 1000 iteraciones utilizando cinco criterios de rendimiento:
recuperación, precisión, especificidad, precisión y medida F. Desde el retiro de 100 significa que
ninguna de las muestras de las otras clases es clasificado incorrectamente en la clase de destino,
se puede inferir que la mayoría de las muestras clasificadas incorrectamente pertenecían a los
inmaduros. Esta tabla muestra que la precisión de la clase sobre madura fue más alta que los
otros, lo que implica que más muestras fueron categorizadas correctamente en comparación con
otras clases. Además, la especificidad de la clase sobre madura es del 98,66%, fue mayor que la
otra clase. La precisión de la clase medio madura fue del 91,21%, el más bajo entre las cuatro
clases estudiadas, lo que demuestra que las muestras de esta clase se clasificaron erróneamente
en otras
clases. Finalmente, dado que la medida F es un promedio geométrico de valores de recuperación y
precisión, se puede concluir que la clase madura era una clase mejor equilibrada en comparación
con otras. La Figura 4 ilustra el desempeño del clasificador ANN-SA en 1000 iteraciones para el
conjunto de prueba utilizando diagramas de diagrama de caja para ambos CCR y AUC. Estas cifras
investigan el desempeño de Método híbrido ANN-SA en diferentes iteraciones utilizando la tasa de
clasificación correcta (CCR) y el área bajo la curva ROC (AUC) de las cuatro clases de etapas de
maduración diferentes consideradas: inmaduro, medio maduro, maduro y sobre maduro. La
validez del método propuesto se examinó utilizando estas cifras. Por ejemplo, la Fig.4 (A) muestra
que, entre 1000 iteraciones, solo 9 de las iteraciones tenían una CCR por debajo del 80%. Por lo
tanto, se puede reclamar que el método propuesto presentó resultados cercanos en diferentes
iteraciones, lo que indica que el método propuesto fue robusto. La Figura 4 (B) también muestra
que el AUC de la clase sobre madura era más compacto que otras clases, lo que significa que el
método propuesto fue capaz de clasificar las muestras pertenecientes a la clase sobre madurada
más correctamente que los pertenecientes a otras clases.

3.4. Evaluación del desempeño del híbrido ANN-SA clasificador en la determinación de las
diferentes etapas de madurez de Fuji manzanas utilizando datos espectrales NIR

3.4.1. Datos espectrales para el rango de longitud de onda de 535e560 nm

La Tabla 5 representa el desempeño del clasificador ANN-SA con rango de datos espectrales de
535e560 nm usando matriz de confusión, precisión y error de clasificación por clase. Como puede
verse, las clases medio maduras y demasiado maduras tenían el porcentaje más bajo de
clasificación errónea. El CCR general para datos espectrales de 535e560 nm fue más del 99,62%, lo
que indica un alto rendimiento del método propuesto. La Tabla 6 evalúa el desempeño del
clasificador usando cinco diferentes criterios. Como puede verse, el valor de estos criterios en
todas las clases fue superior al 99%, lo que indica una muy buena generalización de la ANN.
Finalmente, la Fig.5 (A) muestra que el CCR general es 100% en el 99,1% de las iteraciones y los
valores del AUC eran iguales a 1, para todas las clases de salida, consulte la Fig. 5 (B).

3.4.2. Datos espectrales para rango de longitud de onda de 835e855 nm

Las tablas 7 y 8, y la figura 6 representan el desempeño de la Clasificador ANN-SA con longitud de

onda de datos espectrales en rango 835e855 nm, utilizando diferentes criterios, con un CCR
general de 98,55%, después de 1000 iteraciones en comparación con el conjunto de prueba.
La Figura 6 (A) muestra que más de la mitad de las iteraciones alcanzaron un CCR del 100%, con
valores de AUC para las cuatro clases cerca del valor máximo de 1, Fig. 6 (B).

3.4.3. Datos espectrales para un rango de longitud de onda de 950e975 nm

La Tabla 9 representa el desempeño del clasificador ANN-SA con longitud de onda de datos
espectrales en el rango de 950e975 nm usando matriz de confusión, CCR y el error de clasificación
de clases,

Tabla 2 - Tamaño y estructura óptimas de capas ocultas en el algoritmo

híbrido ANN-SA
Método Numero de Número de Función de Red de retro Retro
Capas Neuronas transferencia propagación propagación
Función de Función de
entrenamiento aprendizaje de
peso / sesgo
ANN-SA 3 1ra capa 21 1ra capa: satlins trainrp learnos
2da capa 22 2da capa: tribas
3ra capa 16 3ra capa: tansing

Tabla 3 - Matriz de confusión y CCR para ANN-SA híbrido con características de color
a * y C (conjunto de prueba, después de 1000 iteraciones).
Verdadero 1 2 3 4 Error de clasificación Tasa de clasificación
est. por clase (%) correcta (%)
1 10.418 870 24 4 7.93 93.27
2 1056 11.165 15 5 8.79
3 2 46 13.682 930 6.67
4 0 0 480 12.303 3.75