Prueba de la Red Neuronal Perceptrónica

Entrenada con aprendizaje supervisado

 Prueba de la Red Neuronal Perceptrónica
Entrenada con aprendizaje supervisado

1.- Se le presenta a la red entrenada el primer patrón del conjunto de test.

2.- Como se tienen disponibles los pesos y sesgos que alimentan las capas, la red procede a calcular la salida de cada
una de sus neuronas.

El cálculo se realiza en la misma forma en que se calculan las salidas en la fase de entrenamiento.

Recordemos que la salida de cada neurona se calcula sumando el producto interno de sus pesos por el patrón de
entrada, más su sesgo.Y pasando ese resultado por la función de activación.

Ese proceso es neurona por neurona y capa por capa.

3.- Se almacena la respuesta obtenida por la red ante ese patrón de entrada.

4- Se repite este procedimiento, desde el paso 1, para todos los patrones del conjunto de test.
 Resumen de la aplicación del Algoritmo
Backpropagation

1.- Generar los valores iniciales de los pesos y de los sesgos de la red.
2.- Suministrar el número de iteraciones.
3.- Suministrar el coeficiente de aprendizaje.

4.- Por cada iteración.

Por cada patrón del conjunto de entrenamiento.

Calcular la salida de la red.

Se calcula la señal de error como la diferencia entre la salida de la red y el patrón deseado.
Multiplicar la señal de error obtenida en la capa de salida, por la derivada de la función de activación, para
obtener por cada neurona de la capa de salida:

𝑦𝑑𝑖 : Valor deseado de la neurona i de la capa de salida

𝑦𝑖 : Valor calculado por la neurona i de la capa de salida
𝑒𝑟𝑟𝑜𝑟𝑖 = 𝑦𝑑𝑖 − 𝑦𝑖
 Resumen de la aplicación del Algoritmo
Backpropagation

Actualizar los pesos y los sesgos de la capa de salida:

𝑛𝑢𝑒𝑣𝑜𝑊𝑖𝑗 = 𝑣𝑖𝑒𝑗𝑜𝑊𝑖𝑗 - α𝑦𝑖 δ𝑗

𝑛𝑢𝑒𝑣𝑜𝑏𝑗 = 𝑣𝑖𝑒𝑗𝑜𝑏𝑗 - α δ𝑗
α: es el coeficiente de aprendizaje.

Cada i se refiere a una neurona de la capa oculta y cada j se refiere a una neurona de la capa de salida.

Calcular el error de cada neurona i de la capa oculta:

N: es el número de neuronas en la capa de salida.

Cada i se refiere a una neurona de la capa oculta y cada j se refiere a una neurona de la capa de salida.

Se calculan las sensibilidades δ de la capa oculta:

 Resumen de la aplicación del Algoritmo
Backpropagation

Se actualizan los pesos y los sesgos de la capa oculta:

𝑛𝑢𝑒𝑣𝑜𝑏𝑗 = 𝑣𝑖𝑒𝑗𝑜𝑏𝑗 - α δ𝑗
Cada i se refiere a una neurona de la capa de entrada y cada j se refiere a una neurona de la capa oculta.

Se repite el procedimiento para actualizar los pesos y sesgos de las capas precedentes hasta llegar a la capa de
entrada.
Calcular el error total introducido por ese patrón.

Calcular el error global de entrenamiento.

5.- Almacenar los pesos y los sesgos de la red entrenada.

 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

1.- Análisis del problema.

2.- Preparación de los datos.

3.- Definición de la Arquitectura de la Red.

4.- Entrenar la Red.

5.- Visualizar el error del entrenamiento.
6.- Probar la Red.
7.- Poner la Red en producción.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

1.- Análisis del problema.

Estudiar el problema para entenderlo, y determinar que es factible resolverlo completamente,
o parcialmente, con una Red Neuronal.

2.- Preparación de los datos.

Determinar los datos disponibles.
Revisar los datos.
Limpiar los datos.
Imputar datos faltantes.
Descartar o reemplazar datos espurios o sin sentido.
Transformar a numéricas las variables categóricas.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

Cambiar la escala de los datos, por ejemplo, entre -1 y 1 para evitar saturaciones de las
salidas de las funciones de activación, dependiendo del caso de uso.
Definir los conjuntos de entrenamiento y de prueba.
Se acostumbra seleccionar, mínimo, un 70% de los datos para construir o entrenar el
modelo y el resto para probar el modelo.
Preparar los patrones de entrada de entrenamiento.
Preparar los patrones de salida de entrenamiento.
Preparar los patrones de entrada de test.
Preparar los patrones de salida de test.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

3.- Definición de la Arquitectura de la Red.

Definir el número de capas, tres en nuestro caso.
Definir el número de neuronas por capa, en nuestro caso, tantas neuronas en la capa de
entrada como componentes o variables tengan los patrones de entrenamiento y de test.
Seleccionar un número de neuronas por intuición o por experiencia para la capa oculta.
Definir el número de neuronas en la capa de salida, en nuestro caso, tantas neuronas como
clases para un problema de clasificación. Tal como se definen los patrones de salida de
entrenamiento y de test.
Para esa arquitectura, generar los pesos y los sesgos aleatoriamente.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

4.- Entrenar la Red.
Establecer el coeficiente de aprendizaje.
Establecer el número de iteraciones.
A partir de los pesos y sesgos iniciales, y de los patrones de entrenamiento de entrada y de
salida, se realiza el entrenamiento según el algoritmo Backpropagation y la arquitectura
definida.
5.- Visualizar el error del entrenamiento.
Analizar el comportamiento del error global de la red a través de cada una de las iteraciones.
Una caída sostenida del error es un indicio de buen entrenamiento.
6.- Probar la Red.
A partir de los pesos y sesgos resultantes del entrenamiento, y de los patrones de test de
entrada, se obtiene la respuesta de la Red para cada uno de esos patrones.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Trabajando con funciones de activación sigmoidal.

Medir la capacidad de rendimiento de la Red a través de algunas métricas.

Calcular los TP, los TN, FP y los FN, los elementos de la Matriz de Confusión.
Accuracy, Precisión, Recall, F-score y Porcentaje de acierto.
Usar validación cruzada.

Si el resultado no es satisfactorio, ir al paso 4 tantas veces como se considere necesario.

Cambiando el coeficiente de aprendizaje y el número de iteraciones.

En el caso que se considere realizar validación cruzada, ir al paso 2.

7.- Poner la Red en producción.
Si el rendimiento de la red es alto en todas las pruebas, entonces queda lista para que sea
utilizada en la aplicación real.
 Procedimiento para construir y probar
una Red Neuronal Perceptrónica
entrenada con BKP.

Funciones de software a construir

1.- Funciones para limpiar y explorar los datos. Pudiera ser con software especializado
para ello.
2.- Funciones para preparar los conjuntos de entrenamiento y de test a partir de los
datos disponibles.
3.- Función para generar la arquitectura.
4.- Función para realizar el entrenamiento.
5.- Función para realizar las pruebas.

6.- Funciones para medir el rendimiento de la red. Pudiera ser con software
especializado para ello.
 Referencias
Cualquier libro, página web, blog, paper o pdf que trate las Redes Neuronales Artificiales.

Martin Hagan, Howard Demuth y Mark Beale. Neural Network Design. PWS Publishing
Company, 1996.

José Hilera y Victor Martínez. Redes Neuronales Artificiales, Fundamentos, Modelos y

Aplicaciones. Alfaomega RA-MA, 2000
.
Simon Haykin. Neural Networks. A Comprehensive Foundation. MacMillan Publishing.

Robert Hecht-Nielsen. Neuroncomputing. Addison Wesley.

Bart Kosko. Neural Networks and Fuzzy Systems. Prenticell Hall.