UNIVERSIDAD NACIONAL DE TRUJILLO

Escuela de Ingeniería Mecatrónica

PROCESAMIENTO DIGITAL DE SEÑALES E IMÁGENES

S13 – Redes Neuronales Artificiales

Ms. Ing. Emerson Máximo Asto Rodriguez

Regresión Lineal

https://phet.colorado.edu/sims/html/least-squares-regression/
latest/least-squares-regression_es_PE.html

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Descenso de la gradiente
http://www.benfrederickson.com/numerical-optimization
https://distill.pub/2017/momentum/

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

En el campo de las Redes

Neuronales, el perceptrón,
creado por Frank
Rosenblatt (1960).

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

PROBLEMA AND PROBLEMA OR

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón
PROBLEMA XOR

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

El perceptrón

Problemas no lineales?

https://playground.tensorflow.org/

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de activación

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de activación

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de activación
Interpretación
geométrica

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de activación

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Multilayer Perceptron

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Multilayer Perceptron

Estructura

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Multilayer Perceptron

Regresión Clasificación

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de coste

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Función de coste
https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-
what-are-these-91167825a4de

1. REGRESSION
• Mean Squared Error Loss
• Mean Squared Logarithmic Error Loss
• Mean Absolute Error Loss
2. BINARY CLASSIFICATION
• Binary Cross-Entropy
• Hinge Loss
• Squared Hinge Loss
3. MULTI-CLASS CLASSIFICATION
• Multi-Class Cross-Entropy Loss
• Sparse Multiclass Cross-Entropy Loss
• Kullback Leibler Divergence Loss

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Predicción

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

REGLA DE LA CADENA

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

 Backpropagation

RESPONSABILIDAD DE LA SUMATORIA EN EL LA FUNCIÓN DE COSTO

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

 Backpropagation

Error de la neurona

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

 Backpropagation

ERROR DE LA
SIGUIENTE CAPA

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Backpropagation

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Optimización
https://towardsdatascience.com/optimizers-for-training-neural
-network-59450d71caf6

Gradient Descent 1.May trap at local minima.

2.Weights are changed after calculating gradient on the
1.Easy computation. whole dataset. So, if the dataset is too large than this may
2.Easy to implement. take years to converge to the minima.
3.Easy to understand 3.Requires large memory to calculate gradient on the whole
dataset

Stochastic Gradient Descent

1.Frequent updates of model parameters
1.High variance in model parameters.
hence, converges in less time.
2.May shoot even after achieving global minima.
2.Requires less memory as no need to
3.To get the same convergence as gradient descent needs to
store values of loss functions.
slowly reduce the value of learning rate.
3.May get new minima’s.

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Optimización
https://towardsdatascience.com/optimizers-for-training-neural
-network-59450d71caf6
Mini-Batch Gradient Descent
1.Frequently updates the model parameters
and also has less variance.
2.Requires medium amount of memory.
Momentum
1.Reduces the oscillations and high variance
of the parameters.
2.Converges faster than gradient descent.
Ingeniería Mecatrónica
1.Choosing an optimum value of the learning rate. If the learning
rate is too small than gradient descent may take ages to
converge.
2.Have a constant learning rate for all the parameters. There
may be some parameters which we may not want to change at
the same rate.
3.May get trapped at local minima.
1.One more hyper-parameter is added which needs to be
selected manually and accurately.
Ing. Emerson M. Asto Rodriguez
Optimización

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Animación de una ANN

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Simulador Redes neuronales
artificiales
https://playground.tensorflow.org/
Redes neuronales artificiales

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Underfitting y Overfitting

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Regularización

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Regularización

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Regularización Dropout
https://towardsdatascience.com/12-main-dropout-methods-m
athematical-and-visual-explanation-58cdc2112293

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Recursos
Analisis matematico simple de red neuronal:
https://medium.com/@lope.ai/multivariate-linear-regression-from-scratch-in-python-5c4f219be6a

Explicación Matemática de Adam: https://arxiv.org/abs/1412.6980

Redes neuronales para regresión:

https://towardsdatascience.com/deep-neural-networks-for-regression-problems-81321897ca33

Keras y Scikit-learn: https://unipython.com/utilice-los-modelos-keras-con-scikit-learn-para-el-machine-learning/

https://towardsdatascience.com/are-you-using-the-scikit-learn-wrapper-in-your-keras-deep-learning-model-a30
05696ff38

Machine learning vs Procesamiento de señales:

https://towardsdatascience.com/machine-learning-and-signal-processing-103281d27c4b

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Recursos
Forecasting:
https://www.aprendemachinelearning.com/pronostico-de-series-temporales-con-redes-neuronales-en-python/

Análisis de audio con ML:

https://towardsdatascience.com/how-to-apply-machine-learning-and-deep-learning-methods-to-audio-analysis-
615e286fcbbc
Entrenar un modelo pequeño de ML:
https://www.edgeimpulse.com/blog/train-a-tiny-ml-model

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Bibliografía
• https://medium.com/@purnasaigudikandula/a-beginner-intro-to-neural-networks-543267bda3c8

• Miniserie redes neuronales DotCSV

https://www.youtube.com/watch?v=MRIv2IwFTPg&list=PL-Ogd76BhmcB9OjPucsnc2-piEE96jJD
Q&ab_channel=DotCSV
• https://medium.com/deep-learning-demystified/introduction-to-neural-networks-part-1-e13f132c6
d7e
• https://medium.com/@societyofai/introduction-to-neural-networks-and-deep-learning-6da681f14e
6

• https://towardsdatascience.com/deep-learning-101-neural-networks-explained-9fee25e8ccd3

Ingeniería Mecatrónica Ing. Emerson M. Asto Rodriguez

Adicional
Mirar la serie de videos de redes neuronales de DotCsv