UNIVERSIDAD NACIONAL DEL ALTIPLANO

FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS

ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

LECUTURA PRIMERA UNIDAD

Curso: INTELIGENCIA ARTIFICIAL

Lecturas Semanales más cuestionario para el examen

Contenido:
1.- ANTECEDENTES HISTÓRICOS

2.- NEUROFISIOLOGÍA ELEMENTAL

3.- SISTEMAS NEURONALES ARTIFICIALES ANS

4.- MODELO Y ARQUITECTURA DE UNA NEURONA ARTIFICIAL

5.- EL PERCEPTRON.

6.- EL ADALINE Y MADALINE.

7.- RED DE PROPAGACIÓN HACIA ATRÁS (BPN).

8.- LA RED DE CONTRAPROPAGACIÓN

9.- CUESTIONARIO PARA EL EXAMEN (ORAL)

1.- ANTECEDENTES HISTORICOS

1A. ESENCIA DE LAS REDES NEURONALES Y SU BREVE HISTORIA

Tradicionalmente, la palabra red neuronal se conoce como una red de neuronas biológicas en el
sistema nervioso que procesan y transmiten información. Una red neuronal artificial es una
1
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

representación artificial del cerebro humano que trata de simular su proceso de aprendizaje. Una
red neuronal artificial es a menudo se llama "Red neuronal" (NN).

La red neuronal artificial es un grupo interconectado de neuronas artificiales que utiliza un

modelo matemático o modelo computacional para obtener información procesamiento basado en
un enfoque conexionista para el cálculo. Las redes neuronales artificiales están hechas de
interconexión de neuronas artificiales, que pueden compartir algunas propiedades de las redes
neuronales biológicas.

La red neuronal artificial es una red de elementos de procesamiento simples (neuronas) que
pueden exhibir un comportamiento global complejo, determinado por conexiones entre los
elementos de procesamiento y los parámetros de los elementos.

La historia de las redes neuronales artificiales es como una montaña rusa. Hubo momentos en
que era popular (hasta), y hubo momentos en que no lo era. Ahora estamos en uno de sus grandes
momentos.

• Comienzos (1943-1960)
– Primer modelo matemático de neuronas Pitts & McCulloch (1943)
– Inicio de redes neuronales artificiales
– Perceptrón, Rosenblatt (1958)
∗ Una sola neurona para la clasificación
∗ Regla de aprendizaje de percepción
∗ Teorema de convergencia de percepción

• Degresión (1960-1980)
– Perceptron ni siquiera puede aprender la función XOR [MP69]
– No sabemos cómo entrenar MLP
– 1963 Backpropagation (Bryson et al.)
∗ Pero no mucha atención

• Progresión (1980-)
– 1986 Backpropagation (Retropropagación) reinventada:
∗ Aprendizaje de representaciones por errores de retropropagación. Rumilhart et al.
Naturaleza
– Aplicaciones exitosas en
∗ Reconocimiento de caracteres, automóviles autónomos, ..., sucesivamente.
– Pero todavía había algunas preguntas abiertas en
∗ ¿Sobreajuste? ¿Estructura de red? ¿Número de neuronas? ¿Número de capa? Mal
mínimo
local puntos? ¿Cuándo dejar de entrenar?
– Redes Hopfield (1982), máquinas Boltzmann, ..., sucesivamente.

2
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

• Degresión (1993-)
- SVM: Support Vector Machine es desarrollado por Vapnik et al.. Sin embargo, SVM es
un poco profundo arquitectura.
– Los modelos gráficos son cada vez más populares
– Gran éxito de SVM y modelos gráficos casi mata el ANN (red neuronal artificial)
investigación.
– La formación de redes más profundas produce consistentemente malos resultados.
- Sin embargo, Yann LeCun (1998) desarrolló redes neuronales convolucionales
profundas (una
Discriminación modelo).

• Progresión (2006-)
Deep learning es un cambio de marca de la investigación ANN.
- Redes de creencias profundas (DBN)
∗ Un algoritmo de aprendizaje rápido para redes de creencias profundas. Hinton et al.
Cómputo
neuronal.
∗ Modelo gráfico generativo
∗ Basado en máquinas Boltzmann restrictivas
∗ Se puede entrenar de manera eficiente
– Redes basadas en Autoencoder profundo
∗ Formación codiciosa de redes profundas. Bengio et al.
- Redes neuronales convolucionales que se ejecutan en GPU
∗ Gran éxito para NN desde el uso masivo de GPU.
∗ AlexNet (2012). Krizhevsky et al. NIPS

1B. LA NEURONA

3
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

CARACTERÍSTICAS DE LA NEURONAS
• Cada neurona tiene un cuerpo, axón y muchas dendritas.
• Una neurona puede disparar o descansar.
• Si la suma de entradas ponderadas es mayor que un umbral, la neurona se dispara.
• Sinapsis: La brecha entre el axón y otras dendritas neuronales. Determina los pesos en el
resumir.

Para resumir, en el pasado, la popularidad de las redes neuronales artificiales a veces se

degradaba debido a un mal rendimiento o escasa escalabilidad. Recientemente, gracias al avance
de la potencia informática (GPU), la disponibilidad de Big data y el desarrollo de técnicas para
entrenar redes neuronales profundas en grandes conjuntos de datos, artificiales. La red neuronal
y la investigación de aprendizaje profundo se han vuelto muy populares nuevamente.

Tarea:

1.- Describe la ecuación Matemática de la Neurona

2.- NEUROFISIOLOGÍA ELEMENTAL

INTRODUCCION:

Las neuronas (también llamadas neuronas o células nerviosas) son las unidades fundamentales
del cerebro y del sistema nervioso, las células responsables de recibir información sensorial del
mundo externo, enviar comandos motores a nuestros músculos y transformar y transmitir las
señales eléctricas en cada interponerse en el medio. Más que eso, sus interacciones definen
quiénes somos como personas. Dicho esto, nuestros aproximadamente 100 mil millones de
neuronas interactúan estrechamente con otros tipos de células, ampliamente clasificadas como
glía (en realidad, estas pueden superar en número a las neuronas, aunque en realidad no se
conoce)

4
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

CARACTERÍSTICAS ESENCIALES DE LA NEURONA

• El soma es el cuerpo de la neurona. Como contiene el núcleo, la mayor parte de la

síntesis de proteínas ocurre aquí. El núcleo puede variar de 3 a 18 micrómetros de
diámetro.
• Axón: la estructura larga y delgada en la que se generan potenciales de acción; La parte
transmisora de la neurona. Después del inicio, los potenciales de acción viajan por los
axones para causar la liberación del neurotransmisor.
• Dendrita: la parte receptora de la neurona. Las dendritas reciben entradas sinápticas de
los axones, y la suma total de las entradas dendríticas determina si la neurona disparará
un potencial de acción.
• Espina (Spine): las pequeñas protuberancias que se encuentran en las dendritas que son,
para muchas sinapsis, el sitio de contacto post-sináptico.
REPRESENTACIÓN MATEMÁTICA DE LA NEURONA:

COMPONENTES EN LA FUNCIÓN DE ACTIVACIÓN

PROPIEDADES ÚTILES Y CAPACIDADES DE LAS

REDES NEURONALES

5
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

• 1. NO LINEALIDAD. Una neurona es básicamente un dispositivo no lineal. En consecuencia,

una red neuronal, compuesta de una interconexión de neuronas, es en sí misma no lineal.
Además, la no linealidad es de un tipo especial en el sentido de que se distribuye en toda la red.
• 2. PARALELISMO MASIVO (procesamiento paralelo de información por toda la red Enlaces).
Las redes neuronales poseen una estructura de procesamiento paralelo. Cada procesamiento
básico la unidad generalmente tiene una propiedad uniforme, que usa la suma simple, la
multiplicación, división y operaciones de umbral. Esta estructura paralela permite un alto
paralelismo implementaciones de software y hardware.
• 3. MAPEO DE ENTRADA-SALIDA (capacidad de red para el aprendizaje y generalización de
conocimiento acumulado). Un paradigma popular de aprendizaje llamado aprendizaje
supervisado implica la modificación de los pesos sinápticos de una red neuronal mediante la
aplicación de un conjunto de muestras de entrenamiento. Cada muestra consta de una señal de
entrada única y la correspondiente respuesta deseada. La red presenta una muestra escogida al
azar del conjunto, y los pesos sinápticos (parámetros libres) de la red se modifican.
• 4. ADAPTABILIDAD. Las redes neuronales tienen una capacidad incorporada para adaptar su
sináptica pesos a los cambios en el entorno circundante. En particular, una red neuronal
capacitado para operar en un entorno específico puede volverse a entrenar fácilmente para tratar
con menores cambios en las condiciones ambientales de operación.
• 5. Uniformidad de análisis y diseño. Las redes neuronales son lo universal algoritmo de
procesamiento de información. Significa que la misma solución de diseño puede ser utilizado en
diversas esferas temáticas.
• 6. INFORMACIÓN CONTEXTUAL. El conocimiento está representado por la estructura
misma y estado de activación de una red neuronal. Cada neurona en la red es potencialmente
afectado por la actividad global de todas las demás neuronas en la red. Por consiguiente, La
información contextual es tratada naturalmente por una red neuronal.
• 7. ROBUSTEZ Y TOLERANCIA A FALLOS. Las redes neuronales tienen solidez y
tolerancia a fallas capacidad. Una red neuronal puede hacer frente fácilmente a imprecisos,
difusos, ruidosos y información probabilística La red neuronal es un sistema de información
distribuido, donde la información se almacena en toda la red de manera distribuida por la red
estructura.
• 8. ANALOGÍA NEUROBIOLÓGICA. El diseño de una red neuronal está motivado por
analogía con el cerebro, que es una prueba viviente de que el procesamiento paralelo tolerante a
fallas no solo es físicamente posible sino también rápido y poderoso. Los neurobiólogos buscan
redes neuronales (artificiales) como herramienta de investigación para la interpretación de
neurobiológicos fenómenos. Por otro lado, los ingenieros buscan nuevas ideas para resolver la
neurobiología.
• 9. IMPLEMENTACIONES SIMPLES DE VLSI. La naturaleza masivamente paralela de un
neural, La red lo hace potencialmente rápido para el cálculo de ciertas tareas. Esta característica
hace que una red neuronal sea ideal para la implementación utilizando una integración integrada a
muy gran escala (VLSI) tecnología. (VLSI:  very large-scale integration).

6
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

3.- SISTEMAS NEURONALES ARTIFICIALES ANS

Las redes neuronales artificiales son los modelos computacionales que están inspirados en el
cerebro humano. Muchos de los avances recientes se han realizado en el campo de la Inteligencia
Artificial, incluido el reconocimiento de voz, el reconocimiento de imágenes y la robótica
utilizando redes neuronales artificiales. Las redes neuronales artificiales son las simulaciones
biológicamente inspiradas que se realizan en la computadora para realizar ciertas tareas
específicas como: Clustering, Classification y Pattern Recognition
AREAS DE APLICACIÓN
Las siguientes son algunas de las áreas, donde se está utilizando ANS. Sugiere que ANS tiene un
enfoque interdisciplinario en su desarrollo y aplicaciones.

RECONOCIMIENTO DE VOZ
El habla ocupa un papel destacado en la interacción humano-humano. Por lo tanto, es natural que
las personas esperen interfaces de voz con computadoras. En la era actual, para la comunicación
con las máquinas, los humanos aún necesitan lenguajes sofisticados que son difíciles de aprender
y usar. Para aliviar esta barrera de comunicación, una solución simple podría ser la comunicación
en un idioma hablado que la máquina pueda entender.

Se han hecho grandes progresos en este campo, sin embargo, todavía este tipo de sistemas se
enfrentan al problema de vocabulario o gramática limitada junto con la cuestión del
reentrenamiento del sistema para diferentes hablantes en diferentes condiciones. ANN está
jugando un papel importante en esta área. Los siguientes ANN se han utilizado para el
reconocimiento de voz: redes multicapa, redes multicapa con conexiones recurrentes y mapa de
funciones autoorganizadoras de kohonen.

La red más útil para esto es el mapa de características Kohonen Self-Organizing, que tiene su
entrada como segmentos cortos de la forma de onda del habla. Mapeará el mismo tipo de
fonemas que la matriz de salida, llamada técnica de extracción de características. Después de
extraer las características, con la ayuda de algunos modelos acústicos como procesamiento de
fondo, reconocerá el enunciado.

RECONOCIMIENTO DE CARACTERES
Es un problema interesante que cae dentro del área general de reconocimiento de patrones. Se
han desarrollado muchas redes neuronales para el reconocimiento automático de caracteres
escritos a mano, ya sea letras o dígitos. Los siguientes son algunos ANS que se han utilizado
para el reconocimiento de caracteres: Redes neuronales multicapa, como las redes neuronales de
retropropagación y Neocognitron

7
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

Aunque las redes neuronales de propagación hacia atrás tienen varias capas ocultas, el patrón de
conexión de una capa a la siguiente está localizado. Del mismo modo, neocognitron también
tiene varias capas ocultas y su entrenamiento se realiza capa por capa para este tipo de
aplicaciones.

VERIFICACIÓN DE FIRMA EN SOLICITUDES

Las firmas son una de las formas más útiles para autorizar y autenticar a una persona en
transacciones legales. La técnica de verificación de firma es una técnica no basada en la visión.
Para esta aplicación, el primer enfoque es extraer la característica o más bien el conjunto de
características geométricas que representa la firma. Con estos conjuntos de características,
tenemos que entrenar las redes neuronales usando un algoritmo eficiente de red neuronal. Esta
red neuronal capacitada clasificará la firma como genuina o falsificada en la etapa de
verificación.

RECONOCIMIENTO DE ROSTRO HUMANO

Es uno de los métodos biométricos para identificar la cara dada. Es una tarea típica debido a la
caracterización de imágenes "no faciales". Sin embargo, si una red neuronal está bien entrenada,
se puede dividir en dos clases, a saber, imágenes que tienen caras e imágenes que no tienen
caras. Primero, todas las imágenes de entrada deben ser pre-procesadas. Entonces, la
dimensionalidad de esa imagen debe reducirse. Y, por último, debe clasificarse utilizando el
algoritmo de entrenamiento de redes neuronales. Las siguientes redes neuronales se utilizan con
fines de entrenamiento con imágenes preprocesadas: Red neuronal de alimentación de múltiples
capas totalmente conectada entrenada con la ayuda del algoritmo de retropropagación.

8
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

4.- MODELO Y ARQUITECTURA DE UNA NEURONA

ARTIFICIAL
Una red neuronal artificial (ANN) es un paradigma de procesamiento de información inspirado
en el cerebro. Las ANN, como las personas, aprenden con ejemplos. Un ANN se configura para
una aplicación específica, como el reconocimiento de patrones o la clasificación de datos, a
través de un proceso de aprendizaje. El aprendizaje implica en gran medida ajustes a las
conexiones sinápticas que existen entre las neuronas. El modelo de red neuronal artificial que
puede ser especificado por tres entidades:
Interconexiones, Funciones de activación, Reglas de aprendizaje.

INTERCONEXIONES:
La interconexión se puede definir como la forma en que los elementos de procesamiento
(neurona) en ANN están conectados entre sí. Por lo tanto, las disposiciones de estos elementos
de procesamiento y la geometría de las interconexiones son muy esenciales en ANN. Estas
disposiciones siempre tienen dos capas que son comunes a todas las arquitecturas de red, la capa
de entrada y la capa de salida, donde la capa de entrada amortigua la señal de entrada y la capa
de salida genera la salida de la red. La tercera capa es la capa Oculta, en la que las neuronas no
se mantienen en la capa de entrada ni en la capa de salida. Estas neuronas están ocultas a las
personas que están interactuando con el sistema y actúan como una caja negra para ellas. Al
aumentar las capas ocultas con neuronas, se puede aumentar la potencia de procesamiento y
computación del sistema, pero los fenómenos de entrenamiento del sistema se vuelven más
complejos al mismo tiempo. Existen cinco tipos básicos de arquitectura de conexión neuronal:

4.1.- SINGLE-LAYER FEED FORWARD NETWORK

En este tipo de red, tenemos solo dos capas de capa de entrada y capa de salida, pero la capa de
entrada no cuenta porque no se realizó ningún cálculo en esta capa. La capa de salida se forma
cuando se aplican diferentes pesos en los nodos de entrada y se toma el efecto acumulativo por
nodo. Después de esto, las neuronas colectivamente dan a la capa de salida calcular las señales
de salida.

4.2.- MULTILAYER FEED FORWARD NETWORK

Esta capa también tiene una capa oculta que es interna a la red y no tiene contacto directo con la
capa externa. La existencia de una o más capas ocultas permite que la red sea
computacionalmente más fuerte, red de avance porque la información fluye a través de la
función de entrada y los cálculos intermedios utilizados para definir la salida Z. No hay
conexiones de retroalimentación en las que las salidas de el modelo se retroalimentan en sí
mismo.

9
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

4.3.- SINGLE NODE WITH ITS OWN FEEDBACK

Cuando las salidas se pueden dirigir de regreso como entradas a la misma capa o nodos de capa
anteriores, entonces se generan redes de retroalimentación. Las redes recurrentes son redes de
retroalimentación con bucle cerrado. La figura anterior muestra una única red recurrente que
tiene una sola neurona con retroalimentación a sí misma.

4.4.- SINGLE-LAYER RECURRENT

NETWORK
La red de arriba es una red de una sola capa con conexión de retroalimentación en la que la
salida del elemento de procesamiento se puede dirigir a sí mismo o a otro elemento de
procesamiento o ambos. La red neuronal recurrente es una clase de red neuronal artificial donde
las conexiones entre nodos forman un gráfico dirigido a lo largo de una secuencia. Esto le
permite exhibir un comportamiento temporal dinámico para una secuencia de tiempo. A
diferencia de las redes neuronales de avance, los RNN pueden usar su estado interno (memoria)
para procesar secuencias de entradas.

4.5.- MULTILAYER RECURRENT

NETWORK

En este tipo de red, la salida del elemento de procesamiento puede dirigirse al elemento de
procesamiento en la misma capa y en la capa anterior formando una red recurrente multicapa.
Realizan la misma tarea para cada elemento de una secuencia, y la salida depende de los cálculos

10
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

anteriores. No se necesitan entradas en cada paso de tiempo. La característica principal de una

red neuronal recurrente es su estado oculto, que captura cierta información sobre una secuencia.

11
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

5.- EL PERCEPTRON.
Una neurona es una unidad de procesamiento de información que es fundamental para el
funcionamiento de una red neuronal. Podemos identificar tres elementos básicos del modelo
neuronal. Los se representa la estructura de una neurona.
• Set de sinapsis
• Sumatoria
• Función de Activación

Funciones de
Activación

6.- EL ADALINE
Y

MADALINE.
12
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

INTRODUCCION A ADALINE Y MADALINE

La red ADALINE (ADAptive LINear Element) fue desarrollada por Bernie Widrow en la Universidad de
Stanford poco después de que Rosenblatt desarrollara el Perceptrón. Las capacidades de esta red son muy
similares a las del Perceptrón.

EL CONCEPTO SUBYACENTE DE ADALINE

Tanto el ADALINE como el MADALINE (para muchos ADALINEs) emplean un procedimiento de

aprendizaje ligeramente más sofisticado que el Perceptrón llamado la regla de aprendizaje (Widrow-Hoff)
east-Mean-Squared (LMS). Esta regla también se llama a veces la Regla Delta, porque funciona
minimizando un delta o diferencia entre la salida observada de las neuronas finales y la salida deseada de
esas mismas neuronas.
La distinción clave entre ADALINE y un Perceptrón de dos capas con un solo nodo de salida es la base
de sus leyes de aprendizaje. Esta base es que el ADALINE aprende usando una ley de reducción de
errores LMS para reducir el error entre su salida real y la salida deseada, y un Perceptrón usa una simple
diferencia ponderada. Sin embargo, desde el gradiente del error LMS produce la misma ecuación que la
ley de aprendizaje de Perceptrón, esto es realmente solo una diferencia de origen o conceptualización. La
formulación de las leyes de aprendizaje es la misma. Se produce una diferencia real en la forma en que se
aplican las leyes de aprendizaje. El cambio de peso para el aprendizaje (el Delta) se calcula utilizando
diferentes valores en el Perceptrón y el ADALINE. En el Perceptrón, Delta se calcula utilizando la salida
real (binaria) del nodo y la salida deseada. En ADALINE, Delta se calcula usando el sistema neuronal
activación antes de que se aplique la función de transferencia binaria. Esto permite que los pesos cambien
de una manera que sea más sensible a la distancia real entre la activación de la neurona y la salida
deseada.

Una de las neuronas de aprendizaje más simples es ADALINE (ADAptive Linear NEuron o ADAptive
LINear Element) propuesto por B. Widrow.

LAS ARQUITECTURAS
ADALINE Y
MADALINE

Las arquitecturas ADALINE y MADALINE son esencialmente las mismas que las del Perceptrón.
Las pocas diferencias están en el nivel microestructural donde agregan un umbral variable en lugar de
restarlo (pero dado que los umbrales pueden ser positivos o negativos, esto es solo una diferencia al
escribir las ecuaciones, no en un rendimiento real). Ambos tienen funciones de transferencia binarias
aplicadas a la suma de las entradas multiplicadas por sus pesos más el valor umbral, produciendo valores

13
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

(1, -1) para los nodos. A nivel meso estructural, las arquitecturas básicas Perceptrón y ADALINE /
MADALINE son idénticas. ADALINE está limitado a un solo nodo de salida, y MADALINE puede tener
muchos. Son redes de dos capas cada una. Las arquitecturas ADALINE y MADALINE se ilustran en la
Figura continua.

LA REGLA DE LOS MÍNIMOS CUADRADOS MEDIOS: LA LEY DE APRENDIZAJE PARA

ADALINE:
The Least-Mean-Squared Rule: The Learning Law for the ADALINE:

Siguiendo la presentación de un patrón y pasando señales a través de la red de la manera habitual,

podemos observar el valor de salida real en cada nodo en la capa de salida y compararlo con el valor
deseado o deseado. El error LMS E se define como:

(target_activ – output_activ)2

Donde Target_activ es la activación dirigida en el nodo de salida j, Output_activ es la activación real en el

nodo de salida j, y N es el número total de nodos en la capa de salida. En este caso, E representa el error
total observado en toda la capa de nodos de salida. Es el error que deseamos reducir o minimizar. Para
minimizar este error, tomamos la derivada. Esto produce una función escalar de la misma ecuación
utilizada para la ley de aprendizaje de Perceptrón, Ecuación 3. Nuevamente, tenga en cuenta que la única
diferencia es que aplicamos la ley de aprendizaje a un delta tomado antes de que se aplique la función de
transferencia binaria en el caso de Redes AD ALINE / MAD ALINE, y después de que se haya aplicado
la función de transferencia en el caso del Perceptrón.

Ecuacion 3

LEARNING ALGORITMH

Los pesos y bias son establecidos algunos valores aleatorios que nos ceros. Establecer tasa de aprendizaje.
Calcular la red de entrada a la unidad de salida.

14
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

Luego los pesos son adaptados como sigue:

Ahora calcular el error usando:

Si el error generado is menor o igual a la especifica tolerancia entonces se detiene.

APLICACIONES DE ADALINE Y MADALINE

En cuanto a los filtros adaptativos, los ADALINE se han utilizado y se siguen utilizando para múltiples
propósitos. Las aplicaciones incluyen el uso como filtros de ecualización adaptativa en módems de alta
velocidad y canceladores de eco adaptativos para filtrar el eco en comunicaciones telefónicas y satelitales
de larga distancia. Otras aplicaciones incluyen cancelación de ruido y predicción de señal. Un ejemplo de
una aplicación de cancelación de ruido es cancelar los latidos del corazón materno en las grabaciones de
electrocardiógrafo fetal. Las combinaciones de ADALINEs en MADELINEs, utilizando la mayoría de los
votantes, crean la posibilidad de sistemas para descifrar imágenes en 2-D. Los MADALINE tienen algún
uso para el reconocimiento de patrones de cambio y rotación invariante. Ver Widrow and Winter [1990],
y Widrow, Winter and Baxter [1989] para una discusión completa de las operaciones y aplicaciones de
ADALINE y MADELINE.

TAREA:

1.- ¿Cuál es la diferencia entre el perceptrón y Adeline gráficamente y ecuación?

7.- RED DE PROPAGACIÓN HACIA ATRÁS (BPN).

Red de propagación hacia atrás o la retropropagación es un algoritmo de aprendizaje supervisado
para entrenar perceptrones multicapa (redes neuronales artificiales).

Trabajo de una red de propagación hacia atrás:

 Calcule el error: a qué distancia está la salida de su modelo de la salida real.
 Error mínimo: compruebe si el error se minimiza o no.
 Actualice los parámetros: si el error es enorme, actualice los parámetros (pesos y sesgos).
Después de eso, verifique nuevamente el error. Repita el proceso hasta que el error se
vuelva mínimo.

15
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

El modelo está listo para hacer una predicción: una vez que el error se vuelve mínimo, puede
alimentar algunas entradas a su modelo y producirá la salida. El algoritmo de retro propagación
busca el valor mínimo de la función de error en el espacio de peso utilizando una técnica llamada
regla delta o descenso de gradiente. Los pesos que minimizan la función de error se consideran
una solución al problema de aprendizaje.

1. Entradas
X, llegan a través de la ruta preconectada
2. La entrada se modela utilizando pesos reales W. Los pesos generalmente se seleccionan
al azar.
3. Calcule la salida para cada neurona desde la capa de entrada, hasta las capas ocultas,
hasta la capa de salida.
4. Calcule el error en las salidas
5. Error B = Salida real - Salida deseada
6. Viaje de regreso de la capa de salida a la capa oculta para ajustar los pesos de manera que
el error disminuya.

8.- LA RED DE CONTRAPROPAGACIÓN

Es un ejemplo de una red híbrida que combina las características de dos o más diseños de red
básicos.
Propuesto por Hecht-Nielsen en 1986. La capa oculta es una red de Kohonen con aprendizaje no
supervisado y la capa de salida es una capa de Grossberg (outstar) completamente conectada a la
capa oculta. La capa de salida está entrenada por la regla de Widrow-Hoff. Permite la salida de
un patrón en lugar de un simple número de categoría. También se puede ver como una memoria
asociativa bidireccional.

16
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

La figura anterior muestra una red de contrapropagación unidireccional utilizada para mapear el
patrón A de tamaño n al patrón B de tamaño m. La salida de la subsección A de la capa de
entrada se despliega a la capa intermedia competitiva. Cada neurona en la capa de salida recibe
una señal correspondiente a la categoría del patrón de entrada a lo largo de una conexión desde la
capa intermedia. La subsección B de la capa de entrada tiene cero entradas durante la operación
real de la red y se usa para proporcionar entrada solo durante el entrenamiento.

El papel de la capa de salida es producir el patrón correspondiente a la salida de categoría de la

capa intermedia. La capa de salida utiliza un procedimiento de aprendizaje supervisado, con
conexión directa desde la subsección B de la capa de entrada que proporciona la salida correcta.

El entrenamiento es un procedimiento de dos etapas. Primero, la capa de Kohonen está entrenada

en patrones de entrada. No se realizan cambios en la capa de salida durante este paso. Una vez
que la capa media está entrenada para clasificar correctamente todos los patrones de entrada, los
pesos entre las capas de entrada y media se mantienen fijos y la capa de salida está entrenada
para producir patrones de salida correctos ajustando los pesos entre las capas media y de salida.

9.- CUESTIONARIO

1.- ¿Cuándo comienza la investigación de las redes neuronales?

2.- Represente la neurona biológica
3.- mencione las partes de la neurona y su función
4.- Represente la neurona en forma matemática
5.- Mencioné las propiedades de las redes neuronales
6.- Mencioné las aplicaciones de las redes neuronales
7.- Mencioné las 5 arquitecturas de redes neuronales
8.- Dibuje el perceptrón
9.- Menciona y dibuja una función de activación
10.-Diferencia entre ADELINE y MADALINE
11.- ¿Que una red de propagación hacia atrás?
12.- ¿Que es una red de contra propagación?

Nota: De las 12 preguntas 5 será asignadas de manera aleatoria

17
 UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA

18