Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Arch Ivo
Arch Ivo
Contenido:
1.- ANTECEDENTES HISTÓRICOS
5.- EL PERCEPTRON.
Tradicionalmente, la palabra red neuronal se conoce como una red de neuronas biológicas en el
sistema nervioso que procesan y transmiten información. Una red neuronal artificial es una
1
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
representación artificial del cerebro humano que trata de simular su proceso de aprendizaje. Una
red neuronal artificial es a menudo se llama "Red neuronal" (NN).
La red neuronal artificial es una red de elementos de procesamiento simples (neuronas) que
pueden exhibir un comportamiento global complejo, determinado por conexiones entre los
elementos de procesamiento y los parámetros de los elementos.
La historia de las redes neuronales artificiales es como una montaña rusa. Hubo momentos en
que era popular (hasta), y hubo momentos en que no lo era. Ahora estamos en uno de sus grandes
momentos.
• Comienzos (1943-1960)
– Primer modelo matemático de neuronas Pitts & McCulloch (1943)
– Inicio de redes neuronales artificiales
– Perceptrón, Rosenblatt (1958)
∗ Una sola neurona para la clasificación
∗ Regla de aprendizaje de percepción
∗ Teorema de convergencia de percepción
• Degresión (1960-1980)
– Perceptron ni siquiera puede aprender la función XOR [MP69]
– No sabemos cómo entrenar MLP
– 1963 Backpropagation (Bryson et al.)
∗ Pero no mucha atención
• Progresión (1980-)
– 1986 Backpropagation (Retropropagación) reinventada:
∗ Aprendizaje de representaciones por errores de retropropagación. Rumilhart et al.
Naturaleza
– Aplicaciones exitosas en
∗ Reconocimiento de caracteres, automóviles autónomos, ..., sucesivamente.
– Pero todavía había algunas preguntas abiertas en
∗ ¿Sobreajuste? ¿Estructura de red? ¿Número de neuronas? ¿Número de capa? Mal
mínimo
local puntos? ¿Cuándo dejar de entrenar?
– Redes Hopfield (1982), máquinas Boltzmann, ..., sucesivamente.
2
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
• Degresión (1993-)
- SVM: Support Vector Machine es desarrollado por Vapnik et al.. Sin embargo, SVM es
un poco profundo arquitectura.
– Los modelos gráficos son cada vez más populares
– Gran éxito de SVM y modelos gráficos casi mata el ANN (red neuronal artificial)
investigación.
– La formación de redes más profundas produce consistentemente malos resultados.
- Sin embargo, Yann LeCun (1998) desarrolló redes neuronales convolucionales
profundas (una
Discriminación modelo).
• Progresión (2006-)
Deep learning es un cambio de marca de la investigación ANN.
- Redes de creencias profundas (DBN)
∗ Un algoritmo de aprendizaje rápido para redes de creencias profundas. Hinton et al.
Cómputo
neuronal.
∗ Modelo gráfico generativo
∗ Basado en máquinas Boltzmann restrictivas
∗ Se puede entrenar de manera eficiente
– Redes basadas en Autoencoder profundo
∗ Formación codiciosa de redes profundas. Bengio et al.
- Redes neuronales convolucionales que se ejecutan en GPU
∗ Gran éxito para NN desde el uso masivo de GPU.
∗ AlexNet (2012). Krizhevsky et al. NIPS
1B. LA NEURONA
3
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
CARACTERÍSTICAS DE LA NEURONAS
• Cada neurona tiene un cuerpo, axón y muchas dendritas.
• Una neurona puede disparar o descansar.
• Si la suma de entradas ponderadas es mayor que un umbral, la neurona se dispara.
• Sinapsis: La brecha entre el axón y otras dendritas neuronales. Determina los pesos en el
resumir.
Tarea:
INTRODUCCION:
Las neuronas (también llamadas neuronas o células nerviosas) son las unidades fundamentales
del cerebro y del sistema nervioso, las células responsables de recibir información sensorial del
mundo externo, enviar comandos motores a nuestros músculos y transformar y transmitir las
señales eléctricas en cada interponerse en el medio. Más que eso, sus interacciones definen
quiénes somos como personas. Dicho esto, nuestros aproximadamente 100 mil millones de
neuronas interactúan estrechamente con otros tipos de células, ampliamente clasificadas como
glía (en realidad, estas pueden superar en número a las neuronas, aunque en realidad no se
conoce)
4
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
5
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
6
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
Las redes neuronales artificiales son los modelos computacionales que están inspirados en el
cerebro humano. Muchos de los avances recientes se han realizado en el campo de la Inteligencia
Artificial, incluido el reconocimiento de voz, el reconocimiento de imágenes y la robótica
utilizando redes neuronales artificiales. Las redes neuronales artificiales son las simulaciones
biológicamente inspiradas que se realizan en la computadora para realizar ciertas tareas
específicas como: Clustering, Classification y Pattern Recognition
AREAS DE APLICACIÓN
Las siguientes son algunas de las áreas, donde se está utilizando ANS. Sugiere que ANS tiene un
enfoque interdisciplinario en su desarrollo y aplicaciones.
RECONOCIMIENTO DE VOZ
El habla ocupa un papel destacado en la interacción humano-humano. Por lo tanto, es natural que
las personas esperen interfaces de voz con computadoras. En la era actual, para la comunicación
con las máquinas, los humanos aún necesitan lenguajes sofisticados que son difíciles de aprender
y usar. Para aliviar esta barrera de comunicación, una solución simple podría ser la comunicación
en un idioma hablado que la máquina pueda entender.
Se han hecho grandes progresos en este campo, sin embargo, todavía este tipo de sistemas se
enfrentan al problema de vocabulario o gramática limitada junto con la cuestión del
reentrenamiento del sistema para diferentes hablantes en diferentes condiciones. ANN está
jugando un papel importante en esta área. Los siguientes ANN se han utilizado para el
reconocimiento de voz: redes multicapa, redes multicapa con conexiones recurrentes y mapa de
funciones autoorganizadoras de kohonen.
La red más útil para esto es el mapa de características Kohonen Self-Organizing, que tiene su
entrada como segmentos cortos de la forma de onda del habla. Mapeará el mismo tipo de
fonemas que la matriz de salida, llamada técnica de extracción de características. Después de
extraer las características, con la ayuda de algunos modelos acústicos como procesamiento de
fondo, reconocerá el enunciado.
RECONOCIMIENTO DE CARACTERES
Es un problema interesante que cae dentro del área general de reconocimiento de patrones. Se
han desarrollado muchas redes neuronales para el reconocimiento automático de caracteres
escritos a mano, ya sea letras o dígitos. Los siguientes son algunos ANS que se han utilizado
para el reconocimiento de caracteres: Redes neuronales multicapa, como las redes neuronales de
retropropagación y Neocognitron
7
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
Aunque las redes neuronales de propagación hacia atrás tienen varias capas ocultas, el patrón de
conexión de una capa a la siguiente está localizado. Del mismo modo, neocognitron también
tiene varias capas ocultas y su entrenamiento se realiza capa por capa para este tipo de
aplicaciones.
8
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
INTERCONEXIONES:
La interconexión se puede definir como la forma en que los elementos de procesamiento
(neurona) en ANN están conectados entre sí. Por lo tanto, las disposiciones de estos elementos
de procesamiento y la geometría de las interconexiones son muy esenciales en ANN. Estas
disposiciones siempre tienen dos capas que son comunes a todas las arquitecturas de red, la capa
de entrada y la capa de salida, donde la capa de entrada amortigua la señal de entrada y la capa
de salida genera la salida de la red. La tercera capa es la capa Oculta, en la que las neuronas no
se mantienen en la capa de entrada ni en la capa de salida. Estas neuronas están ocultas a las
personas que están interactuando con el sistema y actúan como una caja negra para ellas. Al
aumentar las capas ocultas con neuronas, se puede aumentar la potencia de procesamiento y
computación del sistema, pero los fenómenos de entrenamiento del sistema se vuelven más
complejos al mismo tiempo. Existen cinco tipos básicos de arquitectura de conexión neuronal:
9
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
En este tipo de red, la salida del elemento de procesamiento puede dirigirse al elemento de
procesamiento en la misma capa y en la capa anterior formando una red recurrente multicapa.
Realizan la misma tarea para cada elemento de una secuencia, y la salida depende de los cálculos
10
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
11
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
5.- EL PERCEPTRON.
Una neurona es una unidad de procesamiento de información que es fundamental para el
funcionamiento de una red neuronal. Podemos identificar tres elementos básicos del modelo
neuronal. Los se representa la estructura de una neurona.
• Set de sinapsis
• Sumatoria
• Función de Activación
Funciones de
Activación
6.- EL ADALINE
Y
MADALINE.
12
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
La red ADALINE (ADAptive LINear Element) fue desarrollada por Bernie Widrow en la Universidad de
Stanford poco después de que Rosenblatt desarrollara el Perceptrón. Las capacidades de esta red son muy
similares a las del Perceptrón.
Una de las neuronas de aprendizaje más simples es ADALINE (ADAptive Linear NEuron o ADAptive
LINear Element) propuesto por B. Widrow.
LAS ARQUITECTURAS
ADALINE Y
MADALINE
Las arquitecturas ADALINE y MADALINE son esencialmente las mismas que las del Perceptrón.
Las pocas diferencias están en el nivel microestructural donde agregan un umbral variable en lugar de
restarlo (pero dado que los umbrales pueden ser positivos o negativos, esto es solo una diferencia al
escribir las ecuaciones, no en un rendimiento real). Ambos tienen funciones de transferencia binarias
aplicadas a la suma de las entradas multiplicadas por sus pesos más el valor umbral, produciendo valores
13
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
(1, -1) para los nodos. A nivel meso estructural, las arquitecturas básicas Perceptrón y ADALINE /
MADALINE son idénticas. ADALINE está limitado a un solo nodo de salida, y MADALINE puede tener
muchos. Son redes de dos capas cada una. Las arquitecturas ADALINE y MADALINE se ilustran en la
Figura continua.
(target_activ – output_activ)2
Ecuacion 3
LEARNING ALGORITMH
Los pesos y bias son establecidos algunos valores aleatorios que nos ceros. Establecer tasa de aprendizaje.
Calcular la red de entrada a la unidad de salida.
14
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
En cuanto a los filtros adaptativos, los ADALINE se han utilizado y se siguen utilizando para múltiples
propósitos. Las aplicaciones incluyen el uso como filtros de ecualización adaptativa en módems de alta
velocidad y canceladores de eco adaptativos para filtrar el eco en comunicaciones telefónicas y satelitales
de larga distancia. Otras aplicaciones incluyen cancelación de ruido y predicción de señal. Un ejemplo de
una aplicación de cancelación de ruido es cancelar los latidos del corazón materno en las grabaciones de
electrocardiógrafo fetal. Las combinaciones de ADALINEs en MADELINEs, utilizando la mayoría de los
votantes, crean la posibilidad de sistemas para descifrar imágenes en 2-D. Los MADALINE tienen algún
uso para el reconocimiento de patrones de cambio y rotación invariante. Ver Widrow and Winter [1990],
y Widrow, Winter and Baxter [1989] para una discusión completa de las operaciones y aplicaciones de
ADALINE y MADELINE.
TAREA:
15
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
El modelo está listo para hacer una predicción: una vez que el error se vuelve mínimo, puede
alimentar algunas entradas a su modelo y producirá la salida. El algoritmo de retro propagación
busca el valor mínimo de la función de error en el espacio de peso utilizando una técnica llamada
regla delta o descenso de gradiente. Los pesos que minimizan la función de error se consideran
una solución al problema de aprendizaje.
1. Entradas
X, llegan a través de la ruta preconectada
2. La entrada se modela utilizando pesos reales W. Los pesos generalmente se seleccionan
al azar.
3. Calcule la salida para cada neurona desde la capa de entrada, hasta las capas ocultas,
hasta la capa de salida.
4. Calcule el error en las salidas
5. Error B = Salida real - Salida deseada
6. Viaje de regreso de la capa de salida a la capa oculta para ajustar los pesos de manera que
el error disminuya.
Es un ejemplo de una red híbrida que combina las características de dos o más diseños de red
básicos.
Propuesto por Hecht-Nielsen en 1986. La capa oculta es una red de Kohonen con aprendizaje no
supervisado y la capa de salida es una capa de Grossberg (outstar) completamente conectada a la
capa oculta. La capa de salida está entrenada por la regla de Widrow-Hoff. Permite la salida de
un patrón en lugar de un simple número de categoría. También se puede ver como una memoria
asociativa bidireccional.
16
UNIVERSIDAD NACIONAL DEL ALTIPLANO
FACULTAD DE INGENEIRIA MECANICA ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERIA ELECTRONICA
La figura anterior muestra una red de contrapropagación unidireccional utilizada para mapear el
patrón A de tamaño n al patrón B de tamaño m. La salida de la subsección A de la capa de
entrada se despliega a la capa intermedia competitiva. Cada neurona en la capa de salida recibe
una señal correspondiente a la categoría del patrón de entrada a lo largo de una conexión desde la
capa intermedia. La subsección B de la capa de entrada tiene cero entradas durante la operación
real de la red y se usa para proporcionar entrada solo durante el entrenamiento.
9.- CUESTIONARIO
18