Está en la página 1de 2

Enero 2000

Cuestiones RNA C i

Se desea probar un perpectrón multicapa (MLP) con una sola capa oculta como estimador de funciones. En este caso particular, la función en cuestión es una escalar de varias variables. , p p Matemáticamente, el funcionamiento deseado de la red se puede expresar como f : ℜ n → ℜ , donde no existe restricción alguna respecto a los valores alcanzables, tanto para las variables de entrada, como para la salida. Así pues, para el entrenamiento del MLP se dispone de una tabla con v v valores concretos (x1v , x2 K xn ) → y v . A partir de estos datos se pide: a) b) c) d) Determinar el tamaño de la capa de entrada y de la de salida Modificaciones en el funcionamiento del MLP habitual para adaptarlo a este problema. Sin llegar a desarrollar en sus expresiones últimas, exponer cómo sería el aprendizaje. Indicar un método válido para medir la eficiencia de esta red en la tarea encomendada.

Solución:

Teoría de Autómatas y Lenguajes Formales II. Curso 2007-08.
3º curso de Ingeniería Técnica en Informática de Sistemas Escuela Técnica Superior de Ingeniería Informática Universidad de Valladolid

a) N0=n y N[H]=1 b) Para la capa de salida: F(x)=x ∂E p ∂y1p ∂E p p 1 i = −γ y0 j ; c) Δ p wij = −γ 1 ∂y1p ∂wij ∂y1p i i

0 Δ p wij = −γ

∂E p ∂y0pi ∂E p = −γ F ′(u 0pi ) I jp 0 ∂y 0pi ∂wij ∂y0pi

d) Media extendida a los errores relativos de cada muestra

Junio 2000
Responder razonadamente a las siguientes cuestiones: a) Diferencias entre reconocimiento de patrones estáticos y dinámicos. b) ) Por las características del MLP y de su algoritmo de aprendizaje, como cabría g p j , calificarlo: (1) Recurrente o no recurrente (2) Supervisado o no supervisado (3) Heteroasociativo o autoasociativo. Obsérvese que estas características no son mutuamente excluyentes. c) Definir el término momento en la modificación iterativa de pesos y dar la justificación fundamental para su incorporación, en la práctica, como parte del algoritmo de aprendizaje del MLP. d) En general, a falta de más datos, conociendo únicamente el valor de una entrada particular y la salida de la neurona correspondiente, cómo se modificaría el peso asociado a dicha conexión entre la entrada y la salida conocida. conocida Solución: a) Aparición de la variable tiempo explícitamente b) (No recurrente) Supervisado (Heteroasociativo).
h c) Δ p −1wij .Evitar caer en mínimos locales y el comportamiento oscilatorio.

Junio 2001 (I)
Dada la siguiente red neuronal, dedúzcase las expresiones matemáticas para la actualización de sus pesos conforme al algoritmo de retropropagación del error. Tal y como se indica en la figura, la p salida de las neuronas tienen funciones de activación distintas. En la primera se trata de la función F(x) = x; en la otra, se utiliza la sigmoide. w30 x0
w20 w21 x1 y2 y3

w32 w31

Si se quisiera utilizar este sistema como un clasificador de dos categorías solamente, ¿cómo deberían ser las salidas deseadas y qué criterio se aplicaría a la salida de la red para identificarla con una clase concreta? Por el contrario, si esta red se pretendiera utilizarla como aproximador de funciones universal (y = f(x)), ¿qué modificación necesaria habría que realizar en su funcionamiento para conseguirlo?

d) Regla de Hebb: Δ p wij

α yip x jp

1

Junio 2000 (III) Δ p w2 j = −γ = γδ p 3 donde donde u 2p = w 20 x 0p + w 21 x 1p + w 22 = y 2p u 3p = w 30 x 0p + w 31 x 1p + w 32 y 2p + w 33 ∂ E p ∂ y 3p ∂ y 2p = γ (d ∂ y 3p ∂ y 2p ∂ w 2 j = γδ p 2 p − y 3p ) y 3p (1 − y 3p ) w 32 I p j w 32 I p j I jp . Positiva Desplazar (pi/2) y reescalar dividiendo por pi. desde el punto de vista externo. Di éñ las de la d lid Diséñese un algoritmo de aprendizaje l i d di j basado en el método de mínimos cuadrados (regresión lineal).4 ≤ y p ≤ 0. donde δ 3p = ( d − y 3p ) y 3p (1 − y 3p ) Septiembre 2002 Respóndase razonadamente a las siguientes cuestiones: a) b) En la Regla de Hebb. por ejemplo: 0. Calcúlese la evolución de los pesos según la regla de aprendizaje característica de esta red.5. ¿qué signo debería tener la constante de proporcionalidad? En un perceptrón multicapa ¿se podría sustituir la función de activación sigmoide por la arcotangente (atan(x))?. De acuerdo con el teorema de convergencia del perceptrón simple.6 → Indeterminación 3 ⎩ Aproximador universal de funciones y = f (x) y3p = F (u3p ) = u3p La respuesta no estaría acotada Δ p w 3 j = γδ p 3 X p j . Aplicar el cálculo directamente de la regresión lineal Septiembre 2003 En la siguiente tabla aparecen cuatro muestras (A. ∂ w ij donde E p = 1 d 2 ( p − y 3p ) 2 • Δ p w3 j = −γ ∂ E p ∂ y 3p ∂ u 3p = γ (d ∂ y 3p ∂ u 3p ∂ w 3 j donde X p 0 |1 p − y 3p ) y 3p (1 − y 3p ) X X p p 2 p j . I 0p|1 = x 0p|1 .5 → Clase #1 Si ⎨ 3 p ⎩ y3 ≤ 0. B. sino la descripción de los pasos y resultados obtenidos. I 2p = 1 Δ p w ij = − γ ∂E p .Junio 2000 (II) y 2p = F ( u 2p ). donde δ 2p = δ 3p w 32 . cada una de las cuales viene dada por un vector de dos componentes (X1. A B C D X1 2 -3 3 1 X2 d(X) 3 1 1 -1 1 1 -1 -1 W1 =8 W2 =-1 Θ=-3 c) d) Solución: a) b) c) d) 2 . Clasificador de dos categorías: Fijar un valor de decisión el intervalo de salida. Para su resolución se dispone de un perceptrón multicapa sin ninguna capa oculta y con una función activación lineal (F(x)=x) (F( ) ) en l neuronas d l capa de salida. de existir. Nota: no se pide obtener las fórmulas detalladas. ¿se puede asegurar que siempre hay una solución? En cualquier caso. ¿ésta sería única? Supóngase un problema de clasificación. X p 3 =1 • ⎧ y3p > 0. p pesos iniciales de un perceptrón simple compuesto por una sola neurona.6 → Clase #1 ⎪ Se podría fijar una zona de indeterminación (GAP) ⎨ y3p < 0. en general.4 → Clase#0 ⎪0. no es única. la respuesta de la red siguiera siendo la misma. D). = y 2p . No se puede asegurar la existencia y de existir. realícese las transformaciones matemáticas para que. Salidas deseadas próximas a 0 y a 1 respectivamente ⎧ y p > 0. X2) y su salida deseada ( ( )) A la derecha aparecen los p p (d(X)). C. En caso afirmativo. y 3p = F ( u 3p ).5 → Clase #0 = x 0p|1 .