P. 1
Warren McCulloch

Warren McCulloch

|Views: 245|Likes:
Publicado porEfrain Lujano Laura

More info:

Published by: Efrain Lujano Laura on Aug 01, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PPT, PDF, TXT or read online from Scribd
See more
See less

11/10/2015

pdf

text

original

Warren McCulloch Walter Pitts

Por

FRANCISCO MARÍN MIRA

Introducción (I) 
   



1899: Nacimiento de Warren Sturgis McCulloch 1923: Nacimiento de Walter Pitts 1927: McCulloch: Doctorado en psicología. 1943: Se propone uno de los primeros modelos matemáticos de la neurona McCullochMcCulloch-Pitts. ´A logical calculus of the ideas immanent in nervous activityµ activityµ 1947: McCullch-Pitts. ´How we know universals: the McCullch´How perception of visual and auditory formsµ 1949: Donald Hebb propone una de las primeras reglas de aprendizaje

otros modelos permiten un aprendizaje no supervisado (mapa auto-organizativo de Kohonen. o los modelos de control motor de Bullock. autolos basados en la Teoría de Resonancia Adaptativa (ART) de Grossberg y Carpenter. Gaudiano y Grossberg.Introducción (II)       1956: Se acuña el término de Inteligencia Artificial 1957: Frank Rosenblatt presentó el Perceptrón Años 60: modelos basados en el Perceptrón: Adaline y Madaline 1969: Mueren McCulloch y Pitts 1969: Back propagation Posteriormente. entre otros) .

A.Introducción (III)    McCulloch y Pitts impulsaron el nacimiento de la I. Cada entrada está afectada por un coeficiente. proponiendo la definición de la neurona Con estas ideas nace la cibernética y más tarde el término Inteligencia Artificial McCulloch y Pitts. La cantidad calculada como la suma del producto de cada entrada multiplicada por su respectivo peso se denomina activación de la neurona Una de las primeras arquitecturas neuronales donde se aplica es el Perceptrón Los pesos de las neuronas se modifican sometiendo a la red a un entrenamiento. A logical calculus of the ideas immanent in nervous activity:    una Máquina de Turing podría ser implementada en una red finita de neuronas formales 1947: aproximaciones para diseñar ´redes nerviosasµ para reconocer entradas visuales Las redes neuronales actuales se basan en el modelo de neurona descrito en este artículo     Cada neurona consta de un conjunto de entradas y una sola salida. mediante una regla de aprendizaje. denominado peso. .

la cibernéticaµ. Más adelante. Podríamos situar el origen de los modelos conexionistas con la definición de la neurona formal dada por McCulloch y Pitts en 1943 como un dispositivo binario con varias entradas y salidas. lo que se llamó ´cibernéticaµ. representación simbólica de la actividad cerebral. Norbert Wiener elaboró con estas ideas junto con otras.La Inteligencia Artificial  Se puede decir que la Inteligencia Artificial empezó a surgir en 1943 cuando Warren McCulloch y Walter Pitts propusieron un modelo de neurona del cerebro humano y animal. dentro del mismo campo.   . Inteligencia Artificial. una abstracción que proporcionó una animal. De aquí nacería. sobre los años 50. salidas.

. Recibiendo su doctorado en 1927 en Nueva York. graduado en 1923).McCulloch (I)      Warren Sturgis McCulloch ( 1899 . Neurofisiólogo y Cibernético Estudió en Yale (filosofía y psicología hasta 1921) y en Columbia (psicología.1969 ) Nació en Orange. New Jersey el 16 de Noviembre de 1899.

ambos en el ´Bulletin of Mathematical Biophysicsµ. En el artículo de 1947 ofrecieron aproximaciones para diseñar ´redes nerviosasµ para reconocer entradas visuales a pesar de los cambios de orientación o de tamaño.  . incluyendo ´A logical calculus of the ideas immanent in nervous activityµ (1943) y ´How we know universals: the perception of visual and auditory formsµ (1947).McCulloch (II)  Recordado por su trabajo con Dusser de Barenne (en Yale) y después con Walter Pitts (en Illinois) que posibilitó la fundación de ciertas teorías de la inteligencia en un número de artículos clásicos. En el artículo de 1943 demostraron que una Máquina de Turing podría ser implementada en una red finita de neuronas formales. ´Bulletin Biophysicsµ. donde la neurona es la unidad base lógica del cerebro.

McCulloch fue miembro de la American Society for Cybernetics y su primer presidente desde 1967 al 1968.McCulloch (III)  Desde 1952 trabajó en el Laboratorio de Investigación de Electrónica del MIT (Instituto de Tecnología de Massachusetts). Su equipo examinó el sistema visual de la rana. en vez de únicamente transmitir la imagen. en cierto sentido. descubriendo que el ojo proporciona al cerebro información que es. en consideración con el artículo de 1947.   . principalmente en modelado de Redes Neuronales. organizada e interpretada.

Murió en Cambridge en 1969.   . que discrepó con él llegando a llamarle charlatán. escribió poesía (sonetos) y diseñó edificios y un embalse para su granja de Old Lyme. A parte de sus contribuciones a la ciencia. Warren McCulloch tiene un notable rango de intereses y talentos.McCulloch (IV)  Conoció a Alan Turing. Conneticut.

1969 ) Nació en Detroit el 23 de Abril de 1923. Aprendió por su cuenta lógica y matemáticas y era capaz de leer en numerosos lenguajes.Pitts (I)       Walter Pitts ( 1923 . Matemático que trabajó en el campo de la psicología cognitiva. . Aparentemente escapó de su casa a los 15 años. incluyendo Griego y Latin.

  . Russell se mostró agradecido y le invitó a estudiar en el Reino Unido.Pitts (II)  Con 12 años pasó tres dias en una biblioteca leyendo ´Principia Mathematicaµ y mandó una carta a Bertrand Russell indicandole lo que él consideraba problemas serios en la primera mitad del primer volumen. Acudió a clases de la Universidad de Chicago. Obtuvo un trabajo en la universidad gracias a un filósofo alemán (Rudolf Carnap) al que le presentó su propio libro de lógica lleno de correcciones. sin inscribirse como estudiante. Pitts decidió estudiar lógica. Pitts por ese tiempo no tenía hogar ni ningún ingreso. Aunque esta oferta fue aparentemente rechazada.

Su primer encuentro. a principios de 1942.Pitts (III)     Más tarde Warren McCulloch llegó a la Universidad y. quien había perdido a su ´mano derechaµ. como la describida por Leibniz. con el que Pitts obtuvo una gran amistad en la universidad. En 1943. le presentó a Norbert Wiener en el MIT. que seguía sin hogar. Esto llevó a su determinante artículo de redes neuronales ´A Logical Calculus of Ideas Immanent in Nervous Activityµ. Pitts estaba familiarizado con el trabajo en informática de Gottfried Leibniz y consideraron la cuestión de si el sistema nervioso podía ser considerado un tipo de maquina de computación universal. parte del Proyecto de Energía Atómica. . a vivir con su familia. en el que estuvieron discutiendo el trabajo de Wiener.. En 1944 Pitts fue contratado por Kellex Corp. McCulloch y Pitts trabajaban juntos. fue tan bien que Pitts se trasladó a Boston para trabajar con Wiener. invitó a Pitts. Jerome Lettvin.

Pitts (IV)  En 1951 Wiener convenció a Jerry Wiesner para contratar algunos científicos del sistema nervioso. Rechazó todas las ofertas de graduados avanzados o posiciones oficiales en el MIT ya que tendría que firmar con su nombre. Lettvin. Pitts también es descrito como un excéntrico. Pitts escribió una larga tesis de las propiedades de las redes neuronales conectadas en tres dimensiones. negando que su nombre se hiciese público.   . Lettvin le describió como el genio del grupo. Un grupo fue estrablecido con Pitts. McCulloch y Pat Wall.

La formulación teórica de la actividad McCullochneuronal del cerebro es el legado permanente de Walter Pitts y Warren McCullch a las ciencias cognitivas. incluido Pitts. un aislamiento social del que nunca se recuperaría.   . Pitts quemó el manuscrito sobre las redes tridimensionales y prestó poco más interés en el trabajo. El modelo matemático de una neurona se llama actualmente la neurona de McCulloch-Pitts.Pitts (V)  Wiener inesperadamente se puso en contra de McCulloch. y separó las relaciones con cualquiera que estubiese relacionado con él. a cuenta de su mujer que odiaba a McCulloch. Pitts murió en 1969. Esto empujó a Pitts a un ´suicidio cognitivoµ. La única excepción fué una colaboración con Robert Gesteland que produjo un artículo sobre el olfato.

y una sola salida Sj. del que se basan las redes neuronales actuales. La cantidad calculada como la suma del producto de cada entrada multiplicada por su respectivo peso se denomina activación de la neurona xj. Es decir: xj = Si*wij + Qj Sj = f(xj) Donde el término Qj es un valor umbral y f(xj) es una función de la activación de la neurona.La Neurona McCulloch-Pitts (I) McCulloch McCulloch y Pitts propusieron en 1943 uno de los primeros modelos matemáticos de una neurona. En este modelo. cada neurona consta de un conjunto de entradas. Si. La salida Sj de la neurona es una función de la activación de ésta. Cada entrada i está afectada por un coeficiente que se denomina peso y que se representa por wij. y el subíndice j que se trata de la neurona j. El subíndice i refleja que el peso afecta a la entrada i.    .

y existen otras de tipo lineal puro. . entre otras. y sigmoidea. lineal con umbral. que utiliza la siguiente función de salida: Sj=0 Sj=1 si xj < h si xj>=h donde la constante h se denomina umbral. salida de tipo binaria.La Neurona McCulloch-Pitts (II) McCulloch-  Una de las primeras arquitecturas neuronales donde se aplica es el Perceptrón. Esta es una función de umbral.

En la práctica. aprendizaje. Estas reglas son ecuaciones expresadas en función de las entradas y salidas de las neuronas y describen la forma de variación de los pesos. Esta es la característica que diferencia a una red neuronal de una máquina algorítmica clásica: una red neuronal no se programa. son el instrumento empleado por las neuronas para adaptarse a la información que se le presenta.La Neurona McCulloch-Pitts (III) McCulloch En este modelo tan sencillo puede verse que la activación de la neurona depende del valor que tomen los pesos y las entradas.   . los pesos de las neuronas se modifican sometiendo a la red a un entrenamiento. de forma que la variación de éstos origina distintas salidas para la misma entrada a la neurona. se «educa». permitiendo que la red realice una función determinada. En definitiva. La red es capaz de retener y asociar el conocimiento a través de la adaptación de los pesos de las neuronas siguiendo una regla de aprendizaje.

   Una de las primeras reglas de aprendizaje fue propuesta por Donald Hebb en 1949. Esta se basa en un hecho biológico constatado: cuando dos neuronas se activan simultáneamente su conexión se refuerza. La red es capaz de ajustar los pesos de las neuronas de forma que a la presentación posterior de esos patrones de entrada la red responde con salida memorizada.La Neurona McCulloch-Pitts (IV) McCulloch El aprendizaje de una red se puede producir de tres formas:  Aprendizaje supervisado: consiste en introducir una serie de patrones de supervisado: entrada a la red y a su vez mostrar la salida que se quiere tener.  . Aprendizaje autosupervisado: la propia red corrige los errores en la autosupervisado: interpretación empleando una realimentación. Aprendizaje no supervisado: se presentan los patrones de entrada a la red supervisado: y ésta los clasifica en categorías según sus rasgos más sobresalientes.

en 1949. los verdaderos avances en neurología se produjeron a partir de la segunda mitad del siglo XIX. . Donald Hebb presentaba su conocida regla Behavior.Historia Redes Neuronales (I)  Partiendo de que las redes neuronales se fundamentan en el sistema nervioso humano deberíamos remontarnos a los tiempos de Galeno en los que ya se tenía un conocimiento considerable de éste. Sin embargo. de aprendizaje.  Fue en 1943 cuando Warren McCulloch y Walter Pitts propusieron el clásico modelo de neurona en el que se basan las redes neuronales actuales. Investigadores ilustres de esta época son Jackson. en su libro The Organization of Behavior. Seis años después. Ramón y Cajal y Golgi entre otros.

la red «es capaz» de responder adecuadamente cuando se le vuelven a presentar los patrones de entrada. neuronal con aprendizaje supervisado cuya regla de aprendizaje era una modificación de la propuesta por Hebb. se realiza en dos fases: una primera en la que se presentan las entradas y la salidas deseadas. en esta fase la red aprende la salida que debe dar para cada entrada. de operación. La principal aportación del Perceptron es que la adaptación de los pesos se realiza teniendo en cuenta el error entre la salida que da la red y la salida que se desea. En la fase siguiente. y su funcionamiento. que posteriormente se tornaron en gran decepción cuando en 1969 Minsky y Papert demostraron las grandes limitaciones de esta red.Historia Redes Neuronales (II)  En 1957. una red Perceptron. Frank Rosenblatt presentó el Perceptron. por tratarse de una red supervisada. El Perceptron trabaja con patrones de entrada binarios.   . Se crearon grandes expectativas sobre sus aplicaciones.

Sin embargo.   . Se define una función error para cada neurona que da cuenta del error cometido para cada valor posible de los pesos cuando se presenta una entrada a la neurona. la regla de aprendizaje empleada es distinta. al igual que en el Perceptron. En estos. Así. la adaptación de los pesos se realiza teniendo en cuenta el error. la regla de aprendizaje hace que la variación de los pesos se produzca en la dirección y sentido contrario del vector gradiente del error.Historia Redes Neuronales (III)  En los años 60 se propusieron otros dos modelos. también supervisados. calculado como la diferencia entre la salida deseada y la dada por la red. Madaline. basados en el Perceptron de Rosenblatt denominados Adaline y Madaline. A esta regla de aprendizaje se la denomina Delta.

La diferencia entre ambas constituye un error que se propaga hacia atrás desde la capa de salida hasta la de entrada permitiendo así la adaptación de los pesos de las neuronas intermedias mediante una regla de aprendizaje Delta. Gaudiano y Grossberg.     . La contribución de Minsky y Papert fue la de demostrar que una red del tipo Perceptron no es capaz de aprender todas las posibles combinaciones entre entradas y salidas. La solución del problema consiste en añadir capas intermedias de neuronas.Historia Redes Neuronales (IV)  La era moderna de las redes neuronales artificiales surge con la técnica de aprendizaje de propagación hacia atrás o Back Propagation. entre otros. Posteriormente se han desarrollado otros modelos que permiten un aprendizaje no supervisado como el mapa auto-organizativo de Kohonen. Propagation. Sin embargo. los basados en la autoTeoría de Resonancia Adaptativa (ART) de Grossberg y Carpenter. Aquí es donde tiene importancia el algoritmo de propagación hacia atrás. también tiene sus limitaciones. o los modelos de control motor de Bullock. introduciendo de esta forma el problema de cómo enseñar a estas capas intermedias. En éste se compara la salida real con la salida deseada.

MIT Encyclopedia of Cognitive Science. (http://cognet. Warren S. (1965).wikipedia. Anderson and Edward Rosenfeld. MIT Press.edu/MITECS/Entry/lettvin1) . Embodiments of Mind. Walter. 1998.org McCulloch. The interview with Jerome Lettvin discusses Walter Pitts. Mind. MA. Cambridge.Referencias (I)     http://www. Talking Nets: An Oral History of Neural Networks.mit. Pitts. Edited by James A.

IEEE. 1. B. no 9." Proc. MA: MIT Press) Novikoff. and Backpropagation. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. pp.Referencias (II) PERCEPTRÓN:       Freund. 12. Madaline. ACM Press. 1415-1442. pp. 179Rosenblatt. Lehr. 1998. In Proceedings of the 11th Annual Conference on Computational Learning Theory (COLT' 98). Polytechnic Institute of 615Brooklyn. S. v65. A. Perceptron-based learning algorithms. No. IEEE Transactions Perceptronon Neural Networks. pp. 386-408. vol 78. 386Minsky M L and Papert S A 1969 Perceptrons (Cambridge. Psychological Review. "30 years of Adaptive Neural Networks: Peceptron. B. On convergence proofs on perceptrons. M. Gallant. (1990). Y. R. Large margin classification using the perceptron algorithm.. Cornell Aeronautical Laboratory. (1962). Symposium on the Mathematical Theory of Automata. no. and Schapire. 1415(1990).A. Widrow. 6. 615-622. vol. Frank (1958). 2.. E. . 179-191. I. IEEE.

Activity. Jerome Lettvin and Walter Pitts. forms.Referencias (III)  Introducción a las redes neuronales artificiales. and P. Reflex inhibition by dorsal root interaction. 5:115Warren McCulloch and Walter Pitts. Epilepsia Series 3. 525- . D.html) PUBLICACIONES: PUBLICACIONES:        Warren McCulloch and Walter Pitts. 4:29Jerome Lettvin. 1943. P. Anatomy and physiology of vision in the frog. D.uva. What the Frog's Eye Tells the Frog's Brain.es/login/login/13/redesn. Warren McCulloch. 43:129--175 frog. Journal of Neurophysiology 18:1-17. Jerome Lettvin and Walter Pitts. 19401959 Humberto Maturana. Jerome Lettvin. 1947. 4:29-40. 181. 18:1Wall. Bulletin of Mathematical Biophysics 5:115-133. On how we know universals: The perception of auditory and visual forms. A Logical Calculus of Ideas Immanent in Nervous Activity. fibres. J. and Walter Pitts. Humberto Maturana. Effects of strychnine with special reference to spinal afferent fibres.. 1959. Warren McCulloch. 525-529. 1955. 1955. 1960.Physiol. Jerome Lettvin. Alfredo Catalina Gallego. Warren McCulloch. interaction. 43:129--175 Robert Gesteland. 9:127Howland. 1965. Frog. (www. R. Wall. Bulletin of Mathematical Biophysics 9:127-147. Proceedings of the Institute of Radic Engineers 47: 1940Brain. Journal of General Physiology. Warren McCulloch. Walter Pitts.gui.. and Walter Pitts. artificiales. Chemical Transmission in the Nose of the Frog.

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->