17/9/2019 ¿Determinando el sesgo para los perceptrones de la red neuronal?

¿Determinando el sesgo para los perceptrones de la red neuronal?

Esto es una cosa en mi comienzo de entender las redes neuronales. ¿No entiendo muy bien en qué establecer inicialmente un
"sesgo"? Entiendo que Perceptron calcula que su salida se basa en:

P*W+b>0

y luego podrías calcular un patrón de aprendizaje basado en b = b + [G - O] donde G es la Salida Correcta, y O es la Salida real (1 o
0) para calcular un nuevo sesgo ... pero ¿qué pasa con una inicial? parcialidad ... Realmente no entiendo cómo se calcula esto, o qué
valor inicial se debe usar además de solo "adivinar", ¿hay algún tipo de fórmula para esto?

Perdonen si me equivoco en algo, todavía estoy aprendiendo toda la idea de la red neuronal antes de implementar mi propia
(mala).

Lo mismo aplica para la tasa de aprendizaje ... Me refiero a la mayoría de los libros y simplemente "escoge uno" para μ.

agregado 26 Abril 2011 en el 09:43 el autor user475353 Puntos de vista: 20 fuente

RO RU FR PT DE ZH HI BN AR

2 Respuestas

The short answer is, it depends...

1) En la mayoría de los casos (creo) puede tratar el sesgo como cualquier otro peso (para que pueda inicializarse a un pequeño
valor aleatorio), y se actualizará a medida que entrene su red. La idea es que todos los sesgos y pesos terminen convergiendo en
algún conjunto útil de valores.

2) Sin embargo, también puede establecer los pesos manualmente (sin entrenamiento) para obtener algunos comportamientos
especiales: por ejemplo, puede usar el sesgo para hacer que un perceptrón se comporte como una puerta lógica (suponga que las
entradas binarias X1 y X2 son 0 o 1, y la función de activación se escala para dar una salida de 0 o 1).

O puerta: W1 = 1, W2 = 1, Bias = 0

AND gate: W1 = 1, W2 = 1, Bias = -1

Puede resolver el clásico problema de XOR utilizando Y y O como la primera capa en una red multicapa, y alimentarlos a un tercer
perceptrón con W1 = 3 (desde la puerta OR), W2 = -2 (desde la puerta AND) y Bias = -2, como este:

(Nota: estos valores serán diferentes si su función de activación se escala a -1/+ 1, es decir, una función SGN)

3) En cuanto a cómo establecer la tasa de aprendizaje, eso también depende (!) Pero creo que generalmente se recomienda algo
como 0.01. Básicamente, usted quiere que el sistema aprenda lo más rápido posible, pero no tan rápido como para que los pesos
no converjan adecuadamente.

agregado 27 Abril 2011 en el 04:48 el autor Richard Inglis fuente

Gracias por tu excelente explicación.

https://es.switch-case.com/52499630 1/3
17/9/2019 ¿Determinando el sesgo para los perceptrones de la red neuronal?

agregado 27 Abril 2011 en el 07:58, el autor user475353, fuente

Como @Richard ya ha respondido la mayor parte de la pregunta, solo detallaré la tasa de aprendizaje. Por lo que he leído (y está
funcionando) hay una fórmula muy simple que puedes usar para actualizar la tasa de aprendizaje para cada iteración k y es:

learningRate_k = constante/k

Aquí, obviamente, la 0ª iteración está excluida ya que se dividirá por cero. La constante puede ser lo que quieras que sea (excepto 0,
por supuesto, ya que no tendrá ningún sentido: D) pero la más fácil es naturalmente 1, así que obtienes

learningRate_k = 1/k

La serie resultante obedece a dos reglas básicas:

lim_(t->inf) SUM from k=1 to t (learningRate_k) = inf

lim_(t->inf) SUM from k=1 to t (learningRate_k^2) < inf

Tenga en cuenta que la convergencia de su perceptron está directamente conectada a la serie de velocidad de aprendizaje.
Comienza en grande (para k = 1 obtienes 1/1 = 1) y se vuelve más y más pequeño con cada actualización de tu perceptrón ya que,
como en la vida real, cuando te encuentras con algo nuevo al principio aprendes mucho, pero luego aprendes cada vez menos

agregado 02 Febrero 2015 en el 08:13 el autor rbaleksandar fuente

Tecnología Información (3 100 508) Matemáticas (21 297) Gestión de sistemas de (13 340)

Administradores de servidor (11 779) Ubuntu (11 285) Videojuegos y plataformas (9 498)

Unix y Linux (9 443) Desarrolladores de sistemas (9 384) Electrónica e ingeniería eléctrica (9 235)

Apple (9 155) Investigación en Física (9 102) Game master y jugadores (9 089)

Preguntas sobre el texto (8 922) Universidades y educación (8 876) Amantes de la fantasía (8 761)

Seguridad del sistema operativo Android (8 737) Contratistas y agentes (8 666) Vista de código (8 619)

Magento e-Commerce (8 520) Desarrolladores web (8 510) Educación financiera (8 509)

Juegos profesionales e independientes (8 446) Drupal (8 430) Miembros de la fuerza de trabajo en el entorno profesional…

Viajes y turismo (8 391) Wolfram Mathematica (8 390) Mapas de geografía y gis (8 302)

Usuarios y expertos (8 302) SharePoint (8 293) Android (8 293)

SalesForce (8 284) Raspberry Pi (8 253) Matemáticos profesionales (8 242)

WordPress (8 241) Profesionales en diseño gráfico (8 235) Administración de la base (8 207)

Análisis de datos y estadísticas (8 201) Ingenieros de red (8 189) Fotógrafos profesionales (8 108)

Investigadores y practicantes de computadoras (8 070) Chefs profesionales y aficionados (8 054) Ciencia del procesamiento de señales, imágenes y video (8 …

Diseñadores para ExpressionEngine® CMS (8 013) Campo financiero y académicos (8 006) Mecánica: automóviles y motocicletas (7 993)

Informática teórica (7 957) El campo de la ciencia de datos (7 954) Recomendaciones de software específicas (7 939)

Diseñando juegos de mesa (7 936) Entusiastas aeronáuticos y mecánicos (7 935) Arduino (7 853)

Práctica y teoría para músicos (7 839) Aplicaciones web (7 836) Jardinería y paisajismo (7 828)

Licuadora de gráficos 3D (7 801) Historiadores y apasionados por la historia (7 794) Anime y manga fanáticos (7 738)

Científicos (7 737) Ciclismo y reparación de bicicletas (7 711) Ciencia, geografía para construir mundos y escenarios ima…

Entusiastas de la película y la televisión (7 658) Usuarios y desarrolladores de Emacs (7 609) Desarrolladores y diseñadores de Craft CMS (7 587)

Investigadores en biología (7 508) Ingenieros de sonido, productores, editores y entusiastas (7… Operadores de naves espaciales (7 462)

Aptitud (7 258) Crea, resuelve y estudia rompecabezas (7 255) CiviCRM Linking Management Administrators (7 201)

Control de calidad y pruebas de software (7 086) Computadoras para resolver problemas científicos (7 013) El estudio fundamental de la naturaleza (6 977)

Escritura técnica, científica y comercial (6 664) Economía y Econometría (6 576) Ingeniería (6 512)

Bolsa de Astronomía (6 296) La familia vi y Vim de editores de texto (6 132) Desarrolladores y administradores de Tridion (5 998)

Editores de video y creación de medios (5 955) Usuarios del sistema y aplicaciones elementales (5 594) joomla (5 500)

Entusiastas del rompecabezas y golfistas (5 200) Desarrolladores que exploran los principios de un sistema, … Gerentes de proyecto (4 502)

Actividades deportivas individuales y en equipo (4 300) Desarrolladores e investigadores abren datos (4 299) Ingenieros de robots de ingeniería profesional (4 199)

Jugadores de ajedrez serios y entusiastas (4 186) Geología, meteorología, oceanografía (3 896) Recomendaciones específicas de hardware (2 261)
https://es.switch-case.com/52499630 2/3
17/9/2019 ¿Determinando el sesgo para los perceptrones de la red neuronal?

Vislumbrar problemas de la vida cotidiana con trucos simpl… Historiadores, críticos y fanáticos de la música (2 025) Organización de proyectos de código abierto (1 989)

Acerca de la vida en entornos puramente digitales (1 935) Desarrolladores de software de gráficos (1 922) mejorar las habilidades de comunicación interpersonal (1 91…

Trabajadores autónomos (1 554) Entusiastas de la impresión en 3D (1 531) Ingenieros de software (1 524)

Lectores de libros electrónicos (1 157) Producción y consumo de café (922) ingenieros, en el campo de las computadoras (402)

https://es.switch-case.com/52499630 3/3