Loja, 04 de Mayo del 2023 FEIRNNR

Human Perception in Computer Vision

Funciones
de Activación
dia nt e .
Estu r ie l
Docente: tia n Ga b
C ris le z
Roberth Gustavo Figueroa Diaz e G o nz á
Ag u ir r
 Que es una Función de Activación

A la salida de la neurona, puede existir, un filtro, función

limitadora o umbral, que modifica el valor resultado o
impone un límite que se debe sobrepasar para poder
proseguir a otra neurona

Es, por tanto, una función que transmite la información generada por la combinación lineal de
los pesos y las entradas, es decir son la manera de transmitir la información por las conexiones
de salida.

La información puede transmitirse sin modificaciones, función identidad, o bien que no

transmita la información.
 Cuál es su objetivo?

Importancia

Que la red neuronal sea capaz de resolver

problemas cada vez más complejos, harán
que los modelos sean no lineales.
 Tipos de Funciones

Función de Activación Lineal:

Ya no usadas en Deep learning

Su linealidad acota así la activación de
la neurona

Función de Activación no Lineal:

En redes neuronales
Permiten un acotamiento en datos de
salida
 Que hace una Función de Activación

Toma la señal de salida de la celda anterior y la convierte en alguna forma que pueda
tomarse como entrada para la siguiente celda.
 Función Sigmoide
1

Función Tangente hiperbólica o

2 Gaussiana

Funciones 3 Función RELU (Rectified Lineal Unit)

más usadas 4 Leaky-ReLU

5 Función Swish

6 Función Mish
Históricamente Función de Activación de Heaviside

La función de Heaviside (o también función

escalón) fue la primera en ser utilizada.

Se trata de una función binaria, cuyo valor es 0 hasta

llegar a un determinado umbral, y 1 a partir del mismo.

Recibe su nombre del ingeniero Oliver

Heaviside, que utilizó esta función para
modelizar los pulsos de corriente
generados por las pulsaciones de un
telégrafo.
 Históricamente
Hicieron también uso de ella en su pionero
trabajo de 1943. Presentaron un modelo de
actividad neuronal binario, en el que cada
célula sólo podía encontrarse en dos estados:

apagada
encendida

El trabajo presentaba un nuevo modelo de lógica binaria, al que sus creadores

denominaron lógica de umbral (threshold logic): las excitaciones recibidas por cada
neurona se sumaban, y si la suma total alcanzaba un determinado umbral, la
neurona se activaba. En caso contrario, la neurona permanecía en reposo.
Función Sigmoide

Existe entre (0 a 1)

Se usa especialmente para modelos en los que tenemos que

predecir la probabilidad como un resultado
Función Gaussiana

Existe entre [-1 , +1]

Función continua, produciendo resultados para cada valor de X

Función RELU (Rectified Lineal Unit)

Utilizada en casi todas las redes neuronales convolucionales o el

aprendizaje profundo.
Usada en las capas ocultas de tal red.
Leaky-ReLU

Capaz de manejar los valores negativos bastante bien, pero aún

presenta no linealidad.
Función Swish

No monótona, iguala o supera

constantemente a ReLU en redes
profundas aplicadas como:
Clasificación de imágenes
Traducción automática
Es ilimitado arriba y acotado abajo y es el
atributo no monótono el que realmente crea
la diferencia.
Función MISH

Función de activación no Tiende a igualar o mejorar el rendimiento de las

monotónica autorregulada
inspirada en la propiedad de
activación automática de Swish
arquitecturas de redes neuronales en
comparación con Swish, ReLU y Leaky ReLU a
través de diferentes tareas en Computer Vision