Ecuaciones redes neuronales

ssandovalv
August 2021

Función sigmoide

1
G(z) =
1 + e−z
Forma de la neurona

ŷ = σ(wT x + b)

Función de pérdida

L (ŷ, y) = − (y log(ŷ) + (1 − y) log(1 − ŷ))

Tomada de
1
L (ŷ, y) = (ŷ − y)2
2

Función de costo
m m
1 X 1 X h (i) i
J(w, b) = L (ŷ , y ) = −
(i) (i) (i) (i) (i)
y log(ŷ ) + (1 − y ) log(1 − ŷ )
m i=1 m i=1

Actualización de los parámetros

dJ(w, b)
w =w−α
dw
dJ(w, b)
b=b−α
db

Derivada dz
dL
dz = =a−y
dz
1