Definición de descenso del gradiente (Al menos 3 diferentes)

Definición 1:

El descenso de gradiente es un algoritmo que estima numéricamente dónde

una función genera sus valores más bajos. Eso significa que encuentra
mínimos locales, pero no al establecer como hemos visto antes.
En lugar de encontrar mínimos manipulando símbolos, el descenso de
gradiente aproxima la solución con números. Además, todo lo que necesita
para ejecutarse es la salida numérica de una función, no requiere ninguna
fórmula (Khan Academy, 2021).

Definición 2:

El descenso de gradiente es un algoritmo de optimización que se usa

comúnmente para entrenar modelos de machine learning y redes
neuronales. Los datos de entrenamiento ayudan a que estos modelos
aprendan con el tiempo, y la función de costo dentro del descenso de
gradiente actúa específicamente como un barómetro, midiendo su precisión
con cada iteración de actualizaciones de parámetros. Hasta que la función
sea cercana o igual a cero, el modelo continuará ajustando sus parámetros
para producir la menor cantidad de errores posible (IBM, 2022).

Características:

 Iterativamente toma pasos en dirección contraria al gradiente para

encontrar mínimos locales.
 Se utiliza en la actualización de parámetros en algoritmos de ML.
 Imagina una función f(x, y) que representa un terreno montañoso en un
mapa de altura.
 El gradiente evaluado en cualquier punto indica la dirección del ascenso
más pronunciado o el descenso más pronunciado.
 Estima numéricamente dónde una función alcanza sus valores más bajos.
 Encuentra mínimos locales sin necesidad de establecer ∇ f = 0 (como en
otros métodos).
 Aproxima la solución mediante cálculos numéricos.

Uso que tiene dentro de ML:

1. Aprendizaje de parámetros en redes neuronales:

 En las redes neuronales, cada conexión sináptica (peso) tiene un
valor asociado.
 Durante el entrenamiento, el descenso de gradiente actualiza estos
pesos en función del gradiente de la función de pérdida con respecto
a los pesos.
 Esto permite que la red aprenda a representar patrones en los datos
y mejore su capacidad de predicción.

2. Ajuste de hiperparámetros:
 Además de los parámetros del modelo (como los pesos en una red
neuronal), existen hiperparámetros que afectan el proceso de
entrenamiento.
 Ejemplos de hiperparámetros son la tasa de aprendizaje, el tamaño
de él y el número de capas ocultas en una red neuronal.
 Utilizamos el descenso de gradiente para encontrar los valores
óptimos de estos hiperparámetros al minimizar la función de pérdida
en un conjunto de validación.
 Ejemplo

La tasa de aprendizaje

Este se usa para mostrar la tasa de aprendizaje de un hiperparámetro,

determina a qué velocidad deben de modificarse los pesos sinápticos de la
neurona durante cada iteración. Cuanto mayor sea esta tasa, mayor será la
alteración del comportamiento de la red cada vez que se actualicen los pesos.
Suele oscilar entre 00 y 11. El objetivo de este aprendizaje es que la neurona
estabilice sus pesos sinápticos a un valor concreto.
Red neuronal de perceptrón simple que solucione compuerta lógica OR

 Abstracción de la clase neurona (declarar atributos y métodos para su

correcto funcionamiento).

 Utilización de una tasa de aprendizaje.

 Cálculo del error.
Referencias
Abril, R. R. (28 de Junio de 2020). El descenso del gradiente. Recuperado el 30 de Marzo
de 2024, de https://lamaquinaoraculo.com/deep-learning/el-descenso-del-
gradiente/
IBM. (12 de Mayo de 2022). ¿Qué es el descenso de gradiente? Recuperado el 1 de Abril
de 2025, de https://www.ibm.com/mx-es/topics/gradient-descent
Khan Academy. (20 de Marzo de 2021). Descenso de gradiente. Obtenido de
https://es.khanacademy.org/math/multivariable-calculus/applications-of-
multivariable-derivatives/optimizing-multivariable-functions/a/what-is-gradient-
descent
Ortega Candel, J. M. (2022). Big data, machine learning y data science en Python: (1 ed.).
RA-MA Editorial. https://elibro.net/es/lc/bidigecest/titulos/230290
Bobadilla, J. (2020). Machine Learning y Deep Learning: Usando Python, Scikit y
Keras: (1 ed.). RA-MA Editorial. https://elibro.net/es/lc/bidigecest/titulos/222698