Análisis y cálculo de probabilidades logarítmicas

Generador de textos con Transformers

Probabilidad
Parámetro Valor Efecto
logarímica
Temperatura 2 -749,14 A mayor temperatura incrementan palabras inventadas
Temperatura 0,75 -143,8 Mejora la sintaxis; se mejora la probabilidad logarítmica
Top k 200 -171,16 Se pierde el sentido de las frases
Top k 10 -139,99 Mejora el sentido y sintaxis; mejora la probabilidad logarítmica
Top p 0,5 -108,26 Baja top p, buen sentido del texto, mejora la probabilidad logarítmica
Top p 50 -182,26 Disminuye el sentido del texto, disminuye la probabilidad logarítmica

Análisis

La temperatura, al incrementar causa que se incrementen las palabras inventadas, se pierda el sentido del texto
y disminuya la probabilidad logarítmica. Una baja temperatura mejora el sentido del texto e incrementa la
probabilidad logarítmica. Por otro lado, top k tiene un efecto similar alternativo a la temperatura, donde valores
bajos mejoran el sentido del texto y valores altos hacen que se pierda. Similar a lo que ocurre con top k, ocurre