PAQUETE” NEURALNET”

• Por defecto cuando añado el paquete “neuralnet” se despliega =

(formula, data, hidden(paquete de neuronas, en el ejmpl anterior solo
hay 1 de 5 neuronas) =1, threshold(índice de error)=0,01,
stepmax(etapa máxima de aprendizaje o entreamiento)=1e+05, rep=1,
startweights=NULL(son los pesos iniciales, NUll es cuando es Random),
learningrate.limit=NULL, learningrate.factor=list(minus=0.5, plus=1.2),
learningrate=NULL, lifesign=”none”,
lifesign.step=1000,algorithm=”rprop+”, err.fct(error cuadrático
medio)=”sse”, act.fct =”logistic”, linear.outpot(cuando la salida que
queremos lineal es True pero si queremos simoidal es FALSE)=TRUE,
exclude=NULL, constant.weig=NULL, ___)
• Un sistema neuronal se puede parar por dos formas: colocarle muchas
etapas de entramiento o cuando no analiza el error y sigue.
• Mientras la tasa de aprendizaje es más pequeña, la red es más lenta o
sea que hay más aprendizaje.
• ~ (es la relación que tiene los valores: donde h~p+v) humedad es igual a
presión mas volumen.
• PARA ARREGLAR LA RED NEURONAL Y BAJAR EL INDICE DE ERROR
DEBEMOS NORMALIZAR LA DATA= quiere decir dividirlo entre el
número mayor. En R solo se necesita colocar un código para normalizar.
(los que están en rojo osea los que se escogieron de manera aleatoria es
un 30%)
• PARA VALIDAD LA RED NO ES NECESARIO NORMALIZAR LOS
RESULTADOS (Y1) ES DECIR LAS PREDICCIONES LOS QUE SE ESCOGIERON
30% , YA QUE SE DEBERIA NORMALIZAR TODOS.
 CLASE 6: REDES NEURONALES ARTIFICIALES
1. Machine Learning o Aprendizaje Automático: es una
disciplina del campo de la Inteligencia Artificial que, a
través de algoritmos, dota a los ordenadores de la
capacidad de identificar patrones en datos masivos y
RELU SIGMOIDE TANGENTE
elaborar predicciones.
2.4. Función de coste o loss function: cuantificar la distancia entre el valor real y el valor
*Recordar: a IA es la capacidad de las máquinas de mostrar habilidades y comportamientos predicho por la red, en otras palabras, mide cuánto se equivoca la red al realizar
“inteligentes”, mientras que el ML es la técnica que se utiliza para mejorar esas capacidades predicciones
2. Redes neuronales ➢ Para una regresión: error cuadratico medio o error absoluto medio
2.1. Neuronas: es la unidad funcional de los modelos de redes ➢ Para clasificación: log loss, también llamada logistic loss o cross-entropy loss
- ENTRADA 3. Capa única o SINGLE-LAYER PERCEPTRON: solo es capaz de aprender patrones sencillos
➢ Valores de entrada (x1, x2, …) 4. Multicapa o MULTILAYER PERCEPTRON (MLP): puede considerarse como el primer modelo
➢ Pesos (w1, w2, …) de deep learning.
➢ Bias o sesgo (b) =1, pero ➢ Consta de varias capas
puede cambiarse ocultas.
- INTERMEDIO o NEURONA ➢ Todas las neuronas que
➢ Sumatoria: forman parte de una misma
𝑛
NUERONA capa suelen emplear la misma
𝑒𝑛𝑡𝑟𝑎𝑑𝑎 = ∑ 𝑥𝑖 𝑤𝑖 + 𝑏 función de activación.
𝑛=𝑖 4.1. Entrenamiento: consiste en
➢ Función de activación:
ajustar el valor de los pesos
f(sumatoria)
y bias de tal forma que, las
- SALIDA (y1)
predicciones que se generen,
2.2. Estructura Neuronal
tengan el menor error
✓ La capa de entrada o input layer y
posible
recibe los datos en bruto, es decir,
1) Iniciar la red con valores aleatorios de los pesos y bias.
el valor de los predictores.
2) Para cada observación de entrenamiento, calcular el error que comete la red al
✓ La capa oculta o hidden layer,
hacer su predicción. Promediar los errores de todas las observaciones.
recibe los valores de la capa de
3) Identificar la responsabilidad que ha tenido cada peso y bias en el error de las
entrada, ponderados por los pesos
predicciones.
(flechas grises).
4) Modificar ligeramente los pesos y bias de la red (de forma proporcional a su
✓ La última capa, llamada output
responsabilidad en el error) en la dirección correcta para que se reduzca el error.
layer, combina los valores que
5) Repetir los pasos 2, 3, 4 y 5 hasta que la red sea suficientemente buena.
salen de la capa intermedia para
generar la predicción.
2.3. Función de activación para modelo no lineal
✓ ReLu (Rectified linear unit): aplica una transformación no lineal muy simple,
activa la neurona solo si el input está por encima de cero. ReLU(x)=max(x,0)
✓ Sigmoide: transforma valores en el rango de (-inf, +inf) a valores en el rango (0,
1).
✓ Tangente hiperbólica (Tanh): se comporta de forma similar a la función sigmoide,
pero su salida está acotada en el rango (-1, 1).
 PRÁCTICA 6
1. Package “Neuralnet”
1.1. Descripción:
• Resolver problemas de aprendizaje supervisado. Proporciona una interfaz sencilla
y flexible para construir y entrenar modelos de redes neuronales, lo que permite
explorar y modelar datos con complejidades no lineales.
• Ofrece métodos para construir y entrenar redes neuronales con diferentes
configuraciones de capas y funciones de activación. Permite personalizar el
número de neuronas en cada capa, la función de activación utilizada en cada
neurona, así como el algoritmo de entrenamiento y los criterios de parada.
1.2. Uso:
neuralnet(formula, data, hidden = 1, threshold = 0.01,
stepmax = 1e+05, rep = 1, startweights = NULL,
learningrate.limit = NULL, learningrate.factor = list(minus = 0.5,
plus = 1.2), learningrate = NULL, lifesign = "none",
lifesign.step = 1000, algorithm = "rprop+", err.fct = "sse",
act.fct = "logistic", linear.output = TRUE, exclude = NULL,
constant.weights = NULL, likelihood = FALSE)
DONDE,
• formula: descripción simbólica del modelo a ajustar.
• data (datos): un marco de datos que contiene las variables especificadas en la
fórmula.
• Hidden (oculto): un vector de números enteros que especifica el número de
neuronas ocultas (vértices) en cada capa.
• Threshols (umbral): un valor numérico que especifica el umbral para las derivadas
parciales del error funciona como criterios de parada.
• stepmax : los pasos máximos para el entrenamiento de la red neuronal. Alcanzar
este máximo conduce a una detención del proceso de entrenamiento de la red
neuronal.
• Rep: el número de repeticiones para el entrenamiento de la red neuronal.
• Startweights: un vector que contiene valores iniciales para los pesos. Establecer en
NULL para aleatorio
• Learningrate.limit (inicialización límite de tasa de aprendizaje): un vector o una lista
que contiene el límite más bajo y más alto para la tasa de aprendizaje. Usado solo
para RPROP y GRPROP.
• Learningrate.factor (factor.tasa.aprendizaje): un vector o una lista que contiene los
factores de multiplicación para la parte superior e inferior
• Learningrate (tasa de aprendizaje): Usado solo para RPROP y GRPROP
• Lifesign.step: un entero que especifica el tamaño de paso para imprimir el umbral
mínimo en lifesign completo modo.
• Alogithm (algoritmo): una cadena que contiene el tipo de algoritmo para calcular la
red neuronal. Son posibles los siguientes tipos: 'backprop', 'rprop+', 'rprop-', 'sag' o
'slr'. 'backprop' se refiere a la retropropagación, 'rprop+' y 'rprop-' se refieren a la
retropropagación resiliente con y sin retroceso del peso, mientras que 'sag' y 'slr'
inducen el uso del algoritmo globalmente convergente modificado (grprop). Ver
detalles para más información.
• err.fct: una función diferenciable que se utiliza para el cálculo del error.
Alternativamente, las cadenas 'sse' y 'ce' que representan la suma de los errores al
cuadrado y se puede utilizar la entropía cruzada.
• act.fct: una función diferenciable que se utiliza para suavizar el resultado del
producto cruzado de la covariable o neuronas y los pesos. Además, las cuerdas,
'logística' y 'tanh' son posibles para la función logística y la tangente hiperbólica.
• Linar.output (salida.lineal) lógica. Si no se debe aplicar act.fct a las neuronas de
salida, establezca la salida lineal en TRUE, en caso contrario a FALSE.
1.3. Detalles
El algoritmo globalmente convergente se basa en la propagación hacia atrás
resistente sin retroceso de peso y, además, modifica una tasa de aprendizaje, ya sea
la tasa de aprendizaje asociada con el gradiente absoluto más pequeño (sag) o la tasa
de aprendizaje más pequeña (slr) en sí. Las tasas de aprendizaje en el algoritmo
grprop está limitado a los límites definidos en learningrate.limit.
1.4. Ver también
• plot.nn para trazar la red neuronal.
• gwplot para trazar los pesos generalizados.
• predict.nn para el cálculo de una red neuronal dada para vectores de covariables
dados (anteriormente computar).
• confidencia.interval (confianza.intervalo) para el cálculo de los intervalos de
confianza de los pesos.
• prediction (predicción) para un resumen de la salida de la red neuronal.
2. Red Neuronal Arficial: feedforward y backpropagation
✓ Feedforward (retroalimentación) hacia adelante
✓ Backpropagation (hacia atrás)
EJEMPLO: tipeado en R:
Se muestra una red neuronal muy básica de 2 capas. A continuación, se muestra un
diagrama de la red
PESOS 1 PESOS 2
Capa entrada Capa salida
Capa oculta
 Gráfico de los vs iteration CLASE 7: BACKPROPAGATION

1. Backpropagation
2. Descenso de gradiente
3. Modo de entranmiento
4. Propagación de errores
5. Preprocesado
6. Binarización de las variables categóricas
7. Estandarización y escalado de variables numéricas
3. Introducción RNA: importación base de datos 8. Hiperparámetros
9. Numero y tamaño de capas
10. Tasa de aprendizaje (learningrate)
11. Algoritmo de optimización
12. Regulación
13. Dropout
14. Algoritmo de aprendizaje de redes multicapa

4. Predicción empleando R Studio (Aplicación básica)