Documentos de Académico
Documentos de Profesional
Documentos de Cultura
𝑤 𝑥̌ = 𝑤 𝑥 + 𝑤 𝑛
Función de activación
Figura. Función de activación sigmoidea
𝜂 = 𝜖𝑠𝑖𝑔𝑛(𝛻𝑥 𝐽(𝜃, 𝑥, 𝑦) ()
RED INCEPTION V3
RED INCEPTIONRESNET V2
Precisión de Precisión de
Pérdidas de Pérdidas de Precisión de Pérdidas de
entrenamiento validación
entrenamiento validación prueba (%) prueba
(%) (%)
89.685±0.317 0.290±0.004 87.876±1.763 0.343±0.042 87.701±1.407 0.358±0.030
Entreno Pérdidas Validación Pérdidas Prueba Pérdidas
Modelo
(%) Entreno (%) Validación (%) Prueba
Red desde cero 91.590±0.335 0.290±0.031 92.640±1.392 0.280±0.043 91.720±1.200 0.290±0.040
Red Inception
97.530±0.878 0.140±0.015 91.910±2.485 0.330±0.084 92.070±2.975 0.330±0.338
v3
Red
InceptionResNet 89.685±0.317 0.290±0.004 87.876±1.763 0.343±0.042 87.701±1.407 0.358±0.030
v2
Explicacion en ESPAÑOL
Algunas de las explicaciones especulativas para la causa de estos ejemplos adversos son
No linealidad de las redes neuronales.
Regularización insuficiente
Promedio de modelo insuficiente
Algunas de las conclusiones importantes de este documento
son que no necesitamos considerar la no linealidad de las
redes neuronales. Se pueden crear ejemplos adversarios
explotando el comportamiento lineal en espacios de alta
dimensión. El documento presenta un método más rápido
para generar ejemplos adversos, llamado Método de signo de
gradiente rápido. El documento también muestra que el
entrenamiento contradictorio se puede utilizar como una
técnica de regularización.
MODELOS LINEALES Y EJEMPLOS ADVERSOS
Señalan que las redes LSTM, ReLU y Maxout están diseñadas
intencionalmente para comportarse de forma lineal para que la
optimización sea más fácil. Incluso las redes sigmoidales están
sintonizadas para pasar la mayor parte del tiempo en el área
lineal. Por lo tanto, estas redes no pueden resistir ejemplos
adversos lineales.
CONSULTAR RELU COMO CAUSANTE DE ATAQUES
ADVERSARIOS POPO
APRENDIZAJE PROFUNDO
Aprendizaje profundo (en inglés, deep learning) es un conjunto
de algoritmos de aprendizaje automático (en inglés, machine learning) que intenta modelar
abstracciones de alto nivel en datos usando arquitecturas computacionales que admiten
transformaciones no lineales múltiples e iterativas de datos expresados en forma matricial o
tensorial. 1
El aprendizaje profundo es parte de un conjunto más amplio de métodos de aprendizaje
automático basados en asimilar representaciones de datos. Una observación (por ejemplo,
una imagen) puede ser representada en muchas formas (por ejemplo, un vector de píxeles),
pero algunas representaciones hacen más fácil aprender tareas de interés (por ejemplo, "¿es
esta imagen una cara humana?") sobre la base de ejemplos, y la investigación en esta área
intenta definir qué representaciones son mejores y cómo crear modelos para reconocer estas
representaciones.
Varias arquitecturas de aprendizaje profundo, como redes neuronales profundas, redes
neuronales profundas convolucionales, y redes de creencia profundas, han sido aplicadas a
campos como visión por computador, reconocimiento automático del habla, y reconocimiento
de señales de audio y música, y han mostrado producir resultados de vanguardia en varias
tareas.
No existe una única definición de aprendizaje profundo. En general se trata de una clase de
algoritmos ideados para el aprendizaje automático. A partir de este punto común, diferentes
publicaciones se centran en distintas características, por ejemplo:
Usar una cascada de capas con unidades de procesamiento no lineal para extraer y
transformar variables. Cada capa usa la salida de la capa anterior como entrada. Los
algoritmos pueden utilizar aprendizaje supervisado o aprendizaje no supervisado, y las
aplicaciones incluyen modelización de datos y reconocimiento de patrones.
Estar basados en el aprendizaje de múltiples niveles de características o representaciones
de datos. Las características de más alto nivel se derivan de las características de nivel
inferior para formar una representación jerárquica.
Aprender múltiples niveles de representación que corresponden con diferentes niveles de
abstracción. Estos niveles forman una jerarquía de conceptos.
Todas estas maneras de definir el aprendizaje profundo tienen en común: múltiples capas de
procesamiento no lineal; y el aprendizaje supervisado o no supervisado de representaciones
de características en cada capa. Las capas forman una jerarquía de características desde un
nivel de abstracción más bajo a uno más alto.
Los algoritmos de aprendizaje profundo contrastan con los algoritmos de aprendizaje poco
profundo por el número de transformaciones aplicadas a la señal mientras se propaga desde
la capa de entrada a la capa de salida. Cada una de estas transformaciones incluye
parámetros que se pueden entrenar como pesos y umbrales2(p6). No existe un estándar de
facto para el número de transformaciones (o capas) que convierte a un algoritmo en profundo,
pero la mayoría de investigadores en el campo considera que aprendizaje profundo implica
más de dos transformaciones intermedias
PARAMETROS ENTRENADOS PARA CADA RED
RED ENTRENADA DESDE CERO
Precisión
Sin ataque: 87,623
Con ataque: 9,948
Perdidas:
Sin ataques: 0,264
Con ataques: 4,502
2’862.530
2’862.530
INCEPTION V3:
22’085.762
13’906.658
INCEPTIONRESNET:
54’554.178
4’919.618