Redes Neurais

Ambiente MATLAB
MATLAB MATrix LABoratory Programao baseada em Matrizes

MATLAB 6.5

Vetores e escalares tambm podem ser considerados matrizes, 1xN, Nx1, 1x1

Tela Principal do MATLAB

Tela Principal do MATLAB

Janela de Comando

Tela Principal do MATLAB

Tela Principal do MATLAB

Launch Pad

Janela de Histrico

Tela Principal do MATLAB

Matrizes no MATLAB
Quadro Melancholia I, do artista alemo e matemtico amador Albrecht Drer

Quadrado Mgico

Definindo uma Matriz Explicitamente

Elementos de uma linha so separados por espaos ou vrgulas. vrgulas O final de cada linha indicado por um ponto-e-vrgula. ponto- vrgula A lista de elementos delimitada por colchetes [ ].

Definindo uma Matriz Explicitamente

No caso do quadrado mgico:
>>
A = 16 5 9 4 3 10 6 15 2 11 7 14 13 8 12 1 A = [16 3 2 13; 5 10 11 8; 9 6 7 12; 4 15 14 1]

Redes Neurais no MATLAB

Duas formas de utilizao:
Linhas de comando e m-files Interface grfica (NNTool)

Redes Neurais no MATLAB

Duas formas de utilizao:
Linhas de comando e m-files m Interface grfica (NNTool)

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

O Problema do OU Exclusivo
1

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

x2
0

x1

X1 0 0 1 1

X2 0 1 0 1

valor 0 1 1 0

Definindo os Padres
X1 0 0 1 1 X2 0 1 0 1 valor 0 1 1 0

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Vetor de entrada: P = 0 0 1 1 P = [0 0 1 1; 0 1 0 1] 0 1 0 1 Vetor de sada:

T = [0 1 1 0]

Inicializando a Rede Neural

Redes Feed-forward: Funo newff

Funes de Ativao
purelin logsig tansig satlin(s) Linear Sigmide Tangente hiperblica Linear com saturao

net = newff(

[min(P')' max(P')'], [N_hidden 1], {'tansig' 'logsig'}, 'traingd');

(limites dos padres de entrada) (nmero de neurnios de cada camada) (funo de ativao de cada camada) (algoritmo de treinamento)

Algoritmos de Treinamento
traingd traingdm traingda traingdx trainlm trainrp Gradient descent backpropagation Gradient descent backpropagation com momentum Gradient descent backpropagation com taxa adaptativa Gradient descent backpropagation com momentum e taxa adaptativa Levenberg-Marquardt backpropagation (default) Resilient backpropagation (Rprop)

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Definindo parmetros de treinamento

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

net.trainParam.epochs = 100; net.trainParam.goal = 1e-8; net.trainParam.lr = 0.01; net.trainParam.show = 25; net.trainParam.mc = 0.9;

Nmero de epochs Erro final desejado Taxa de aprendizado Atualizao da tela (epochs) Taxa de momentum

Taxa de incremento da l.r. net.trainParam.lr_inc = 1.05; Taxa de decremento da l.r. net.trainParam.lr_dec = 0.7; net.trainParam.max_perf_inc = 1.04; Incremento mximo do erro

Treinando a Rede Neural

Passos para a Criao de uma RN

Definir os padres Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

net = train(net, P, T);

Testando a Rede Neural

M-file desenvolvida para o XOR

TESTE 1: Rede neural com apenas uma camada 1: de processadores (Percetron bsico);

C = sim(net, P);

xor1.m

M-file desenvolvida para o XOR

TESTE 2: Rede neural com uma camada escondida de 2: processadores (Multi-Layer Perceptron);

Validao Cruzada
Dividir os padres disponveis em trs conjuntos:
treinamento (70%): matrizes Ptrain, Ttrain validao (20%): matrizes Pvalid, Tvalid teste (10%): matrizes Ptest, Ttest

xor1.m xor2.m

Validao Cruzada
% Inicializa a rede neural net = newff([min(P')' max(P')'],[10 1],{'tansig' 'logsig'},'traingd'); net.trainParam.goal = 1e-8; % Treina a rede iterativamente, de 5 em 5 epochs, % at o total de 100 epochs, calculando os erros Nepoch = 5; NN = 20; mape_min = 1e38; for i = 1:NN, net.trainParam.epochs = Nepoch; net = train(net, Ptrain, Ttrain); Ctrain = sim(net, Ptrain); Cvalid = sim(net, Pvalid); % Calcula os erros MAPE para os padres de treinamento e validao mape_train(i) = 100*mean(abs((Ttrain-Ctrain)./Ttrain)) mape_valid(i) = 100*mean(abs((Tvalid-Cvalid)./Tvalid))

Validao Cruzada
% encontra o nmero de epochs timo if (mape_valid(i) < mape_min) mape_min = mape_valid(i); net_opt = net; Noptim = Nepoch * i; end end % Melhor rede: net = net_opt; % Testa a rede com os 3 conjuntos de padres Ctrain = sim(net, Ptrain); Cvalid = sim(net, Pvalid); Ctest = sim(net, Ptest);

Redes Neurais no MATLAB

Duas formas de utilizao:
Linhas de comando, e m-files Interface grfica (NNTool) NNTool)

Interface Grfica NNTool

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Definindo os Padres

Definindo os Padres

Definindo os Padres

Definindo os Padres

10

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Criando a Rede Neural

Criando a Rede Neural

Visualizando a Rede Neural

11

Visualizando a Rede Neural

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Inicializando a Rede Neural

Inicializando a Rede Neural

12

Inicializando a Rede Neural

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Definindo parmetros de treinamento

Definindo parmetros de treinamento

13

Definindo parmetros de treinamento

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Treinando a Rede Neural

Treinando a Rede Neural

14

Passos para a Criao de uma RN

Definir os padres Criar a rede Inicializar a rede Definir os parmetros de treinamento Treinar a rede Testar a rede

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

15

Testando a Rede Neural

Testando a Rede Neural

Testando a Rede Neural

Exportando os Dados

16

Exportando os Dados

O Problema do OU Exclusivo
1

x2
0

x1

X1 0 0 1 1

X2 0 1 0 1

valor 0 1 1 0

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

17

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

Rede Neural com Camada Escondida

18

Reconhecimento de Dgitos

Reconhecimento de Dgitos

Reconhecimento de Dgitos

Reconhecimento de Dgitos

19

Definio dos Padres de Entrada

0 1 0 0

Definio dos Padres de Entrada

0 1 1 0

0 1 0 0 1

1 1 1 1 1

0 0 0 0 1

0 0 0 0 0

1 1 0 0 0 1 0 0 0 1 0 0 1 1 1 0

0 1 0 0 1

1 0 0 1 1

1 0 1 0 1

0 1 0 0 1

1 0 0 1 0 0 1 0 0 1 0 0 1 1 1 1

Definio dos Padres de Entrada

Cada dgito (padro): 20 bits Nmero de padres: 10 dgitos Representao: Matriz 20 x 10
Cada coluna representa um dgito Cada linha representa um bit Cada bit est associado com um neurnio de entrada

Definio dos Padres de Entrada

0 1 0 0 1 1 0 0 0 1 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 0 1 0 0 1 0 0 1 1 1 1 1 1 1 0 0 0 0 1 0 0 1 0 0 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1 1 1 1 0 0 1 0 0 0 1 0 1 1 1 1 1 0 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 1 0 0 0 1 1 1 0 1 0 0 1 0 1 1 0 1 1 1 1 0 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 0 1 1 0 1 0 0 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 1 0 1 0 0 1 0 1 1 1 0 0 0 1 1 1 1 1 0 1 1 0 1 0 0 1 1 0 0 1 1 0 0 1 0 1 1 0

20

Definio dos Padres de Sada

1 0 0 0 0 0 0 0 0 0

Definio dos Padres de Sada

1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1

Converso dos Arquivos

>> >> >> >> load save load save digitos.txt digitos saidas.txt saidas

Importao dos Dados p/ NNTool

21

Importao dos Dados p/ NNTool

Importao dos Dados p/ NNTool

Definio das Redes

Network name: network15 Tipo: feed-forward backprop Tipo Input Ranges: Get from input Ranges Training Function: TRAINGDM Function Number of layers: 2 layers
Layer 1: 15 neurons 1 Layer 2: 10 neurons 2 TANSIG PURELIN

Definio das Redes

Network name: network25 Tipo: feed-forward backprop Tipo Input Ranges: Get from input Ranges Training Function: TRAINGDM Function Number of layers: 2 layers
Layer 1: 25 neurons 1 Layer 2: 10 neurons 2 TANSIG PURELIN

22

Definio das Redes

Network name: network35 Tipo: feed-forward backprop Tipo Input Ranges: Get from input Ranges Training Function: TRAINGDM Function Number of layers: 2 layers
Layer 1: 35 neurons 1 Layer 2: 10 neurons 2 TANSIG PURELIN

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): (lr) Momentum: Momentum 10000 0.5e-3 0.1 0.0

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): (lr) Momentum: Momentum 10000 0.5e-3 0.4 0.0

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): (lr) Momentum: Momentum 10000 0.5e-3 0.9 0.0

23

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): (lr) Momentum: Momentum 10000 0.5e-3 0.1 0.4

Treinamento das Redes

Epochs: Epochs Goal (MSE): (MSE) Learning Rate (lr): (lr) Momentum: Momentum 10000 0.5e-3 0.9 0.4

Teste das Redes

1 bit errado

2 bits errados

3 bits errados

24