Backpropagtion

1

REDE NEURAL BACKPROPAGATION
Tutorial
Nielsen Castelo Damasceno
1 Introdução
Um modelo matemático de uma rede neural biológica pode ser definido por uma Rede Neural Artificial (RNA). O modelo de rede neural bastante utilizado é o backpropagation. Este modelo consiste na arquitetura representada pela figura 1.

Camada de entrada
(I)

Camada de saída
(O)

I1
Camada oculta

O1
I2

H1
O2

I3
Figura 1 – Arquitetura de uma RNA.
I é a camada de entrada com 3 neurônios, H é a camada oculta com 1 neurônio e O é a camada de saída com 2 neurônios
Todos os neurônios da camada de entrada são conectados à todos os neurônios da camada escondida (oculta). Similarmente, o neurônio da camada oculta é conectado a todos os neurônios da camada de saída. Essa conexão é feita através dos pesos.
O número de neurônios na camada de entrada é igual ao tamanho do vetor de entrada da RNA. Analogamente, o número de neurônios na camada de saída é igual ao tamanho do vetor de saída da RNA. O tamanho da camada oculta é opcional e podendo ser alterado de acordo com sua necessidade.

Prof. M.Sc. Nielsen Castelo Damasceno – www.ncdd.com.br – E-mail: [e-mail]

2

Para todos os vetores de entrada, a correspondente saída do vetor é calculada de acordo com a expressão:

[vetor _ oculto] = função([vetor _ entrada] ∗ [matriz _ peso1] + [bias1])
(1)
[vetor _ saída] = função([vetor _ oculto]* [matriz _ peso2] + [bias 2])
Caso a operação [vetor _ entrada] ∗ [matriz _ peso1] for zero, consequentemente a saída do vetor também vai ser zero. Isso pode ser evitado utilizando um vetor chamado de
Bias. Portanto, o bias, será somado a

[vetor _ entrada]∗ [matriz _ peso1] .

A função

comumente utilizada na expressão (1) é representada por:

log sig ( x) =

1
[1 + exp(− x)]

(2)

tan sig ( x) =

2
[1 + exp(−2 x)]

(3)

O objetivo da RNA é encontra os vetores de pesos e bias de acordo com os vetores de entrada e desejado. O