Banco de dados 2

Adaline (Adaptive Linear Element)

02/05/2012

1

Adaline
Na mesma época em que Rosenblatt propôs o Perceptron, Widrow e Hoff propuseram o algoritmo dos mínimos quadrados (regra delta) para a rede Adaline, similar ao Perceptron, porém com função de ativação linear ao invés de função degrau. O objetivo do algoritmo de treinamento é minimizar o erro quadrático médio (MSE) entre a saída de rede e a saída desejada.
2

Adaline
A saída é uma combinação linear de x x0 = +1 w0 w1 x1 xm wm

u

Y = f(u) = u

y = f (u ) = u = ∑ x j (n)w j (n ) j= 0

m

Funções de ativação do Adaline y(t ) = u(t) y(t ) = 1/(1 + e y(t) = (1 - e
- λu(t)

(linear) ) (sigmoide logística) (tangente hiperbólica)

-λu(t)

) )

(1 +e

-λu(t)

4

Função de ativação Linear x1 Inputs x2 x3 xn wn w1 Sum bias Artificial Neuron
5 4

f()

Output

f (net ) = net
Linear Activation Function

x=[-5:0.1:5]; y=linear(x); plot(x,y) title('Linear Activation Function') xlabel('x') ylabel('Linear(x)')

3 2 Linear(x) 1 0

-1 -2 -3 -4 -5 -5 0 x 5

5

Função de ativação Logistica x1 Inputs x2 x3 xn wn w1 Sum bias Artificial Neuron
Logistic Activation Function 1 0.9

f()

Output f (net ) = log istic (net ) =

1 1 + exp( − β net )

x=[-5:0.1:5]; y=logistic(x); plot(x,y) title('Logistic Activation Function') xlabel('x');ylabel('logistic(x)')

0.8 0.7 logistic(x) 0.6 0.5 0.4 0.3 0.2 0.1 0 -5 0 x 5

6

Função de ativação Tangente hiperbólica x1 Inputs x2 x3 xn wn w1 Sum bias Artificial Neuron f() Output

e net − e − net f (net ) = tanh(net ) = net − net e +e
Hyperbolic Tangent Activation Function 1 0.8

x=[-3:0.1:3]; y=tanh(x); plot(x,y) title('Hyperbolic Tangent Activation Function') xlabel('x') ylabel('tanh(x)')

0.6 0.4 0.2 tanh(x) 0

-0.2 -0.4 -0.6 -0.8 -1 -3 -2 -1 0 x 1 2 3

7

Função de ativação - Exemplo x1 Inputs x2 x3 xn wn w1 Sum bias Artificial Neuron f() Output

x=[-1 0 1]; linear(x) logistic(x) tanh(x)

ans = ans =