Adaline

Disponível somente no TrabalhosFeitos
  • Páginas : 12 (2842 palavras )
  • Download(s) : 0
  • Publicado : 26 de março de 2013
Ler documento completo
Amostra do texto
Informática UFRGS

Prof. Paulo Martins Engel

1. O ADALINE

Redes Neurais
O ADALINE e o algoritmo LMS

• No contexto de classificação, o ADALINE [B. Widrow 1960] pode ser visto como um perceptron com algoritmo de treinamento baseado em minimização de um índice de desempenho médio sobre o arquivo de treinamento (algoritmo LMS). • A especificação dos pesos do ADALINE segue critérios bemdefinidos que visam minimizar o erro médio quadrado (EMQ) na saída do ADALINE. • O elemento adaptativo do ADALINE é o Combinador Linear Adaptativo (CLA), e a saída do ADALINE pode ser binária, se a função de ativação utilizada for a hardlimiter (degrau), ou contínua, se a função for do tipo sigmóide (ou linear). • Quando a saída do ADALINE for contínua, o elemento realiza a tarefa de regressão. •Bernard Widrow [1962] propôs o uso de redes de múltiplos ADALINEs, MADALINEs, para problemas de classificação. • Neste caso, a primeira camada era adaptativa e a segunda (de saída) era composta de funções de limiar fixas (AND, OR, MAJ). • O ADALINE é capaz de solucionar problemas linearmente separáveis não determinísticos (com ruído).
2

Prof. Paulo Martins Engel

Informática UFRGS

Prof.Paulo Martins Engel

Informática UFRGS

Prof. Paulo Martins Engel

Regressão
Problema LS com ruído Problema NLS

• O problema de estimar uma função a partir de um conjunto de exemplos entrada-saída com algum ou nenhum conhecimento da forma da função é comum a várias áreas, recebendo nomes distintos: regressão, aproximação de funções, identificação de sistemas e aprendizagem indutiva. • Nodomínio das RN, este problema genérico é tratado como aprendizagem supervisionada e na estatística como regressão. • O poder computacional do ADALINE é equivalente a um regressor linear. • Entretanto, a saída do ADALINE pode ser modificada por uma função de ativação não-linear, o que o torna um componente não-linear em redes mais complexas capazes de aproximação de funções não-lineares.
3 4 Informática UFRGS

Prof. Paulo Martins Engel

Informática UFRGS

Prof. Paulo Martins Engel

Regressão linear
• O problema consiste em ajustar uma linha reta f(x) = ax + b a um conjunto T de p pontos: T = {(xi, yi)}
(x2, y2) (x1, y1) (x4, y4)

p i=1

O Problema da Filtragem Adaptativa
• Considere um sistema dinâmico cuja caracterização matemática seja desconhecida. • Nós dispomosapenas de um conjunto rotulado de dados de entrada-saída gerados pelo sistema em instantes discretos de tempo. • Quando, no instante i um estímulo x(i) de dimensão m é aplicado aos terminais de entrada do sistema, este responde produzindo uma saída escalar correspondente d(i), onde i = 1, 2, …, n, … • O comportamento externo do sistema é portanto descrito pelo conjunto de dados T : {x(i) , d(i) ; i =1, 2, …, n, ...} onde x x(i) = [x1(i), x2(i), …, xm(i)]T • O problema consiste em criar um modelo do sistema dinâmico desconhecido, utilizando um único neurônio linear.
5 6

y

(x3, y3)

(x5, y5)

menor EMQ

• Qual é a melhor solução? ⇒ depende da métrica de avaliação

Informática UFRGS

Prof. Paulo Martins Engel

Informática UFRGS

Prof. Paulo Martins Engel

Modelo neural parafiltragem adaptativa
• O modelo neural opera sob a influência de um algoritmo que controla os ajustes necessários para os pesos sinápticos do neurônio. • O algoritmo começa com um conjunto arbitrário de pesos que são ajustados em resposta a variações estatísticas do comportamento do sistema. • Para um determinado estímulo x(i), o modelo calcula uma saída y(i). • Calcula-se então um sinal de erroe(i), como a diferença entre a resposta desejada d(i) e a saída real do modelo y(i). • O processo adaptativo consiste em ajustar os pesos de acordo com e(i).
+1 x1(i) x2(i) xm(i) Sistema dinâmico desconhecido

2. Definições
• Como o elemento adaptativo do ADALINE é o CLA, podemos definir o erro linear instantâneo do ADALINE como sendo relativo à saída do CLA. • Dado um conjunto de vetores...
tracking img