Professional Documents
Culture Documents
REDES NEURAIS
Sistema Nervoso
2
O que ?
um conjunto complexo de clulas que determina o funcionamento e comportamento dos seres vivos
Engloba o crebro
14/05/2013
Crebro
3
Crebro
4
14/05/2013
Crebro
5
Motivao
Computadores so eficientes em vrias reas, mas a computao convencional no tem obtido desempenho prximo da natureza em vrios domnios Vantagens da natureza
Seres humanos: reconhecer um rosto familiar em ambiente estranho Morcegos: seu sonar pode reconhecer alvos (distncia e velocidade)
14/05/2013
Motivao
Seu estudo surgiu com o desejo de entender o crebro
Objetivo principal: reproduzir seu funcionamento em diversas tarefas
Como modelo, apenas uma aproximao do fenmeno ou objeto real que se pretende estudar
14/05/2013
Propriedades particulares:
Aprender Adaptar Generalizar Eventualmente organizar
Neurnio
10
14/05/2013
Neurnio
11
Corpo da Clula
Processa a informao e gera novos impulsos
Axnio
Transmite os impulsos gerados para outros neurnios
Sinapse
Ponto de contato entre os axnios e os dendritos de dois neurnios Controla a transmisso de impulsos, proporcionando a capacidade de adaptao do neurnio
Neurnio
12
Neurnio artificial
Modelo matemtico de um neurnio biolgico
Proposto inicialmente por McCulloch & Pitts (1943) uma aproximao til de um neurnio real
14/05/2013
Neurnio Artificial
13
Estrutura bsica
Os dendritos so modelados como uma linha ou canal de transmisso por onde flui a informao de entrada (xi, i=1, ..., p)
Neurnio Artificial
14
Estrutura bsica
A fora das conexes sinpticas dos dendritos modelada como um fator (peso sinptico), cujo papel modular o fluxo de sinais passando por eles (wi, i=1, ..., p)
14/05/2013
Neurnio Artificial
15
Estrutura bsica
O corpo celular realiza o acmulo energtico
Somatrio das entradas moduladas pelos pesos sinpticos: u = x1*w1 + x2*w2 + ... + xp*wp : limiar (bias)
Neurnio Artificial
16
Estrutura bsica
O axnio funciona como uma funo de ativao (chave ON-OFF)
Indica se o neurnio respondeu ao estmulo atual Indica se houve ou no o envio de um potencial de ao
14/05/2013
Conceitos Bsicos
17
Aprendizado
Paradigmas de aprendizado Algoritmos de aprendizado
Conceitos Bsicos
18
Unidades de Processamento
Diferentes tipos de neurnios
Estticos ou Dinmicos Atemporais ou Temporais Lineares ou No Lineares
14/05/2013
Conceitos Bsicos
19
Topologia
Diferentes quantidades de camadas
Uma camada: Perceptron, Adaline Multi-camadas: Multi Layer Perceptron (MLP), Funes de Base Radial (RBF)
Conceitos Bsicos
20
Topologia
Diferentes arranjos das conexes
Redes feedforward: no existem loops de conexes. o tipo mais comum
10
14/05/2013
Conceitos Bsicos
21
Topologia
Diferentes arranjos das conexes
Redes recorrentes: conexes apresentam loops, isto , possuem conexes ligando neurnios de uma camada a neurnios de camada(s) anterior(es) Podem lembrar excitaes passadas
Conceitos Bsicos
22
Topologia
Diferentes arranjos das conexes
Redes em mapas (ou grades): matriz n-dimensional de neurnios, com relao de vizinhana espacial
11
14/05/2013
Conceitos Bsicos
23
Paradigmas de aprendizado
Indicam como a RNA se relaciona com o ambiente externo Principais Paradigmas
Supervisionado No supervisionado Reforo
Conceitos Bsicos
24
Algoritmos de aprendizado
Conjunto de regras bem definidas usadas para ensinar a rede a resolver um certo problema Algumas das principais categorias
Correo de Erro Competitivo Hebbiano
12
14/05/2013
13
14/05/2013
Regra de Aprendizado
Fornecem a base para o entendimento dos mtodos de treinamento para redes formadas por vrias unidades Consiste na modificao dos pesos e do limiar do neurnio
At que ele resolva o problema de interesse Ou at que o perodo de aprendizagem tenha terminado
Regra de Aprendizado
Pesos so inicializados aleatoriamente Pesos so ento ajustados sempre que a rede classifica equivocadamente um exemplo de treinamento Esse processo se repete at que um determinado critrio de parada seja alcanado
14
14/05/2013
Regra de Aprendizado
um classificador linear timo
Sua regra de aprendizagem conduz minimizao de uma funo-custo
Possvel funo-custo
Quantificar a probabilidade mdia de erros de classificao Buscamos minimizar o erro de classificao dos dados de entrada
Treinamento
Treinamento supervisionado
Padres desejados de sada d
Dado um padro de entrada x = [x1, ... xp] tem-se a correo de erro para cada peso (wi, i=1, ..., p)
wi(t+1) = wi(t) + wi(t)
Onde
wi(t): peso atual wi(t): incremento no peso wi(t+1): peso modificado
15
14/05/2013
Classificao correta (d = y)
wi(t) = 0
Classificao incorreta (d y)
wi(t) = xi (d - y)
Fator
Tornar o processo de ajuste mais estvel (tambm chamado de passo de aprendizagem) 0 < << 1
Algoritmo de Treinamento
Iniciar todos os pesos wi Repita
Para cada par de treinamento (x, d)
Calcular a sada y Se (d y) Ento Atualizar os pesos dos neurnios
16
14/05/2013
17
14/05/2013
18
14/05/2013
19
14/05/2013
20
14/05/2013
21
14/05/2013
Onde
p o nmero de variveis de entrada q1 o nmero de neurnios ocultos m o nmero de neurnios de sada
Com 2 camadas
MLP(p, q1, q2, m), onde q2 o nmero de neurnios ocultos na segunda camada
22
14/05/2013
23
14/05/2013
Backpropagation
48
Algoritmo de backpropagation
Uma das mais populares tcnicas de aprendizado para redes MLP Envolve dois sentidos de propagao de sinais na rede
Sentido direto (forward) Sentido inverso (backward)
24
14/05/2013
Backpropagation
49
Algoritmo de backpropagation
Sentido direto (forward):
Clculo da sada e do erro
Backpropagation
50
Propagao do erro
A idia bsica propagar o sinal de erro calculado na etapa de treinamento de volta para todos os neurnios
Coeficientes dos pesos utilizados para propagar os erros para trs so iguais aos utilizados durante o clculo de valor de sada Apenas a direo do fluxo de dados alterado Esta tcnica aplicada em todas as camadas de rede
25
14/05/2013
Backpropagation
51
Propagao do erro
Sinal de erro calculado para cada neurnio
Seus coeficientes de peso podem ser modificados
Backpropagation
52
Problema
Derivadas demandam funes diferenciveis
Funes de ativao dos neurnios intermedirios so descontnuas
Soluo
Funes de ativao contnuas
Utilizar aproximaes das funes de ativao
26
14/05/2013
Backpropagation
53
Funo de ativao
A funo de ativao do neurnio artificial do tipo Degrau
No-linearidade dura ou hard A sada uma varivel do tipo ON-OFF (binria [0,1] ou bipolar [-1,+1])
Backpropagation
54
Desvantagens
Elevado custo computacional para implementao em sistemas embarcados devido presena da funo exponencial
27
14/05/2013
Backpropagation
55
Funo de ativao
Sigmide Logstica
Backpropagation
56
Funo de ativao
Tangente Hiperblica
28
14/05/2013
Backpropagation
57
Problemas no aprendizado
58
29
14/05/2013
Problemas no aprendizado
59
Overfitting (sobreajustamento)
A partir de um certo ponto do treinamento, o desempenho da rede piora ao invs de melhorar A rede se especializa nos padres de treinamento, incluindo suas peculiaridades
Piora a sua capacidade de generalizao Incapacita a rede de reconhecer dados diferentes dos usados no seu treinamento
Problemas no aprendizado
60
Overfitting (sobreajustamento)
O que fazer nesse caso?
Podemos encerrar treinamento mais cedo (early stop) Fazer a poda de conexes e neurnios irrelevantes (pruning) Penalizar os valores dos pesos (weight decay)
30
14/05/2013
Problemas no aprendizado
61
Underfitting (subajustamento)
Arquitetura da rede tem poucos parmetros
O modelo muito simples
Falta de representatividade das classes possvel que a rede sequer aprenda o padro
Baixa capacidade de generalizao
Pode-se resolver esse tipo de problema com um conjunto de treinamento de bom tamanho
Tcnicas de amostragem ajudam
31
14/05/2013
Desvantagem
Mais lento
Desvantagens
Pode se tornar instvel Requer controle da taxa de aprendizado
32
14/05/2013
Redes RBF
65
Redes RBF
66
33
14/05/2013
Redes RBF
67
Aprendizagem
Busca uma superfcie em um espao de dimenso qualquer que produza o melhor ajuste os dados de treinamento Treinamento, em geral, muito mais rpido que as MLP
Redes RBF
68
Resposta Radial
Presentes em alguns tipos de clulas nervosas
Clulas auditivas possuem maior sensibilidade a frequncias prximas a um determinado tom Clulas da retina maior sensibilidade a excitaes luminosas prximas ao centro do seu campo receptivo
Modelo matemtico
Funo de Base Radial
34
14/05/2013
Existem diferentes modelos matemticos possveis para uma funo de base radial
Gaussiana
= exp ( = =
)
(()/) , (()/)
1,
Gaussiana
= exp (
35
14/05/2013
Multi-Quadrtica Inversa
=
Chapu Mexicano
=
(()/ , /
1,
36
14/05/2013
Sada
Histrico
74
Redes RBF utilizam funes de base radial para aproximar outras funes
37
14/05/2013
Histrico
75
Histrico
76
A rede RBF pode aproximar qualquer funo contnua atravs da combinao linear de funes gaussianas com centros em diferentes posies do espao de entrada.
38
14/05/2013
Histrico
77
Atualmente
Os modelos so de natureza adaptativa Utilizao de um nmero relativamente menor de unidades de processamento localmente sintonizadas
De modo geral, redes RBF precisam de ao menos 10 vezes mais dados de treinamento para atingir a mesma preciso das redes MLP-BP Em tarefas difceis de classificao, redes RBF podem ser melhores que MLP
Necessidade de nmero suficiente de
Padres de treinamento Neurnios ocultos
39
14/05/2013
Numa MLP
Todos os neurnios so avaliadas e tm seus pesos ajustados
RBF usualmente tem mais neurnios na oculta que a MLP MLP usa funes sigmoidais de ativao
RBF usa funo de base radial e linear nas camadas oculta e de sada, respectivamente
RBF usualmente menos sensvel a insero de dados novos RBF pode necessitar de maior nmero de parmetros ajustveis
40
14/05/2013
41
14/05/2013
Redes Hopfield
83
Redes Hopfield
Modelo de redes neurais auto-associativas desenvolvidas por J. Hopfield em 1982 Similar a um modelo de memria auto-associativa
Capaz de armazenar e depois recuperar um certo conjunto de padres
Redes Hopfield
84
Motivao
Sistemas fsicos com um grande n de elementos
Interaes entre estes geram fenmenos coletivos estveis
Redes que possuem neurnios que interagem entre si podem levar a fenmenos coletivos equivalentes?
Sistemas de neurnios conectados possuem estados estveis que so atingidos quando a rede estimulada por estados similares
42
14/05/2013
Redes Hopfield
85
Caractersticas
Possui uma nica camada de neurnios totalmente conectada Utiliza neurnios do tipo MCP (McCulloch-Pitts)
Unidade de processamento com sada em {-1, +1}
Estrutura recorrente (com feedback) Unidades so ao mesmo tempo de entrada e de sada Conjunto de sadas define o estado da rede
Redes Hopfield
86
Caractersticas
Possui uma nica camada de neurnios totalmente conectada Utiliza neurnios do tipo MCP (McCulloch-Pitts)
Unidade de processamento com sada em {-1, +1}
Estrutura recorrente
Com feedback
43
14/05/2013
Redes Hopfield
87
Caractersticas
Unidades so ao mesmo tempo de entrada e de sada Conjunto de sadas define o estado da rede Funcionamento assncrono
Redes Hopfield
88
Funcionamento assncrono
Em um determinado instante de tempo apenas uma unidade da rede escolhida para mudar de estado Esse processo se repete at que a rede encontre um ponto de equilbrio estvel
A sada de cada unidade da rede se mantm constante
44
14/05/2013
Redes Hopfield
89
Funcionamento bsico
Etapa de treinamento
A rede memoriza os padres
Etapa de uso
A rede ir passar por uma sequncia de ativaes intermedirias at se estabilizar em um padro previamente treinado
Redes Hopfield
90
Funcionamento bsico
Etapa de treinamento
Etapa de uso
45
14/05/2013
Redes Hopfield
91
Aplicaes
Regenerao de padres
Redes Hopfield
92
Aplicaes
Completar um padro conhecido
46
14/05/2013
Agradecimentos
93
47