Professional Documents
Culture Documents
Introducao
Princpios Biologicos
Consideracoes Finais
Agenda
Introducao Desenvolvimento das Redes Neurais Articiais Aspectos e visoes do Realismo Biologico Princpios Biologicos Realismo biologico Proposta de uma Rede Neural Articial Biologicamente mais Plausvel Consideracoes Finais Modelo proposto Final
Introducao
Princpios Biologicos
Consideracoes Finais
Agenda
Introducao Desenvolvimento das Redes Neurais Articiais Aspectos e visoes do Realismo Biologico Princpios Biologicos Realismo biologico Proposta de uma Rede Neural Articial Biologicamente mais Plausvel Consideracoes Finais Modelo proposto Final
Introducao
Princpios Biologicos
Consideracoes Finais
Direcoes
Introducao
Princpios Biologicos
Consideracoes Finais
Visoes
Tres visoes sao destaques
Diretamente relacionadas com a estrutura do cortex cerebral biologico. Foco nas caractersticas neurais e da sinalizacao entre neuronios. Formas em que a aprendizagem acontece.
considera intra e inter-neuronio de sinalizacao. leva em conta a duracao dos potenciais de acao e a codicacao da
informacoes atraves de pulso.
Introducao
Princpios Biologicos
Consideracoes Finais
OReilly [10]
seis princpios, necessario para considerar uma RNA como
biologicamente plausvel.
Rosa [13]
Tres novos elementos que atuam diretamente na sinalizacao intra e
inter-neuronio.
Introducao
Princpios Biologicos
Consideracoes Finais
Introducao
Princpios Biologicos
Consideracoes Finais
Princpios arquitetonicos
Representacoes distribudas - aspecto empregado pelo cortex para codicar informacoes. Competicao inibitoria - seleciona representacoes para o processamento e posterior renamento no processo de aprendizagem. Propagacao de ativacao bidirecional - princpio fundamental para o uxo de informacoes atraves da rede, isto e, a ativacao ocorre simultaneamente em ambas as direcoes, bottom-up e top-down.
Princpios de aprendizagem
Aprendizado orientado ao erro - formas de representacoes para minimizar a diferenca entre um resultado desejado e que a rede de fato produziu. Aprendizado Hebbiano - representacao das mudancas das forcas sinapticas em funcao da co-ativacao do envio e recebimento dos neuronios, ou seja, celulas que disparam juntas, permanecem conectadas [3].
Leabra e GeneRec
Introducao
Princpios Biologicos
Consideracoes Finais
Tempo de duracao do pulso no processamento da informacao - o potencial de ativacao, no processo de codicacao da informacao, sugere que acuracia do tempo em que acontece o pulso poder ser essencial para a eciencia computacional no cerebro.
Introducao
Princpios Biologicos
Consideracoes Finais
Agenda
Introducao Desenvolvimento das Redes Neurais Articiais Aspectos e visoes do Realismo Biologico Princpios Biologicos Realismo biologico Proposta de uma Rede Neural Articial Biologicamente mais Plausvel Consideracoes Finais Modelo proposto Final
Introducao
Princpios Biologicos
Consideracoes Finais
Princpios biologicos
Ramon y Cajal:
Polarizacao Dinamica - Os sinais eletricos dentro de uma celula nervosa uem apenas em uma direcao: da recepcao do neuronio (normalmente os dendritos e o corpo celular) para a zona de disparo do axonio.. Especicidade Conectiva - As celulas nervosas nao se comunicam indiscriminadamente umas com as outras nem formam redes aleatorias..
Hebb:
Quando um axonio da celula A e proximo o suciente de excitar uma celula B e repetidamente ou persistentemente toma parte em dispara-la, algum processo de crescimento ou mudanca metabolica acontece em uma ou ambas as celulas tal que a eciencia de A, como uma das celulas que disparam B, e aumentada, ou seja, celulas que disparam juntas, permanecem conectadas..
Knudsen [4]:
A unica forma de moldar a experiencia nas redes constitutivas do cerebro e com a aprendizagem supervisionada.
Introducao
Princpios Biologicos
Consideracoes Finais
Princpios biologicos
Princpio Biologico
` Realismo Biologico - entender como o cerebro da origem a cognicao.
Princpios arquitetonicos
Representacoes distribudas - aspecto empregado pelo cortex para codicar informacoes. Competicao inibitoria - seleciona representacoes para o processamento e posterior renamento no processo de aprendizagem. Propagacao de ativacao bidirecional - princpio fundamental para o uxo de informacoes atraves da rede, isto e, a ativacao ocorre simultaneamente em ambas as direcoes, bottom-up e top-down.
Princpios de aprendizagem
Aprendizado orientado ao erro - formas de representacoes para minimizar a diferenca entre um resultado desejado e que a rede de fato produziu. Aprendizado Hebbiano - representacao das mudancas das forcas sinapticas em funcao da co-ativacao do envio e recebimento dos neuronios, ou seja, celulas que disparam juntas, permanecem conectadas [3].
Tempo de duracao do pulso no processamento da informacao - o potencial de ativacao, no processo de codicacao da informacao, sugere que acuracia do tempo em que acontece o pulso poder ser essencial para a eciencia computacional no cerebro.
Tres novos elementos que atua diretamente no processo de sinalizacao intra-neuronio e inter-neuronio e representa os transmissores T , os receptores R, e os controladores C - dene a quantidade de substrato, a anidade de ligacao entre transmissores e receptores, e os genes nome e expressao.
Introducao
Princpios Biologicos
Consideracoes Finais
princpio / modelo
Polarizacao dinamica
M&P per Maa Ros OR S&R tipo intra Sinal de conducao do tipo tudo-ou-nada intra Integracao neural de entradas competitivos intra Tempo como um recurso de codicacao da informacao intra Sinal de sada analogica intra Especicidade conectiva inter A informacao e transferida por meio de pulsos inter Grau de anidade de ligacao inter
Legenda: M&P = modelo de McCulloch and Pitts; per = perceptron; Maa = modelo de Maass; Ros = modelo de Rosa; OR = modelo de OReilly; S&R = modelo de Silva e Rosa; tipo = tipo de sinalizacao do neuronio: intra ou inter-neurorio [14].
Introducao
Princpios Biologicos
Consideracoes Finais
Conjunto de sadas Vout V , representando os neuronios de sada; Uma funcao limiar v , para cada neuronio v V Vin ; Uma funcao de resposta u,v e uma funcao peso u,v , para cada sinapse
(u, v ) E.
Introducao
Princpios Biologicos
Consideracoes Finais
Introducao
Princpios Biologicos
Consideracoes Finais
Introducao
Princpios Biologicos
Consideracoes Finais
Introducao
Princpios Biologicos
Consideracoes Finais
Introducao
Princpios Biologicos
Consideracoes Finais
Aprendizagem por STDP: Fortalece os pesos sinapticos modicacao sinaptica chamada potenciacao de longa duracao. Enfraquece os pesos sinapticos modicacao sinaptica chamada depreciacao de longa duracao. Com base no intervalo de tempo em que o sinal sai do neuronio pre-sinaptico ate ocorrer o disparo do pulso no neuronio pos-sinaptico.
Introducao
Princpios Biologicos
Consideracoes Finais
Figura: A regra de aprendizagem STDP nas suas duas fases em (f ) (f ) funcao da diferenca de tempo s = tj ti entre o pulso de entrada do neuronio e o disparo do pulso pos-sinaptico, onde A+ = A = 1, 1 = 10ms, and 2 = 20ms [2, 16]
Introducao
Princpios Biologicos
Consideracoes Finais
Agenda
Introducao Desenvolvimento das Redes Neurais Articiais Aspectos e visoes do Realismo Biologico Princpios Biologicos Realismo biologico Proposta de uma Rede Neural Articial Biologicamente mais Plausvel Consideracoes Finais Modelo proposto Final
Tabela: Relacao de adesao de alguns modelos de rede articial aos princpios basicos de aprendizagem e sinalizacao intra e inter-neuronio de uma rede biologico
propriedades/modelo de aprendizagem) (algoritmo Sinais eletricos dentro da celulas nervosas ui numa so direcao Sinal de conducao do tipo todo-ou-nada Integracao neural de entradas competitivas Tempo como recurso de codicacao da informacoes Informacoes transferidas por pulsos Sinal de sada analogica Associacao da frequencia de pulso com uma quantidade de substrato liberado Potencial pos-sinaptico em relacao aos tipos de transmissor e receptor Grau anidade de ligacao do receptor Mutacao por modicacao de expressao genica Competicao Inibitoria Propagacao da ativacao bidirecional Aprendizagem dirigida ao error Aprendizagem Hebbiana Legend: (bp) = Multi-Layer Perceptron com back-propagation; (gr ) = Multi-Layer Perceptron com GeneRec; srm = (gr ) Spiking Response Model com GeneRec; scrm = Spiking Control Response Model com GeneRec; ttsrm = (gr ) (gr ,st) Topological Transition Spiking Response Model com GeneRec e STDP. [14] [15]
mlp mlp mlp (bp) mlp (gr ) srm (gr ) scrm (gr ) ttsrm (gr ,st)
Introducao
Princpios Biologicos
Consideracoes Finais
Suporte nanceiro
Introducao
Princpios Biologicos
Consideracoes Finais
Agradecimentos
Muito Obrigado!
Apendice
Avaliacao
Referencias I
[1] A. L. Barabasi and R. Albert Emergence of scaling in random networks. Science 286:509-512, 1999. W. Gerstner and W. Kistler Spiking Neuron Models: Single Neurons, Populations, Plasticity. Cambridge University Press, 2002. D. Hebb The Organization of Behavior. Cambridge-Wiley, 1949. E. I. Knudsen Supervised Learning in the Brain. The Journal of Neuroscience, 14(7):3985-3997, 1994.
[2]
[3]
[4]
Apendice
Avaliacao
Referencias II
[5] W. Maass Networks of spiking neurons: The third generation of neural network models. Neural Networks, 10:1659-1671, 1997. W. S. McCulloch and W. Pitts A logical calculus of the ideas immanent in nervous activity. Bulletin of Math. Biophysics, 5:115-137, 1943. O. Michel LCN-MANTRA repository of articial neural network database. http://diwww.epfl.ch/w3mantra/tutorial/ index.html, 1998. Lausanne, CH.
[6]
[7]
Apendice
Avaliacao
Referencias III
[8] D. J. Newman, S. Hettich, C. L. Blake, and C. J. Merz http://archive.ics.uci.edu/ml/datasets/ Optical+Recognition+of+Handwritten+Digits, 1998. Irvine, CA. R. C. OReilly Biologically plausible error-driven learning using local activation differences: The generalized recirculation algorithm. Neural Computation, pages 895-938, 1996.
[9]
[10] R. C. OReilly Six principles for biologically-based computational models for cortical cognition. Trends in Cognitive Science, 2:455-462, 1998.
Apendice
Avaliacao
Referencias IV
[11] R. C. OReilly and Y. Munakata Computational Explorations in Cognitive Neuroscience Understanding the Mind by Simulating the Brain. The MIT Press, 2000. [12] T. Orru, J. L. G. Rosa, and M. L. Andrade Netto SABio: A Biologically Plausible Connectionist Approach to Automatic Text Summarization. Applied Articial Intelligence, 22:1-25, 2008. [13] J. L. G. Rosa An articial neural network model based on neuroscience: Looking closely at the brain. y in R. N. V. Kurkova, N. C. Steele and M. Karn , editors, Articial Neural Nets and Genetic Algorithms - Proc. Intl.
Apendice
Avaliacao
Referencias V
Conf. in Prague, Czech Republic, pages 138-141. Springer-Verlag, Prague, Czech Republic, 2001. [14] A. B. Silva and J. L. G. Rosa Biological Plausibility in Articial Neural Networks: An Improvement on Earlier Models. in Proc. The 7th. International Conference on Machine Learning and Applications (ICMLA08), San Diego, California, USA. December 11-13. IEEE Computer Society Press, 2008. [15] A. B. Silva & J. L. G. Rosa, Advances on Criteria for Biological Plausibility in Articial Neural Networks: Think of Learning Processes, in Proc. The 2011 International Joint Conference on Neural Networks (IJCNN 2011), San Jose, California,
Apendice
Avaliacao
Referencias VI
USA. July 31-August 5. IEEE Computer Society Press, pp. 13941401, 2011. ISBN: 978-1-4244-9636-5. [16] S. Song, K. D. Miller, and L. F. Abbott Competitive hebbian learning through spike-timing-dependent synaptic plasticity. Nature Neuroscience, Vol. 3, No. 9, pp. 919926, 2000.
Apendice
Avaliacao
Apendice
Avaliacao
As redes propostas por Silva e Rosa [14] [15] mostraram um desempenho melhor
Resultados do 10-Fold Cross Validation para o modelo uci ttsrm(gr ,st) [15]
Apendice
Avaliacao
Processos de aprendizagem
no modelo srm , seguido pelo ttsrm , depois o scrm ,e por (gr ) (gr ,st) (gr ) ultimo, o modelo mlp [15]. (bp)
Isto nao acontece para a base Mantra, onde scrm foi (gr )
seguido pelo modelo proposto, porque ambos os modelos (ttsrm e scrm ) tem seus parametros biologicos congurados (gr ,st) (gr ) por processos aleatorios [15].
Apendice
Avaliacao
Convergencia
estruturais que afetam os ajustes nos pesos no processo de aprendizagem do que o SRM, necessitando desta forma, de um grande numero de epocas [15]. Isto tambem se aplica ao modelo sCrm [14].