Fundamentele Reţelelor Neurale

O reţea neurală este construită din unul sau mai mulţi neuroni, care este elementul de bază de
prelucrare. Un neuron are una sau mai multe intrări (dendrite) fiecar edin ele fiind ponderate individual.
Un neuron are una sau mai multe ieşiri (axoni) care sunt ponderaţi când sunt conectaţi la alţi neuroni.
Neuronul însuşi include o funcţie care încorporează întrări (via mmarizare) şi normalizează ieşirile sale
via o funcţie de transfer (fig. 1).
FIGURA 1.
Fig. 1. Un neuron artificial simplu cu echivalentele sale biologice.
Perceptroni cu un strat (Single Layer perceptrons).
Pot fi utilizaţi pentru a emula funcţiile logice cum ar fi NOT, NOR, OR, AND, şi NAND dar nu poate emula
funcţia XOR (care necesită două nivele de neuroni).
Fiecărui neuron ă se aplică o influenză (eroare sistematică - bias) care este adunată la suma ponderilor
intrărilor înainte de pasarea sa către funcţia de transfer. Obişnuit, o pondere este aplicată influenţei.
Influenţa determină nivelul activărilor care sosesc (valoarea ponderii intrării) care sutn cerute pentru ca
neuronul să se stimuleze (fire). Influenţa este în mod obişnuit setată la 1, dar o pondere porezentă
pentru influenţă poate fi reglată de algoritmul de învăţare.
Perceptori multinivel (multi-layer + perceptrons - MLPs)
Fig. 2 Exemplu de perceptron multinivel

Categorii de algoritmi de învăţare.

• În învăţare supravegheată reţeaua este instruită cu date pentru care se cunosc răspunsurile corecte şi
răspunsurile greşite. Calculţnd ieşirea reţelei neurale şi comparând acestea cu excepţiile (ieşiri excepţie)
pentru datele respective de test, putem indetifica eroarea şi ajusta ponderile corespunzător. Exemple de
algoritmi de învăţare supravegheată: „Perceptron learging algorithm, Least-Mean - Squares learning,
and Backpropagation”.
• Algoritmi de învăţare nesupravegheată: nu se cunosc răspunsuri în date de test. Ceea ce fac aceşti
algoritmi este de a analiza datele pentru a înţelege similarităţile şi deosebirile. Pot fi aflate asocierile
datelor. Exemple: Adaptinve Resonance Theorz (ART) şi Kohonen Self-organizing Maps.

Intrări şi ieşiri binari vs continue.

Perceptronul.
Probleme linear separabile (linear separable, linear discriminants).
Un discriminant linear poate fi utilizat pentru a clasifica şabloanele de intrare în două clase.
DESEN

Discrimanantul linear pentru funcţiile logice.

DESEN

Algoritmul de învăţare al Perceptronului.

Este un algoritm de învăţare supravegheată.
Ponderile iniţiale sunt setaet la 0. Ponderile sunt ajustate pentru a se clasifica în setul de învăţare.
Fiecare exemplu din setul de învăţare este aplicat perceptronului, iar eroarea (rezultat negativ) este
utilizată pentru a ajusta ponderile. O rată de învăţare (număr mic între 0 şi 1) este aplicat pentru a
minimiza schimbările aplicate la fiecare pas.
Învăţarea perceptronului operează cu valori binare.
DESEN
R = step (i0w0 + i1w1 + wb).
Funcţia stept () pune rezultatul la 1.0 dacă excede pragului astfel rezultatul este -1,0.
Fiind dat un set de învăţare pentru perceptron se aplică fiecare element al setului de învăţare
perceptronului şi pentru fiecar exemplu de ajustează ponderile bazate pe eroare. Eroarea este definită
ca rezultatul aşteptat minus rezultatul actual.
FORMULA

Aplicarea algoritmului continuă până ce ponderile nu se mai schimbă deoarece toate testele au fost
clasificate corespunzător.

Implementarea perceptronului.
În implementare, perceptronul este învăţat ca un set de învăţare (o funcţie booleană), şi dupa calcularea
erorii (a rezulltatului dorit versus rezultat actual), ponderile sunt ajustate prin (e.3). Calculul ieşirii este
efectuat în funcţia complete care implementează ecuaţia (e.2). Procesul de instruire continuă pe un
număr maxim de iteraţii, şi când se termină, se emite tabela de adevăr pentru funcţia booleană
(perceptron c).
Învăţare Least-Square (LMS)
LMS cunoscut şi ca: - Widrow - Hoff rule
Delta rule, este un algoritm rapid care minimizează Mean-Square Error (MSE).
Apelat din algoritmul perceptronului operaeză până ce clasifică corect întreg seful de învăţare. La acest
punct a fost găsită o soluţie.
O altă abordare este de a învăţa perceptronul utilizând un criteriu de terminare - se continuă învăţarea
cât timp MSE este mai mare decât o anumită valoare.
N

  R C j 
2

j 1
MSE  .
N
Abaterea medie pătratică a ponderilor erorii pentru N seturi de învăţare.
R - ieşirea perceptronului
Cj - intrarea curentă.

Algoritmul de învăţare LMS

Pentru a învăţa perceptronul utilizând LMS vom itera pe setul de test, luând un set de intrări, calculând
ieşirea şi utilizând eroarea pentru a ajusta ponderile. Acest proces este realizat fie aleator pentru setul
de test, fie pentru fiecare set în succesiune.
Regula de învăţare.
(e.5.). Wi+1 = W + p(R – C) E
Ajustează ponderea bazată pe eroare (R – C sau rezultat scontat - rezultat actual). Odată calculată
eroarea, ponderile sunt ajsutate prin valori mici (p) în direcţia intrării (E). Aceasta aer efectul ajustării
ponderilor pentru a reduce eroarea de ieşire.
LMS poate opera cu cu valori reale (diferenţa faţă de perceptron).

Implementarea LMS
Iniţial, vectorul de podneri este iniţializat cu ponderi mici generat e aleator. Ciclul principal alege aleator
un test, claculează ieşirea neuronului, şi determină eroarea ca diferenţă dintre rezultatul aşteptat şi
rezultatul actual. Utilizând erorea se aplică (e.5.) fiecărei ponderi din ??????. Ciclul continuă cu controlul
MSE petnru a vedea dacă s-a atins o valoare acceptabilă, şi dacă da, se iese cu calculul tabelei de adevăr
a neuronului.
Învăţarea cu propagare înapoi (Backpropagation).
Pentru un set de test propagă un test prin MLP pentru a calcula ieşirea ((ieşirile). Se calculează eroarea.
Această eroare este propagată înapoi pe reţea pentru a ajusta toate ponderile pornind de la ponderile
nivelului de ieşire la ponderile nivelului de intrare.
feefforward (propagate in/out)
Fig. Simple network illustrating forward propagation and backward eroor propagation.
DESEN - BACK PROPAGATE ERROR
Ca şi învăţarea LMS, backpropagation ajustează ponderile cu o valoare proporţională cu eroarea pentru
unitatea dată (ascuns au ieşire) multiplicat de pronderi şi intrările sale.
Procesul continuă până la îndeplinirea unui criteriu de terminare, cum ar fi o eroare patratică minimă,
sau un număr maxim de iteraţii. Este cel mai popular algoritm de învăţare şi utlizat pentru a instrui
reţele neurale pentru o varietate de aplicaţii.
(e.6) E0 = (Yi – ui)g'(ui)
 i n 
En     wh,i E0   g  un  .
 i 1 
În ambele ecuaţii u este ieşirea unei celule date, cunoscută şi ca activarea sa.
Y este răspunsul corect (aşteptat).
W reprezintă toate ponderile (de la 1 la n) conectând celulele ascunse la toate celulele de intrare (într-o
reţea full conectată(. Funcţia de activre sau trasfer (g) utilizată va fi fruncţia standard de închidere a
????????????????.
Cât timp reprezintă ???????? g' reprezintă derivata de ordinul întâi la sigmoidului conform ecuaţiei
(e.8.).
(e.8.) g(u) = u(1 – u)
(e9) Wi,j = wi,j + pEui
Considerăm imaginile bitmap ale cifrelor 0-9 reprezentate prin 35 puncte (7 x 5). Deoarece oricare din
celulele de ieşire pot fi activate, vom considera cea mai largă activare ca celula utilizată într-un stil
denumit învingătorul - ia - totul. (winners - takes - all). Generalizarea reţelei va fi testată prin
introducerea de zgomote la intrare. Cea mai largă activare indică numprul recunoscut.
Nivelul de intrare constă din 35 de celule, pentru fiecare pixel al imagini, cu zece celule nivelul avans şi
10 în nivelul de ieşire. Reţeaua este comple interconectată cu 350 conexiuni între nivelul de intrare şi cel
intermediar şi alte 350 conexiuni între cel intermediar şi ieşire.
DESEN.
(e.10) wi,j = wi,j + pEu,i + Mwi,j - last weight change
(E.11)  wi,j = pEu,i
Weight decaz (diminuarea ponderii).
Wi,j - is a large number (such as 0,95) so that 5% of the weight is decayed for each iteration.
Probababilistic Neural Networks (PNN)
Nu are ponderi în nivelul ascuns. Fiecare nod ascuns reprezintă un vector exemplu, cu exemplul
acţionând ca pondere pentru acest nivel ascuns. Acestea nu sunt deloc ajustate.
DESEN
Nivelul de intare (reprezentată de un şablon) este comple interconencat cu nivelul ascuns constând din
vectori exemplu.
Vectorul curent serveşte ca ponderi aplicate nivelului de intrare. Nivelul ascuns nu este complet
conectat cu cel de ieşire.
E – vector exemplu
F – intrare
(e.13) hi = Ei · F
 N
 ni 1
e 2

(e.14) C j  i 1
.
N
N – numărul total de exemple.
hi – activarea nodului ascuns. Se alege prin experimentare.
DESEN – Example of a time series with a sliding window
DESEN – Example of a multi layer neural netword for time-series predictron
DESEN – An exemple recurent neural networke (feed back)
DESEN – A recurrent neural network with longer term memory.
Definirea intrărilor considerăm un set de intrări care descriu vremea ca una din stările (sunny, cloudy,
raining, snowing).
DESEN
Folosirea codificării binare reduce numărul de intrări. Această schemă funcţionează numai pentru intrări
mutual exclusive.

Învăţare nesupravegheată.
Este o metodă de clasificare a datelor care necesită date nestructurate şi nu cere o înţelegere a structurii
lor. Algoritmii de învăţare nesupravegheată (nedirijată) identifică structura prin separarea datelor în
grupuri distincte pentru o analiză ulterioară. Realizează aceasta prin găsirea de similarităţi în datele
brute şi prin gruparea acestora. Ceea ce nu pot face algoritmii aceştia este de a denumi clusterele de
date; nu au cunoştinţe de ce datele de învăţare sunt grupate împreună şi ce anume reprezintă fiecare
grup: pur şi simplu identifică similarităţile şi clusterizează corspunzător.
DESEN. Pot fi utilizate pentru a comprima sau transforma datele.

Hebbgian Learning
Este bazat pe postulatul:
„When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes parts in
fining it, some growath process or metabolic change take place in on or both cells such that A’s
efficeincy, as on of the cells firind B, is increased: Hebb 1949
Hebb, D.o, The organization of Behavior: A
Neuropsychological Theory, Wiley, New York, 1949.
În termeni simpli, dacă două celule nervoase simt simultan (firing), atucni orice pondere care le
conectează trebuie să fie mărită. În acest nod neuronii conectaţi se consolidează fiecare din ei pentru a
suporta învăţarea. Notăm că Hebb a introdus conceptul ponderilor crescânde dar nu şi al celor
descrescătoare.

Regula lui Hebb

Ideea de bază a lui Hebb este că ori de câte ori avem două celule cu activare similară, ponderile care le
conectează trebuie întărite. Din perspectiva recunoaşterii şabloanelor, aceasta prevede mijloace de a
întări ponderile câdn intrările sunt similare şi de a le slăbi când sunt diferite.
Implementarea regulii este dată de ecuaţia:
Wj  x j y j unde ɛ este rata de învăţare.
 0    1 , x este intrarea, y este ieşirea, şi Wi,j este ponderea care le conectează.
DESEN. Pentru a învăţa reţeaua ce alimentează cu şablonul de intrare şi duplică valoarea de intrare la
ieşire. După ce ponderile au fost instruite prin utilizarea regulii de învăţare a lui Hebb, reţeaua poate
rechema şablonul de ieşire din cele prezentate la intrare (ponderile codifică memoria şabloanelor).
DESEN. O reprezentare abstractă a recunoaşterii şabloanelor furnizează o mapare de la intrare la ieşire.

Implementarea regulilor Hebb

Vector quantization (cuantificare, sudivizare, dozare).
Nivelul de intare are un număr de noduri definit de lungimea vectorului caracteristic iar nivelul de ieşire
are un număr de noduri dfenite de numorul claselor anticipate.
Fiecare nod de ieşire se conectează la fiecare intrare printr-o pondere de instruire. Pe măsură ce se
aplică la intrare fiecare vector prototip este aplicat reţelei un algoritm simplu de trimitere înainte
(alimentare), calculează activarea fiecărui nod de ieşire după ecuaţia:

yM  WM ,i xi .
Feature vector – înfăţişare caracteristică faţă.
Pentru fiecare nod M suma produselor vectorului prototip (x) şi ponderile determină activarea.
O abordare învingătorul - ia – totul decide care activare particulară este aleasă ca o clasificare corectă.
Ponderile asociate cu nodul învingător (M) sutn actualizaze pentru intrarea x şi rata de instruire p astfel:
(ec.3) WM,i = WM,i + p(xi – WM,i)

K – Means clustering
Sunt k clustere iar media conţinutului clusterului determină centrul de greutate (cluster – centroid).
DESEN. Fluxul de bază al algoritmului K – means.
Centroidul este media tututor vectorilor de înfăţişare (de clusterizare) curenţi conţinuţi în cluster.

DESEN. Schimbarea centrului de greutate la pierderea unui câmp de date.

Algoritmul k – Means
Numărul de clustere (K) trebuie definit apriori (principalul impediment al algoritmului)
DESEN.
Fluxul de bază al algoritmului de clusterizare K – Means.
Se calculează distanţa Euclideană a centrului de greutate la vectorul de înfăţişare.

i  xi ci 
i n 2
d
Xi – vectorul de înfăţişare de intrare;
ci – centroid;
i – indexul vectorului de înfăţişare.

Adaptive Resonance Theory (ART).

ART – 1 – binar
ART – 2 – continuu.
ART – 1 – dezvoltat pentru a rezolva dilema stabilităţii plastice (stability – plasticity dilema) care se
referă la un conflict în abilitatea de a menţine informaţia veche învăţată cu păstrarea calităţii de a fi
adaptabil la învăţarea de noi informaţii.

SI MAI URMEAZA NR DE TELEFON AL CAMELUTEI SI NISTE URARI PT ANUL 2010!!!!!!!

BUZZZZZZZZ

NICOLETA