Jaringan Syaraf Tiruan

PKB - Antonie
Biological nspiration
Animals are able to react adaptively to
changes in their external and internal
environment, and they use their nervous
system to perform these behaviours.
The nervous system is build by relatively
simple units, the neurons, so copying their
behavior and functionality should be the
solution.
uman Brain
Bertugas untuk memproses informasi
Seperti prosesor sederhana
Masing-masing cell tersebut berinteraksi
mendukung kinerja otak
Setiap sel (neuron) memiliki satu nukleus
(soma), bertugas memproses informasi,
informasi diterima oleh dendrit, dan disebarkan
melalui akson
Pertemuan informasi antar syaraf berada di
sinapsis
uman Brain
Manusia memiliki krg lbh 10^12 neuron! Dan
6x10^18 sinapsis!
nformasi yang dikirimkan berupa rangsangan
dengan sebuah batas ambang (threshold)
Pada batas tertentu, syaraf lain akan teraktifasi dan
merespon
ubungan antar syaraf terjadi secara dinamis
Otak manusia memiliki kemampuan untuk
belajar dan beradaptasi
Mampu mengenali pola, wajah, mengkontrol organ
tubuh!
uman Neuron
Dendrites
Soma (cell body)
Axon
uman Neuron (Detail)
synapses
axon
dendrites
uman Brain
Neuron merupakan sistem yang fault
tolerance
Dapat mengenali sinyal input yang berbeda
dari sebelumnya
Dapat mengenali orang yg blm pernah ditemui
hanya dengan melihat dari foto
Dapat mengenali orang yang berubah krn tua
misalnya
Tetap dapat bekerja walau beberapa
neuronnya rusak, neuron lain dapat tumbuh
dan dilatih
earning in biological systems
earning learning by adaptation
The young animal learns that the green Iruits are sour,
while the yellowish/reddish ones are sweet. The learning
happens by adapting the Iruit picking behavior.
At the neural level the learning happens by changing oI the
synaptic strengths, eliminating some synapses, and
building new ones.
earning as optimisation
The objective oI adapting the responses on the basis oI the
inIormation received Irom the environment is to achieve a
better state. E.g., the animal likes to eat many energy rich,
juicy Iruits that make its stomach Iull, and makes it Ieel
happy.
In other words, the objective oI learning in biological
organisms is to optimise the amount oI available resources,
happiness, or in general to achieve a closer to optimal state.
JST
Suatu sistem pemrosesan informasi yang mencoba
meniru kinerja otak manusia
Merupakan generalisasi model matematis dengan
asumsi:
Pemrosesan informasi terjadi pada elemen sederhana (=neuron)
Sinyal dikirimkan diantara neuron-neuron melalui penghubung
(=dendrit dan akson)
Penghubung antar elemen memiliki bobot yang akan menambah
atau mengurangi sinyal
Untuk menentukan output, setiap neuron memiliki fungsi aktivasi
(biasanya non linier) yang dikenakan pada semua input
Besar output akan dibandingkan dengan threshold
JST
Baik tidaknya suatu model JST ditentukan
oleh:
Pola antar neuron (arsitekur jaringan)
Metode untuk menentukan dan mengubah
bobot (disebut metode learning)
Fungsi aktivasi
JST disebut juga: brain metaphor,
computational neuroscience, parallel
distributed processing
JST
JST dapat belajar dari pengalaman!
Biasanya berhubungan dengan angka (numerik)
sehingga data yang tidak numerik harus dibuat
ke numerik
Tidak ada rumus yang tetap (fixed) sehingga
disebut dengan free-estimator!
JST disebut black box atau tidak transparan
karena tidak mampu menjelaskan bagaimana
suatu hasil didapatkan!
JST mampu menyelesaikan permasalahan yang
tidak terstruktur dan sulit didefinisikan!
Kelebihan JST
Mampu mengakuisisi pengetahuan walau tidak
ada kepastian
Mampu melakukan generalisasi dan ekstraksi
dari suatu pola data tertentu
JST dapat menciptakan suatu pola pengetahuan
melalui pengaturan diri atau kemampuan belajar
(self organizing)
Memiliki fault tolerance, gangguan dapat
dianggap sebagai noise saja
Kemampuan perhitungan secara paralel
sehingga proses lebih singkat
JST mampu:
Klasifikasi: memilih suatu input data ke dalam
kategori tertentu yang sudah ditetapkan
Asosiasi: menggambarkan suatu obyek secara
keseluruhan hanya dengan bagian dari obyek
lain
Self organizing: kemampuan mengolah data-
data input tanpa harus mempunyai target
Optimasi: menemukan suatu jawaban terbaik
sehingga mampu meminimalisasi fungsi biaya
Kelemahan JST
Kurang mampu untuk melakukan operasi
operasi numerik dengan presisi tinggi
Kurang mampu melakukan operasi
algoritma aritmatik, operasi logika dan
simbolis
amanya proses training yang mungkin
terjadi dalam waktu yang sangat lama
untuk jumlah data yang besar
Aplikasi JST
Pengenalan pola (pattern recognition)
uruf, tanda tangan, suara, gambar yang sudah
sedikit berubah (mengandung noise)
dentifikasi pola saham
Pendeteksian uang palsu, kanker
Signal Processing
Menekan noise pada saluran telepon
Peramalan
Peramalan saham
Autopilot dan simulasi
Kendali otomatis otomotif
Aplikasi JST
Tasks to be solved by artiIicial neural networks:
controlling the movements oI a robot based on selI-
perception and other inIormation (e.g., visual
inIormation);
deciding the category oI potential Iood items (e.g.,
edible or non-edible) in an artiIicial world;
recognizing a visual object (e.g., a Iamiliar Iace);
predicting where a moving object goes, when a robot
wants to catch it.
Sejarah
Model JST formal pertama diperkenalkan oleh
McCulloch dan Pitts (1943)
1949, ebb mengusulkan jaringan ebb
1958, Rosenblatt mengembangkan perceptron
untuk klasifikasi pola
1960, Widrow dan off mengembangkan
ADANE dengan aturan pembelajaran east
Mean Square (MS)
1974, Werbos memperkenalkan algoritma
backpropagation untuk perceptron banyak
lapisan
Sejarah
1982, Kohonen mengembangkan learning unsupervised
untuk pemetaan
1982, Grossberg dan Carpenter mengembangkan
Adaptive Resonance Theory (ART, ART2, ART3)
1982, opfield mengembangkan jaringan opfield untuk
optimasi
1985, Algoritma Boltzmann untuk jaringan syaraf
probabilistik
1987, dikembangkan BAM (Bidirectional Associative
Memory)
1988, dikembangkan Radial Basis Function
Model Neuron JST
X1
X2
X3
Y1
Y2
Y3
W1
W2
W3
Fungsi aktivasi
Masukkan Keluaran
Bobot
Y1 = X1.W1 + X2.W2 + X3.W3; dst.
) ( ;
1

3

Model Neuron
Pada JST, neuron-neuron akan dikumpulkan
dalam lapisan lapisan yang disebut dengan
layers
Neuron dalam satu lapisan akan dihubungkan
dengan neuron pada lapisan lainnya
Kadang muncul juga layer tersembunyi (hidden
layer) untuk menambah keakuratan pelatihan
nformasi tersebut bisa dirambatkan secara
forward ataupun backward
stilah dalam JST
Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST
Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling
berhubungan dan membentuk lapisan
nput: sebuah nilai input yang akan diproses menjadi nilai output
Output: solusi dari nilai input
idden layer: lapisan yang tidak terkoneksi secara langsung dengan
lapisan input atau output, memperluas kemampuan JST
Bobot: nilai matematis dari sebuah koneksi antar neuron
Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai
bobot per-iterasi dari semua nilai input.
Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya
dan kemudian menjumlahkannya (disebut penjumlahan sigma)
Berbentuk linier atau tidak linier, dan sigmoid
Paradigma pembelajaran: bentuk pembelajaran, supervised
learning, atau unsupervised learning
JST dengan 3 layer
Arsitektur Jaringan
Single ayer
anya memiliki satu lapisan dengan bobot-bobot terhubung.
angsung menerima input dan mengolahnya menjadi output
tanpa menggunakan hidden layer
Multi ayer
Memiliki satu atau lebih lapisan input, satu atau lebih lapisan
output, dan lapisan tersembunyi
Dapat menyelesaikan masalah yang lebih kompleks karena lebih
akurat
Fungsi pembelajarannya lebih rumit
Kompetitive Model / Recurrent Model
ubungan antar neuron tidak diperlihatkan secara langsung
pada arsitektur
ubungan antar neuron dapat digambarkan sebagai jaring yang
rumit
Model JST
Single ayer
Multi ayer
Competitive ayer /
Recurrent
Pengelompokkan JST
JST Feed Forward
Tidak mempunyai loop
Contoh: single layer perceptron, mutilayer
perceptron, radial basis function
JST Feed Backward (Recurrent)
Memiliki loop, lapisan output akan memberi
input lagi bagi lapisan input
Contoh: competitive networks, kohonen,
hopfield, ART
Paradigma pembelajaran
Supervised earning
Kumpulan input berusaha membentuk target output yang sudah
diketahui sebelumnya
Perbedaan antara output yang masih salah dengan output yang
diharapkan harus sekecil mungkin
Biasanya lebih baik daripada unsupervised
Kelemahan: pertumbuhan waktu komputasi eksponensial, data
bnyk berarti semakin lambat
Unsupervised earning
JST mengorganisasikan dirinya untuk membentuk vektor-vektor
input yang serupa tanpa menggunakan data atau contoh-contoh
pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu
ibrida earning
Gabungan antara unsupervised dan supervised
Algoritma Pembelajaran Umum
Dimasukkan n data pelatihan
nisialisasi bobot-bobot jaringan, set i = 1
Masukkan contoh ke-i ke dalam input
Cari tingkat aktivasi unit output menggunakan
algoritma yang ditetapkan
f memenuhi kriteria output then exit
else:
Update bobot2 menggunakan fungsi galat error,
Bobot baru = bobot lama + delta
f i=n then reset i=1, else i=i+1
JST dan Aplikasi
Klasifikasi: ADANE, Backpropagation
Pengenalan Pola: ART, Backpropagation
Peramalan: ADANE, MADANE,
Backpropagation
Optimasi: ADANE, opfield, Boltzman,
Backpropagation
Fungsi Aktivasi
Fungsi undak biner (hard limit)
Fungsi undak biner (threshold)
7
Fungsi Aktivasi
Fungsi bipolar
Fungsi bipolar dengan threshold
Fungsi Aktivasi
Fungsi inier (identitas)
Fungsi Sigmoid biner
McCulloch Pitts
Fungsi aktivasi biner
Besar bobotnya sama
Memiliki threshold yang sama
Contoh buat fungsi logika "and, input X1 dan X2, dan Y =
1 jika dan hanya jika inputan 1
X1 X2 Y
1 1 1
1 0 0
0 1 0
0 0 0
Jawab
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 0
0 1 0.1+1.1=1 0
0 0 0.1+0.1=0 0
Ternyata BERAS mengenali pola
X
1
X
2
Y
2
1
1
Problem "OR
X1 X2 net Y, 1 jika net >=1, 0 jika net < 1
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 1
0 1 0.1+1.1=1 1
0 0 0.1+0.1=0 0
Ternyata BERAS mengenali pola
X1
X2
Y
1
1
1
Problem "X1 and not(X2)
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.2+1.-1=1 0
1 0 1.2+0.-1=2 1
0 1 0.2+1.-1=-1 0
0 0 0.2+0.-1=0 0
Ternyata BERAS mengenali pola
X1
X2
Y
2
2
-1
Problem "XOR
X1 X2 Y
1 1 0
1 0 1
0 1 1
0 0 0
GAGA!
F(1,1) = 0
F(1,0) = 1 F(0,0) = 0
F(0,1) = 1
Solusi
XOR = (x1 ^ ~x2) V (~x1 ^ x2)
Ternyata dibutuhkan sebuah layer
tersembunyi
X1
X2
Z1
Z2
Y
2
2
-1
-1
1
1
2
2
1
Tabel
Jaringan EBB
Menggunakan iterasi untuk menghitung bobot dan bias
Dalam setiap iterasi, bobot dan bias diubah berdasarkan
rumus tertentu
W = bobot
Wbaru = Wlama + X1Y1
Algoritma:
nit, semua bobot wi = 0
Untuk semua input:
Set fungsi aktivasi xi = si
Set output y=t
Perbaiki bobot: w(baru) = w(lama) + delta w, dengan delta w = xi*y
Perbaiki bias, b(baru) = b(lama) + y
To Be Continued
Jaringan EBB
Jaringan Perceptron
Jaringan Back Propagation
ybrid JST