RIDGE REGRESSION

HELLO!
1. Yongky Choirul Anam (1316 105 031)
2. Rima Kusumawati (1316 105 031)
3. Wikaning Tri Dadari (1315 100 016)
4. Azizah (1315 100 017)
5. Iman Rais Afandy (1315 100 067)
6. Dewi Wahyu Setyowati (1315 100 086)
Pendahuluan
Dalam regresi linear berganda, terdapat beberapa variabel bebas
yang terkadang dua atau lebih diantaranya saling berkorelasi. Variabel
bebas yang saling berkorelasi ini disebut multikolinearitas.

Korelasi yang sangat tinggi akan menghasilkan estimator yang

berbias, tidak stabil, atau mungkin jauh dari nilai sasaran (Gonts and
Masson dalam Soemartini, 2008)

Jika tidak terdapat multikolinearitas dalam persamaan regresi liner,

digunakan metode kuadrat terkecil untuk menghasilkan penaksir yang
baik. Namun jika terdapat multikolinearitas, salah satu metode yang
digunakan yaitu metode Ridge Regression.
MULTIKOLINIERITAS.
APA SIH ???
MULTIKOLINIERITAS

Multikolinearitas adalah keadaan dimana terjadi

korelasi yang kuat diantara variabel-variabel
bebas (x) yang diikutsertakan dalam
pembentukan model regresi.
MULTIKOLINIERITAS
Cara Mendeteksi

1. R2 tinggi (>0,7) tetapi sedikit sekali parameter

regresi yang signifikan
2. Tingginya koefisien korelasi antar variabel
prediktor
3. Nilai indeks kondisi
4. Tolerance dan VIF (Variance Inflation Factor)
 MULTIKOLINIERITAS
Cara Mengatasi

1. Adanya informasi apriori

2. Menggabungkan data cross section dengan time series
3. Mengeluarkan satu atau lebih variabel dan kesalahan
spesifikasi
4. Transformasi variabel-variabel
5. Penambahan data baru
6. Principal component regression
7. Ridge regression
8. Partial least square regression
9. Pendekatan Bayes
10. Continuum regression
RIDGE REGRESSION
Kuy Kita Bahas ~~~
 DEFINISI

✘ 
 DEFINISI

✘ 
 DEFINISI

✘ 
METODE CENTERING
Pemusatan merupakan perbedaan antara masing masing
pengamatan dan rata-rata dari semua pengamatan untuk
variabel.

Metode ini mengakibatkan hilangnya b0 sehingga perhitungan

menjadi lebih sederhana.
 METODE CENTERING

✘ 
 METODE CENTERING

✘ 
 METODE RESCALING
✘ 
Contoh Soal
APPENDIX B
SOAL
X1 X2 X3 X4 Y
7 26 6 60 78.5
1 29 15 52 74.3
11 56 6 20 104.3
11 31 8 47 87.6
7 52 6 33 95.9
11 55 9 22 109.2
3 71 17 6 102.7
1 31 22 44 72.5
2 54 18 22 93.1
21 47 4 26 115.9
1 40 23 34 83.8
11 66 9 12 113.3
10 68 8 12 109.4
Pendeteksian Multikolinieritas
The regression equation is
Y = 52,5 + 1,66 X1 + 0,611 X2 + 0,215 X3 - 0,046 X4

Predictor Coef SE Coef T P VIF

Constant 52,46 47,90 1,10 0,305
X1 1,6636 0,5172 3,22 0,012 18,936
X2 0,6111 0,5021 1,22 0,258 124,851
X3 0,2146 0,5094 0,42 0,685 22,606
X4 -0,0456 0,4882 -0,09 0,928 136,613

S = 2,42207 R-Sq = 98,3% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P
Regression 4 2668,83 667,21 113,73 0,000
Residual Error 8 46,93 5,87
Total 12 2715,76
Pendeteksian Multikolinieritas
X1 X2 X3 X4

X2 0,229
0,453

X3 -0,824 -0,150
0,001 0,626

X4 -0,245 -0,973 0,044

0,419 0,000 0,886

Y 0,731 0,816 -0,540 -0,821

0,005 0,001 0,057 0,001

Cell Contents: Pearson correlation

P-Value
Hasil transformasi
Y* X1* X2* X3* X4*
-0.32468 -0.02257 -0.41091 -0.2486 0.517395
-0.40527 -0.31702 -0.35526 0.149511 0.379423
0.170399 0.173723 0.145628 -0.2486 -0.17247
-0.15006 0.173723 -0.31816 -0.16013 0.293191
0.009211 -0.02257 0.071423 -0.2486 0.05174
0.264426 0.173723 0.127077 -0.11589 -0.13797
0.139697 -0.21887 0.423898 0.237979 -0.41392
-0.43981 -0.31702 -0.31816 0.459149 0.241451
-0.04452 -0.26795 0.108525 0.282213 -0.13797
0.392992 0.664468 -0.02133 -0.33706 -0.06899
-0.22298 -0.31702 -0.15119 0.503384 0.068986
0.343101 0.173723 0.331141 -0.11589 -0.31044
0.268263 0.124649 0.36844 -0.16013 -0.31044
 Regresi Ridge
Menggunakan Software R
Syntax
Menggunakan program R

- Memanggil data
datab = read.table(“D://Regresi Ridge.txt”,header=T)

- Syntax regresi ridge

Library(“MASS”)
regd = lm.ridge(Y~X1+X2+X3+X4,datab,lambda=seq(0,1,by=0.05))
Package
Menggunakan program R

H = X(X’X+kI)-1X’
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Output dari program R
Regresi Ridge Software
Syntax dari program SAS
Regresi Ridge Software
Package dari program SAS
Regresi Ridge Software

Output dari program SAS

Regresi Ridge Software
Syntax dan Output dari program MATLAB
 Keberartian Model
✘Model Regd

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0,9739 0,243475 74,62835 3,837853 Model Signifikan
Galat 8 0,0261 0,003263
Total cor 12 1,0000
 Keberartian Model
✘Model Regd1

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0,9811 0,245275 103,8201 3,837853 Model Signifikan
Galat 8 0,0189 0,002363
Total cor 12 1,0000
 Keberartian Model
✘Model Regd2

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0,9816 0,2454 106,6957 3,837853 Model Signifikan
Galat 8 0,0184 0,0023
Total cor 12 1,0000
Keberartian Model
✘Model SAS

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0,9715 0,24288 68,2247 3,837853 Model Signifikan
Galat 8 0,0285 0,00356
Total cor 12 1,0000
Keberartian Model
✘Model MATLAB

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0,9815 0,2454 106,6957 3,837853 Model Signifikan
Galat 8 0,0185 0,0023
Total cor 12 1,0000
 Perbandingan Model

✘Perbandingan 3 Model yang Signifikan :

Lambda MSE
Model 1 0,2 0,003263

Model 2 0,03 0,002363

Model
Model 3 0,02 0,0023 Terbaik
Model 4 0,02 0,00356

Model 5 0,02 0,0023

Regresi Ridge
Secara Manual
Perhitungan manual Regresi Ridge

✘Mentransformasikan variabel x
Variabel Rata-rata S
X1 7.46154 20.3772
X2 48.1538 53.9045
X3 11.6154 22.6070
X4 30 57.9828
Y 95.4231 52.1130
Iterasi 1
Iterasi 1
Iterasi 2
 Iterasi 3

Proses iterasi dihentikan

sehingga untuk penaksir
parameter regresi ridge
menggunakan
 Keberartian Model
✘Model Manual

Hipotesis :
H0 : β1=β2=β3=β4=0 (Model tidak signifikan)
H1 : Minimal ada satu βj≠0;j=1,2,3,4 (Model signifikan)
α=0,05
Statistik uji :
Sumber
db JK KT F F(0,05;4;8)
Variasi Tolak H0
Regresi 4 0.9712 0.2428 67.4444 3,837853 Model Signifikan
Galat 8 0.0288 0.0036
Total cor 12 1,0000
Pendeteksian Multikolinieritas
The regression equation is
Y = 52,5 + 1,66 X1 + 0,611 X2 + 0,215 X3 - 0,046 X4

Predictor Coef SE Coef T P VIF

Constant 52,46 47,90 1,10 0,305
X1 1,6636 0,5172 3,22 0,012 18,936
X2 0,6111 0,5021 1,22 0,258 124,851
X3 0,2146 0,5094 0,42 0,685 22,606
X4 -0,0456 0,4882 -0,09 0,928 136,613

S = 2,42207 R-Sq = 98,3% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P
Regression 4 2668,83 667,21 113,73 0,000
Residual Error 8 46,93 5,87
Total 12 2715,76
 Perbandingan Model

✘Perbandingan Model Manual dan Software yang

Signifikan :
Lambda atau k MSE
Model Software 0,02 0,0023
Model
Model Manual 0.0212176 0.0036 Terbaik
TERIMA KASIH ☺