Teknik Implementasi pada Datawarehouse

Beberapa pendekatan yang digunakan untuk mengimplementasikan

arsitektur warehouse, yaitu secara bottom up, top down atau kombinasi
antara keduanya.
1. Desain Implementasi Pendekatan Top Down
Langkah awal implementasi data warehouse dengan pendekatan top down
adalah membangun sebuah data warehouse pada semua data perusahaan,
setelah itu dilanjutkan dengan membangun data mart yang berisi data
warehouse khusus yang merupakan bagian dari data warehouse yang
dibangun sebelumnya.
Arsitektur ini biasa juga disebut dengan Hub-and-Spoke Architecture (The
Corporate Information Factory)
Awalnya dibangun sebuah Enterprise Data Warehouse.
Data level atomic disimpan dalam 3th Normal Form dalam Enterprise Data
Warehouse.
Data akan di extract dari Source System dan di Load ke dalam Data
Warehouse pada level Granularity terendah (Data level atomic).
Data akan di Load kedalam Data Warehouse lewat Persistent Staging Area.
Data dalam Data Warehouse kemudian akan dibuat Summary-nya, dibuat
Dimensional dengan cara diteruskan ke beberapa Dependent Data Mart,
Data Mart ini hanya menyimpan Data Summary yang disimpan dalam StarSchema
atau Snowflake-Schema.
User bisa melakukan Query baik ke Data Warehouse maupun ke Data Mart
Bill Inmon menganjurkan dan mempromosikan arsitektur ini
Keuntungan pendekatan top-down :
1. Upaya yang dikeluarkan ditujukan untuk data perusahaan secara
menyeluruh.
2. Arsitekturnya bukan hanya sekedar menggabungkan beberapa data marts
yang terpisah.
3. Tempat penyimpanan data hanya satu dan terpusat.
4. Aturan dan kontrol dilakukan secara iteratif, maka hasilnya akan dapat
diperoleh dengan cepat.
Kerugian dari pendekatan top-down :
1. Waktu yang dibutuhkan untuk proses implementasi akan lebih lama,
sekalipun dilakukan dengan metode iteratif.
2. Kemungkinan gagal saat proses implementasi lebih besar.
3. Membutuhkan keahlian tingkat tinggi untuk dapat melakukan crossfunctional.
4. Jika tanpa konsep pembuktian, maka kemungkinan biaya pengeluaran
untuk prosesimplementasi akan lebih besar.
2. Desain Implementasi Pendekatan Bottom Up
Implementasi bottom up dimulai dengan membangun data mart untuk

menyelesaikan suatu permasalahan tertentu tanpa menunggu dari

pengembangan infrastruktur yang telah lengkap. Ketika ada permasalahan
yang lain, maka akan dibuatkan data mart baru. Begitu juga seterusnya.
Selanjutnya bermacam-macam data mart tersebut digabungkan menjadi
sebuah data warehouse.
Arsitektur ini biasa juga disebut dengan The Data warehouse Bus Structure
Awalnya dibangun sebuah Dimensional Data Mart, belakangan
dbisa dikembangkan menjadi beberapa Data Mart sesuai dengan
kebutuhan dan budget dari bisnis User.
Data Mart mengandung baik Data atomic maupun Data
Summary
Tidak ada model Normalized, semua Data Mart adalah imensional yang
diorganisasikan dalam Star-Schema
Data yang diload ke Data Mart lewat non-persistent Staging
Area
Penggunaan Conform Dimension adalah Mandatory, dengan
menggunakan Bus Architecture maka semua Data Mart bisa
saling terintegrasi secara logika sehingga dapat memberikan
pandangan Enterprise akan Data.
Ralph Kimball menganjurkan dan mempromosikan arsitektur
ini
Keuntungan pendekatan bottom-up adalah sbb:
1. Proses yang dilakukan lebih mudah dibanding pendekatan top-down,
sehingga waktunya juga lebih cepat.
2. Lebih menguntungkan untuk mengembalikan investasi dan melakukan
konsep pembuktian.
3. Kemungkinan gagal saat proses implementasi lebih kecil.
4. Memungkinkan tim pengembang untuk belajar dan berkembang.
Kerugian pendekatan bottom-up:
1. Setiap data mart hanya memiliki ruang lingkup data yang sempit.
2. Memungkinkan adana pengulangan data pada setiap data mart.
3. Memungkinkan terjadinya data yang konsisten dan tidak dapat disatukan.
4. Perkembangan antarmuka sistem tidak dapat dikendalikan.
Dalam perkembangannya saat ini ada dua pendekatan lain dalam
membangun Data Warehouse seperti dijelaskan dibawah ini:
3. Desain Implementasi Hybrid approach
Suatu pendekatan yang menggunakan campuran dari pendekatan top down
dan pendekatan bottom up.
Methodology ini dikembangkan untuk menghindari kekacauan data Mart
pada methodology yang ada sebelumnya Dimulai dengan membuat
Enterprise Data Model. Ketika ditambahkan Data Mart, Data Model pada Data
Warehouse diperluas dengan teknik incremental Enterprise Data Model.
Setelah Data Mart pertama selesai dibangun, dapat dilanjutkan dengan
membangun beberapa Data Mart berikutnya sesuai dengan kebutuhan
Business User.

 Data Mart dibangun lebih dahulu dibanding dengan Data Warehouse.

Tidak seperti methodology tradisional, Data Mart di populate dengan ETL
Tool bukan dari Data Warehouse.
Demikian juga halnya dengan Aggregate yang dihitung dengan ETL Tool,
bukan dari Data Warehouse, menggunakan teknik Incremental Aggregation
Data Mart mengandung Data atomic yang relevan dengan spesifik
Business area dan juga mengandung Data Summary atau Aggregate nya.
Pembangunan Data Warehouse adalah opsional dan bisa dibangun
belakangan sampai diperlukan usaha untuk menekan redudancy Data atomic
atau untuk mengkonsolidasikan Data atomic dalam satu database terpusat.
Pembangunan ODS adalah opsional dan dapat dibuat belakangan.
Semua komponen dalam arsitektur ini terintegrasi dengan metadata yang
dihasilkan dan disinkronkan secara otomatis oleh ETL Tool.
Data yang di load kedalam dimensional Data Mart lewat non-persistent
Staging Area.
Data Mart bersifat Dependent, namun ketergatungannya hanya
berdasarkan turunan Lokal Meta Data dari pusat Meta Data bukan
tergantung pada Data dari Data Warehouse.
Aplikasi Data Warehouse berdasarkan arsitektur hub-and-spoke, namun
dengan hub dari ETL Tool bukan hub dari Data Warehouse.
Pieter Mimno, Myers & Holum yang menganjurkan dan mempromosikan
arsitektur ini.
5. Desain Implementasi Federated approach
Methodology ini sebenarnya bukan arsiktektur namun lebih sebagai suatu
Theory yang membolehkan untuk mengintegrasikan asset Data agar dapat
memuhi kebutuhan dan untuk merespon kondisi yang dinamis.
Menyatukan data dari berbagai sumber, termasuk dari Data Mart atau Data
Warehouse yang lain
Memang bukan methodology yang elegan namun adakalanya sangat
berguna dan sesuai dengan banyak kebutuhan.
Methodologi ini biasanya dianjurkan pada perusahaan yang sudah
mempunyai lingkungan Decision Support yang komplek namun tidak ada
keinginan untuk membangun ulang.
Doug Hackney & Eckerson.yang menganjurkan dan mempromosikan
arsitektur ini.
Referensi :
1. http://blog.ub.ac.id/nando123ksp/2010/11/02/data-warehouse
2. Muhammad Subhan |subhan@b inus ian.or g |YM:subhan_0072001
Anda mungkin juga meminati:

Teknik Implementasi pada Datawarehouse

Mengenal Network (Jaringan)

Mengenal tentang Komputer

http://kat0kb0l0ng.blogspot.com/2011/09/teknik-implementasi-padadatawarehouse.html

Data Warehouse
Sebuah gudang data adalah gudang data organisasi disimpan secara
elektronik, dirancang untuk memfasilitasi pelaporan dan [analisis 1].
Definisi dari data warehouse berfokus pada penyimpanan data. Namun, cara
untuk mengambil dan menganalisis data, ekstrak, transformasi dan data
beban, dan untuk mengelola data kamus juga dianggap komponen penting
dari sistem penyimpanan data. Banyak referensi ke data pergudangan
menggunakan konteks yang lebih luas. Jadi, definisi yang diperluas untuk
data pergudangan meliputi alat intelijen bisnis, alat untuk ekstrak, transform
dan load data ke dalam repositori, dan alat untuk mengelola dan mengambil
metadata.
Data pergudangan muncul membutuhkan sebuah organisasi untuk dapat
diandalkan, laporan konsolidasi, unik dan terpadu dan analisis data tersebut,
pada tingkat agregasi yang berbeda.
Realitas praktis organisasi yang paling adalah bahwa data infrastruktur
mereka dibuat oleh sistem koleksi heterogen. Sebagai contoh, sebuah
organisasi mungkin memiliki satu sistem yang menangani hubungan
pelanggan, sistem yang menangani karyawan, sistem yang menangani data
penjualan atau data produksi, belum lagi sistem keuangan dan data
anggaran, dll Dalam prakteknya, sistem ini sering buruk atau tidak semua
pertanyaan yang terintegrasi dan sederhana seperti: Berapa banyak waktu

melakukan penjualan Seseorang keluarkan untuk pelanggan C, berapa

banyak kami menjual kepada Nasabah C, C adalah pelanggan puas dengan
layanan yang disediakan, Apakah Pelanggan C membayar tagihan bisa
sangat sulit untuk menjawab, meskipun informasi tersedia suatu tempat
pada sistem data yang berbeda.
Masalah lainnya adalah bahwa sistem ERP dirancang untuk mendukung
operasi yang relevan. Sebagai contoh, sistem keuangan mungkin melacak
setiap cap tunggal membelinya; Ketika diperintahkan, ketika disampaikan,
ketika dibayar dan sistem akan menawarkan prinsip-prinsip akuntansi
(seperti pembukuan ganda) yang semakin merumitkan model data. Informasi
tersebut sangat bagus untuk orang yang bertanggung jawab untuk membeli
perangko atau akuntan berusaha menyelesaikan ketidakteraturan, tapi
CEO pasti tidak tertarik pada informasi rinci, misalnya, CEO ingin tahu hal-hal
seperti Apa biaya?, Apa pendapatan?, melakukan inisiatif terbaru kami
mengurangi biaya? dan ingin memiliki informasi ini pada tingkat agregat.
Namun masalah lain mungkin saja organisasi ini, secara internal, dalam
perselisihan tentang data yang benar. Sebagai contoh, departemen
penjualan mungkin memiliki satu pandangan biaya, sementara departemen
keuangan memiliki pandangan lain biaya yang. Dalam kasus-kasus seperti
organisasi dapat menghabiskan waktu tak terbatas membahas yang punya
pandangan yang benar dari data.
Ini adalah sebagian tujuan data pergudangan untuk menjembatani masalah
tersebut.Penting untuk dicatat bahwa di data pergudangan sistem data
sumber dianggap sebagai diberikan: Meskipun sistem sumber data mungkin
telah dibuat sedemikian rupa sehingga sulit untuk mengekstrak informasi
yang terintegrasi, bagian data pergudangan jawaban tidak untuk
mendesain ulang sistem sumber data tetapi untuk membuat data muncul
konsisten, terpadu dan konsolidasi meskipun masalah dalam sistem sumber
yang mendasarinya. Data pergudangan mencapai ini dengan menggunakan
teknik pergudangan data yang berbeda, membuat satu atau beberapa
repositori data baru (yaitu gudang data) yang model data (s) mendukung
pelaporan yang diperlukan dan analisis.

Arsitektur

Arsitektur, dalam konteks data organisasi usaha pergudangan, adalah

konseptualisasi tentang bagaimana data warehouse dibangun. Tidak ada

arsitektur yang benar atau salah, melainkan ada beberapa arsitektur yang
ada untuk mendukung berbagai lingkungan dan situasi. Kelayakan arsitektur
dapat dinilai dari bagaimana bantuan konseptualisasi di gedung,
pemeliharaan, dan penggunaan data warehouse.
Satu konsep sederhana yang mungkin dari sebuah arsitektur data warehouse
terdiri dari lapisan-lapisan saling berikut:
Operasional lapisan database
Sumber data untuk data warehouse Sebuah organisasi sistem Enterprise
Resource Planning jatuh ke dalam lapisan ini.
Lapisan akses data
Antarmuka antara lapisan akses operasional dan informasi Tools untuk
mengekstrak, mengubah, data beban ke gudang jatuh ke dalam lapisan ini.
Metadata lapisan
Direktori data Ini biasanya lebih rinci dari suatu direktori data sistem
operasional.Ada kamus untuk seluruh gudang dan kadang-kadang kamus
untuk data yang dapat diakses oleh sebuah laporan tertentu dan alat
analisis.
Lapisan akses informasi
Data diakses untuk melaporkan dan menganalisis dan alat untuk pelaporan
dan analisa data Bisnis intelijen alat jatuh ke dalam lapisan ini. Dan
perbedaan Inmon-Kimball tentang metodologi desain, dibahas kemudian
dalam artikel ini, ada hubungannya dengan lapisan ini

Normal versus pendekatan dimensi untuk penyimpanan data

Ada dua pendekatan utama untuk menyimpan data dalam data warehouse
pendekatan dimensi dan pendekatan normal.
Dalam pendekatan dimensi, data transaksi yang dibagi menjadi baik fakta,
yang biasanya data transaksi numerik, atau dimensi, yang merupakan
informasi referensi yang memberikan konteks untuk fakta-fakta. Sebagai
contoh, transaksi penjualan dapat dipecah menjadi fakta seperti jumlah
produk yang dipesan dan harga yang dibayarkan untuk produk, dan masuk
ke dimensi seperti tanggal order, nama pelanggan, nomor produk, agar
kapal-dan tagihan-untuk lokasi , dan bertanggung jawab untuk menerima
perintah penjual. Keuntungan utama dari pendekatan dimensi adalah bahwa
data warehouse lebih mudah bagi pengguna untuk memahami dan
menggunakan. Selain itu, pengambilan data dari data warehouse cenderung

untuk beroperasi sangat cepat. Kelemahan utama dari pendekatan dimensi

adalah:
1. Untuk menjaga integritas fakta dan dimensi, memuat data warehouse
dengan data dari sistem operasional yang berbeda adalah rumit, dan
2. Sulit untuk memodifikasi struktur data warehouse jika organisasi
mengadopsi pendekatan dimensi perubahan cara di mana ia melakukan
bisnis.
Dalam pendekatan normal, data di gudang data yang disimpan berikut,
untuk gelar aturan database, normalisasi. Tabel dikelompokkan bersamasama dengan bidang studi yang mencerminkan data kategori umum
(misalnya, data tentang pelanggan, produk, keuangan, dll). Keuntungan
utama dari pendekatan ini adalah bahwa hal itu mudah untuk menambahkan
informasi ke dalam database. Kerugian dari pendekatan ini adalah bahwa,
karena jumlah meja yang terlibat, akan sulit bagi pengguna baik untuk:
1. bergabung dengan data dari sumber yang berbeda menjadi informasi
yang bermakna dan kemudian
2. mengakses informasi tanpa pemahaman yang tepat dari sumber data dan
struktur data dari data warehouse.
Pendekatan ini tidak saling eksklusif, dan ada pendekatan-pendekatan
lain. Dimensi pendekatan dapat melibatkan normalisasi data untuk gelar.

Sesuai informasi
Fakta lain yang penting dalam merancang sebuah gudang data adalah data
yang sesuai dan bagaimana agar sesuai data. Misalnya, satu sistem
operasional makan data ke dalam data warehouse dapat menggunakan M
dan F untuk menunjukkan jenis kelamin seorang karyawan sementara
yang lain sistem operasional dapat menggunakan Pria dan
Wanita. Meskipun ini adalah contoh sederhana, banyak pekerjaan dalam
menerapkan data warehouse dikhususkan untuk membuat data konsisten
makna yang sama ketika mereka disimpan di gudang data. Biasanya,
ekstrak, mengubah, alat beban yang digunakan dalam karya ini.
Master Data Management memiliki tujuan sesuai data yang dapat dianggap
dimensi.

Top-down versus bottom-up design methodologies

Bottom-up desain
Ralph Kimball, seorang penulis terkenal pada data pergudangan, [4] adalah
pendukung pendekatan desain data warehouse sering dianggap sebagai
bottom-up [5.].
Dalam mart yang disebut pendekatan bottom-up data yang pertama
diciptakan untuk menyediakan laporan dan kemampuan analisis untuk
proses bisnis yang spesifik. Meskipun penting untuk dicatat bahwa dalam
metodologi Kimball, proses bottom-up adalah hasil dari bisnis awal analisis
top-down yang berorientasi kepada bisnis proses yang relevan akan dibuat
modelnya.
Data mart mengandung, terutama, dimensi dan fakta. Fakta dapat berisi
data baik atom dan, jika perlu, diringkas data. The data mart tunggal sering
model area bisnis yang spesifik seperti Penjualan atau Produksi. Data
mart ini akhirnya dapat diintegrasikan untuk membuat sebuah gudang data
yang komprehensif. Integrasi data mart dikelola melalui penerapan apa yang
Kimball panggilan data warehouse arsitektur bus. [6]. Data gudang
arsitektur bus terutama merupakan implementasi dari bus koleksi dimensi
conforme, yang dimensi yang berbagi (dengan cara tertentu) antara fakta di
mart dua atau lebih data.
Integrasi data mart di gudang data terpusat pada dimensi conforme (yang
berada di bus) yang mendefinisikan integrasi mungkin titik di antara
pasar data. Integrasi aktual mart dua atau lebih data ini kemudian dilakukan
dengan proses yang dikenal sebagai Drill di. A drill-seluruh karya
pengelompokan (meringkas) data sepanjang kunci-kunci (shared) dimensi
conforme setiap fakta berpartisipasi dalam latihan di diikuti dengan
bergabung pada tombol ini dikelompokkan (diringkas) fakta.
Mempertahankan manajemen yang ketat terhadap arsitektur data
warehouse bus merupakan dasar untuk menjaga integritas data warehouse.
Tugas manajemen yang paling penting adalah membuat dimensi yakin di
antara pasar data konsisten. Dengan kata Kimball, ini berarti bahwa dimensi
sesuai.

Beberapa menganggapnya sebagai keuntungan dari metode Kimball, bahwa

data warehouse akhirnya menjadi tersegmentasi ke sejumlah pasar data
secara logis mandiri (sampai dengan dan termasuk Bis) dan konsisten
daripada model terpusat besar dan sering kali kompleks. Bisnis nilai dapat
dikembalikan secepat itu pasar data pertama dapat dibuat, dan metode
memberi diri dengan baik untuk pendekatan eksplorasi dan iteratif untuk
bangunan gudang data. Sebagai contoh, usaha pergudangan data mungkin
akan mulai di Penjualan departemen, dengan membangun mart Penjualandata. Setelah selesai data mart Penjualan, bisnis ini kemudian dapat
memutuskan untuk memperluas kegiatan pergudangan ke dalam,
mengatakan, Produksi departemen yang menghasilkan data mart
Produksi.Persyaratan untuk data mart Penjualan dan Produksi mart data
yang akan integrable, adalah bahwa mereka berbagi Bus sama, yang akan,
bahwa data pergudangan tim telah membuat upaya untuk mengidentifikasi
dan menerapkan dimensi conforme di bus, dan bahwa data mart link yang
informasi dari bus individu. Catatan bahwa ini tidak memerlukan kesadaran
100% dari awal data usaha pergudangan, tidak ada rencana induk
diperlukan dimuka. The mart Penjualan-data yang baik karena (diasumsikan
bahwa bus selesai) dan produksi data mart bisa dibangun hampir
independen dari penjualan data mart (tapi tidak terlepas dari Bus itu).
Jika integrasi melalui bus tercapai, gudang data, melalui dua data mart, tidak
hanya dapat memberikan informasi spesifik bahwa pasar data individu yang
dirancang untuk melakukan, dalam contoh ini baik Penjualan atau
Produksi informasi , tetapi dapat memberikan informasi terpadu Penjualan
Produksi, yang, seringkali, adalah nilai bisnis yang kritis. Sebuah integrasi
(mungkin) dicapai dengan cara yang fleksibel dan iteratif.
[Sunting desain top-down]
Bill Inmon, salah satu penulis pertama pada subyek data pergudangan, telah
didefinisikan sebuah gudang data sebagai tempat penyimpanan terpusat
untuk seluruh perusahaan [6] Inmon. Adalah salah satu pendukung utama
pendekatan top-down untuk perancangan data warehouse, di mana data
warehouse dirancang menggunakan model data perusahaan normal.
Atomic data, yaitu, data pada tingkat terendah detail, disimpan di gudang
data. Dimensi data mart yang berisi data yang dibutuhkan untuk proses
bisnis yang spesifik atau departemen spesifik diciptakan dari gudang
data. Dalam visi Inmon gudang data adalah pusat dari Pabrik Informasi
Perusahaan (CIF), yang menyediakan kerangka logis untuk memberikan
business intelligence (BI) dan kemampuan manajemen bisnis.
Inmon menyatakan bahwa data warehouse adalah:

Perihal berorientasi
Data dalam data warehouse diorganisir sehingga semua elemen data yang
berhubungan dengan acara yang sama di dunia nyata atau objek yang
dihubungkan bersama.
Non-volatile
Data dalam data warehouse tidak pernah over-tertulis atau dihapus sekali
berkomitmen, data statis, read-only, dan saldo untuk pelaporan masa depan.
Terpadu
Gudang data berisi data dari sebagian besar atau seluruh sistem operasional
organisasi dan data ini dibuat konsisten.
Sisa-varian
Metodologi desain top-down dilihat dimensi menghasilkan data yang sangat
konsisten di seluruh pasar data karena semua pasar data diambil dari
repositori terpusat. desain top-down juga terbukti tahan terhadap perubahan
bisnis. Membangkitkan data mart dimensi baru terhadap data yang
tersimpan di gudang data adalah tugas yang relatif sederhana. Kerugian
utama ke metodologi atas ke bawah adalah bahwa itu merupakan proyek
yang sangat besar dengan cakupan yang sangat luas. Biaya di muka untuk
menerapkan data warehouse dengan menggunakan metodologi atas ke
bawah adalah signifikan, dan durasi waktu dari awal proyek sampai pada
titik bahwa pengalaman pengguna akhir awal dapat manfaat besar. Selain
itu, metodologi top-down dapat fleksibel dan tidak responsif terhadap
perubahan kebutuhan departemen selama tahap pelaksanaan. [6]
Hybrid desain
Seiring waktu itu telah menjadi jelas bagi para pendukung bottom-up dan
top-down data desain gudang yang kedua metodologi memiliki manfaat dan
risiko.metodologi Hybrid telah berevolusi untuk memanfaatkan waktu putarsekitar cepat desain bottom-up dan konsistensi data perusahaan-macam
desain top-down.

Data warehouses versus operational systems

Sistem operasional yang dioptimalkan untuk melestarikan integritas data

dan kecepatan pencatatan transaksi bisnis melalui penggunaan normalisasi
database dan model entitas-hubungan. perancang sistem operasional
umumnya mengikuti aturan normalisasi database Codd untuk memastikan

integritas data. Codd mendefinisikanlima aturan semakin ketat

normalisasi. desain database Sepenuhnya dinormalisasi (yaitu orang
memuaskan semua lima aturan Codd) sering mengakibatkan informasi dari
suatu transaksi bisnis yang disimpan dalam puluhan hingga ratusan
tabel.database relasional yang efisien dalam mengelola hubungan antara
tabel ini. Database sangat cepat telah memasukkan / update kinerja karena
hanya sejumlah kecil data pada tabel tersebut dipengaruhi setiap kali
transaksi diproses. Akhirnya, dalam rangka meningkatkan kinerja, data yang
lebih tua biasanya secara periodik dibersihkan dari sistem operasional.
gudang data yang dioptimalkan untuk kecepatan analisis data. Sering data
dalam gudang data denormalised melalui model dimensi berbasis. Juga,
untuk mempercepat pengambilan data, data warehouse sering disimpan
beberapa kali-dalam bentuk yang paling rinci dan dalam bentuk diringkas
disebut agregat. data warehouse Data dikumpulkan dari sistem operasional
dan diadakan di gudang data bahkan setelah data telah dibersihkan dari
sistem operasional.

Evolusi dalam organisasi menggunakan

Organisasi umumnya memulai dengan menggunakan data yang relatif
sederhana pergudangan. Seiring waktu digunakan, lebih canggih berevolusi
data pergudangan. Tahapan umum berikut penggunaan gudang data dapat
dibedakan:
Off line Operasional Database
gudang data dalam tahap awal dikembangkan dengan hanya menyalin data
dari sistem operasional ke server lain dimana beban pengolahan pelaporan
terhadap data yang disalin ini tidak akan mempengaruhi kinerja sistem
operasional itu.
Off line Data Warehouse
gudang data pada tahap ini diperbarui dari data dalam sistem operasional
secara teratur dan data gudang data disimpan dalam struktur data yang
dirancang untuk memfasilitasi pelaporan.
Real Time Data Warehouse
gudang data pada tahap ini akan diperbarui setiap kali sistem operasional
melakukan transaksi (misalnya pembelian atau pengiriman atau
pemesanan.)
Gudang Data Terpadu

gudang data pada tahap ini akan diperbarui setiap kali sistem operasional
melakukan transaksi.

Beberapa manfaat yang menyediakan data warehouse

adalah sebagai berikut: [7] [8]
* Gudang data menyediakan model data yang umum untuk semua data
tanpa bunga sumber data itu. Hal ini membuat lebih mudah untuk
melaporkan dan menganalisa informasi daripada kalau beberapa model data
yang digunakan untuk mengambil informasi seperti faktur penjualan,
penerimaan pesanan, biaya buku besar, dll
* Sebelum memasukkan data ke dalam data warehouse, ketidakkonsistenan
diidentifikasi dan diselesaikan. Hal ini sangat menyederhanakan pelaporan
dan analisa.
* Informasi dalam data warehouse adalah di bawah kontrol pengguna
gudang data sehingga, bahkan jika sumber data sistem ini dihapus dari
waktu ke waktu, informasi di gudang dapat disimpan dengan aman untuk
waktu yang lama.
* Karena mereka terpisah dari sistem operasional, data warehouse
menyediakan pengambilan data tanpa memperlambat sistem operasional.
* Data gudang dapat bekerja dalam kaitannya dengan dan, karenanya,
meningkatkan nilai aplikasi bisnis operasional, terutama customer
relationship management (CRM) sistem.
* Data gudang memfasilitasi aplikasi sistem pendukung keputusan seperti
laporan tren (misalnya, barang-barang dengan penjualan paling di daerah
tertentu dalam dua tahun terakhir), laporan pengecualian, dan laporan yang
menunjukkan kinerja aktual versus tujuan.

Kekurangan
Ada juga kerugian untuk menggunakan data warehouse. Beberapa di
antaranya adalah:
* Data gudang tidak lingkungan optimal untuk data tidak terstruktur.
* Karena data harus diekstrak, diubah dan dimasukkan ke dalam gudang,
ada unsur latency dalam data data warehouse.
* Selama hidup mereka, gudang data dapat memiliki biaya tinggi.

* Data gudang bisa mendapatkan usang relatif cepat. Ada biaya

penyampaian informasi suboptimal bagi organisasi.
* Ada sering garis tipis antara gudang data dan sistem
operasional. Gandakan, fungsionalitas mahal dapat dikembangkan. Atau,
fungsi dapat dikembangkan di gudang data yang, dalam retrospeksi,
seharusnya dikembangkan dalam sistem operasional

Contoh Aplikasi

Beberapa aplikasi pergudangan data dapat digunakan untuk adalah:

*
*
*
*

Kartu kredit churn analisis

Asuransi analisis penipuan
Call catatan analisis
Logistik manajemen.

Masa depan

Data pergudangan, seperti teknologi apapun, memiliki sejarah inovasi yang

tidak menerima penerimaan pasar. [9]
A 2009 Gartner Group kertas diprediksi perkembangan dalam intelijen
bisnis / data pergudangan pasar. [10]
* Karena kurangnya informasi, proses, dan alat-alat, hingga 2012, lebih dari
35 persen dari 5.000 perusahaan top dunia secara teratur akan gagal
membuat keputusan wawasan tentang perubahan signifikan dalam bisnis
mereka dan pasar.
* Pada 2012, unit usaha akan mengendalikan paling tidak 40 persen dari
total anggaran untuk intelijen bisnis.
* Pada 2010, 20 persen dari organisasi-organisasi akan memiliki aplikasi
analitik industri-spesifik yang disampaikan melalui software sebagai layanan
sebagai komponen standar intelijen portofolio bisnis mereka.
* Pada tahun 2009, pengambilan keputusan kolaboratif akan muncul sebagai

kategori produk baru yang menggabungkan kemampuan perangkat lunak

sosial dengan platform bisnis intelijen.
* Pada tahun 2012, sepertiga dari aplikasi analitik diterapkan pada proses
bisnis akan disampaikan melalui aplikasi mashup kasar.
http://blog.akakom.ac.id/fredric18/?page_id=198

SISTEM PENGAMBILAN KEPUTUSAN, DATA WAREHOUSING DAN DATA

MINING
ABSRAKSI
Decision Support System merupakan suatu sistem yang berfungsi
sebagai

penunjangkeputusan.

merupakan

dasar-dasar

Data

warehousing

arsitektural

bagi

dan

sistem-sistem

data

mining

pendukung

keputusan. Keduanya memiliki hubungan simbiotik dimana data warehouse

menyiapkan tahapan untuk kegiatan data mining yang efektif. Teknologi data
warehouse telah memungkinkan sebuah organisasi untuk mengelola dan
menyimpan data bisnis dalam volume yang sangat besar dalam bentuk yang
dapat dianalisa. Kematangan dalam bidang kecerdasan buatan telah pula
menciptakan sekumpulan teknik machine learning (mesin pembelajaran)
yang

berguna

untuk

mengotomatisasi

kegiatan-kegiatan

penting

dan

melelahkan guna mengungkapkan pola-pola dalam database diperkenalkan

konsep data warehouse dan data mining sebagai teknologi dalam sistem
pendukung keputusan. Dalam implementasinya, teknik-teknik ini dapat
diterapkan di lingkungan perguruan tinggi sebagai salah satu upaya untuk
mempertinggi efisiensi dan efektifitas pengelolaan
Kata kunci : DSS (Decision Support Sysrtem), Data Warehousing dan Data
Mining
BAB I
Pendahuluan
1.1 LatarBelakang
Decision Support System merupakan suatu sistem yang berfungsi sebagai
penunjangkeputusan. Dengan adanya DSS, pekerjaan dari para pengambil
keputusan akan lebih terbantu secara signifikan. Makalah yang disusun

berikut ini menjelaskan suatu database yang biasa digunakan sebagai

pengambil keputusan yaitu data warehouse. Dikarenakan banyak organisasi
atau perusahaan kurangdapat menggunakan database operasional dalam
mendukung secara langsung pengambilan keputusan. Penyusun sadar dalam
penulisan makalah ini terdapat banyak kekurangan, oleh karena itu, kami
menerima saran dan kritik yang membangun agar dikemudian hari kami
dapat menyusun suatu makalah dengan lebih baik lagi.
Kumpulan basis data ini dapat menjadi bahan untuk analisis data dan
terutama untuk mendukung pengambilan keputusan, dan pada umumnya
tidak digunakan oleh organisasi untuk memprosestransaksi.
1.2 Rumusan Masalah

Pengertian Data Warehouse

Pendekatanapa yang digunakan dalam pembuatan Data
Warehouse.

Pengertian Data Wining.

Tujuan Data Warehouse.

Perbedaan Data Mining dan Data warehouse.

KeuntungandankerugianData Warehouse

BAB II
Pembahasan
2.1 Pengertian data warehouse Gudang data (Bahasa Inggris: data warehouse)
Suatu sistem kompute runtuk mengarsipkan dan menganalisis data historis
suatu organisasi seperti data penjualan, gaji, dan informasi lain dari
operasiharian. Pada umumnya suatu organisasi menyalin informasi dari sistem
operasionalnya (seperti penjualandan SDM) kegudang data menurut jadwal teratur,
misalnyase tiap malama tau setiap akhi rminggu. Setelah itu, manajemen

dapatmelakukankuerikompleksdananalisis(contohnyapenambangan

data,

data

mining)terhadapinformasitersebuttanpamembebanisistem yang operasional. Data

yang terdapat dalam data warehouse dapat dibagi perbagian sesuai dengan
kebutuhan dalam informasi. Inilah yang disebut dengan data mart. Data mart memiliki
karakteristik yang sama dengan data warehouse, perbedaannya hanya terdapat pada
jumlah data yang dimiliki. Dalam data mart, data yang adahanya berasal dari satu
bagian atau satu departemen saja, sedangkan pada data warehouse, data yang ada
berasal dari seluruh bagian dalam perusahaan tersebut
2.2 Pendekatan Data warehouse
a.
Pendekatan Top Down (Top Down Approach) Pendekatan ini dilakukan
dengan membuat perancangan data warehouse terlebih dahulu secara keseluruhan.
Dalam pembuatannya, ditentukan apa yang menjadi sumber data dan bagaimana cara
untuk memasukkannya kedalam data warehouse yang telah dirancang terlebih
dahulu. Pendekatan ini menyatakan bahwa pembangunan desain arsitektur data
warehouse adalah hal pertama yang dilakukan dalam membangun suatu data
warehouse.
b.

Pendekatan Bottom Up (Bottom Up Approach) Berbeda dengan

pendekatan Top Down, pendekatan ini menyatakan bahwa data warehouse berawal
dari kumpulan data mart yang telah dibangun terlebih dahulu untuk masingmasing departemen. Data mart yang telah dibangun kemudian digabungkan untuk
membangun suatu data warehouse yang utuh.
2.3 Data Mining
Data mining memerlukan data yang banyak untuk dianalisa dan mendapatkan
pattern tertentu, datanya dari data warehouse yang menyimpan banyak data.
DataWare Housepake OLAP ini biar lebih cepet pemrosesannya CMIIW.
2.4 Perbedaan datawarehousing dan data mining
Data warehouse dan data mining adalah dua hal yang berbeda. Data warehouse
adalah database biasa yang berisi summary atau rekapuntuk subject tertentu yang
sudah diketahui. Misalnya manajemen ingin mengetahui informasi tentang penjualan
produk, maka dalam data warehouse dimasukkan rekap data penjualan dari database

transaksi penjualan. bentuknya pun tabel biasa saja. Tabel rekap ini hanya boleh
diretrieve (diambildatanya) dan ditambah, tidak boleh diubah, atau di hapus. Rekap ini
biasanya akan ditampilkan dalam bentuk tabel, grafik, chart didashboard (aplikasi
Business Intelligence). Data mining adalah proses pengolahan data untuk
mendapatkan informasi yang belum diketahui informasi apa saja yang terdapat di
kumpulan data tersebut. data mining dapatdilakukan terhadap berbagai jenis
sumber data, misalnya data warehouse, artikel web, multimedia (gambar, suara,
video),

atau

dokumen

(files).

Data

mining dilakukan

dengan

mengimplementasikan algoritma-algoritma data mining (akan dibahas di artikel

lain) untuk mendapatkan informasi yang tidak terlihat dengan pengamatan langsung
(perlupengolahanlebihlanjut)
2.5 Tujuan Data Warehouse
Tujuaninimembuat data warehouse harusmemilikibeberapasifat

( referensi:Inmon, Turban) yaitu :

Non volatile
Berisi data bersih
Terintegrasi
standardized format
enterprise-wide
time variant
subject oriented

Data warehouse menggunakan 3 macam pemodelan, yaitu :

Star schema : adalah desain/skema dar isatu fact table yang dikelilingi beberapa
dimension tables
Now flake schema: adalah desain lanjutan dari star schema, digunakan jika ada
dimension table yang memiliki struktur bertingkat-tingkat (leveling) misalnya
[propinsi, kabupaten, kecamatan, kelurahan], [tanggal, bulan, kuarter, semester
,tahun], atau [negara, pulau, kota] fact constellation: inijika dalam satus kemater dapat
beberapa fact table yang saling berbagi dimension table, ini mirip sekali dengan desain
relational database, namun fact table hanya menyimpan data yang akan diolah lebih
lanjut di data mining dan OLAPP ada data warehouse tidak digunak anistilan entity,
istilah yang digunakan adalah fact table dan dimension table.
Fact table adalah tabel yang berisi semua data yang ingin dan dapat diolah,
misalnya jumlah penjualan, gaji pegawai, nilai pengadaan dan seterusnya.

Dimension table adalah pengelompok kanuntuk data yang ada di fact table, misalnya
lokasi toko ,usia pembeli, nama departemen, jenis pengadaan dan seterusnya
2.6 KeuntungandanKerugian DataWarehouse
a.
Keuntungan Data Warehouse
Data warehouse menyediakan model data yang bervariasi,dan tidak bergantung
pada

satu

sumber

data

saja.

Hal

ini

memudahkan

pimpinan

perusahaan/manager membuat laporan dan menganalisa. Saat me-load data kedalam

data warehouse, data yang tidak konsistenakan diketahui dan secepatnya dirubah.
Mendukung proses pembuatan laporan, agar keputusan yang diambil adalah
keputusan yang benar sesuai data. Keamanan informasi didalam data warehouse
terjamin, karena data warehouse selalu digunakan dan dimonitor oleh pengguna data
warehouse tersebut.
Dalam membuat laporan tidak membuat proses transaksi yang ada menjadi
lambat, karena data warehouse terpisah dengan database operasional. Data
warehouse menyediakan berbagaimacam bentuk laporan yang terbaru.
b.
Kerugian Data warehouse
Data warehouse tidak cocok untuk data yang tidak struktur. Data perludi
extract, diubah, dan di load ke data warehouse, sehingga membutuhkan waktu (delay)
kerja untuk data warehouse yang belum terbentuk. Semakin lama masa hidup bisnis
yang menggunakan data warehouse, maka semakin banyak biaya yang dikeluarkan
oleh perusahaan untuk memodifikasi teknologi data warehouse atau perawatan
berjalan data warehouse. Jika data yang diambil lambat, maka data yang dimiliki di
data warehouse tidak berkulitas/ sehingga laporan tidak optimal
BAB III
Penutup
3.1 Kesimpulan
Gudang data (Bahasa Inggris : data warehouse) adalah suatu sistem komputer
untuk mengarsipkan dan menganalisis data historis suatu organisasi seperti data
penjualan, gaji, dan informasi lain dar ioperasi harian. Pada umumnya suatu
organisasi menyalin informasi dari sistem operasionalnya (seperti penjualan dan SDM)

ke gudang data menurut jadwal teratur, misalnya setiap malam atau setiap akhi
rminggu. Setelah itu, manajemen dapat melakukan kuerikompleks dan analisis
(contohnya penambangan data, data mining) terhadap informasi tersebut tanpa
membebani sistem yang operasional.
Daftar Pustaka
http://id.wikipedia.org/wiki/Gudang_datahttp://my.opera.com/aviciena/blog/2010/06/05/data-mininghttp://www.kaskus.us/showthread.php?t=5073964http://rencanait.wordpress.com/category/data-mining-dan-businessintelligence/- http://geeks.netindonesia.net/blogs/muhammadsubhan/archive/2009/1
1/10/tujuan-datawarehouse.aspx

Arsitektur Data Warehouse

Posted: March 24, 2014 in Data warehouse
18
Hallo teman-teman,
Minggu ini kita masih akan membahas tentang data warehouse. Kalau
minggu lalu masih perkenalan data warehouse, minggu ini kita bakalan
membahas arsitektur data warehouse.
So, arsitektur data warehouse apa sih?
Arsitektur data warehouse adalah sekumpulan produk yang saling
berintegrasi yang memampukan ekstraksi dan transformasi data operasional

untuk dimasukkan ke dalam basisdata agar end-user dapat melakukan

analisis dan mengambil laporan.
Ada beberapa arsitektur data warehouse, kita bahas satu persatu yuk..
1. Arsitektur Data warehouse Kimball dengan Linked Dimensional Data mart

Arsitektur data warehouse Kimball menggunakan metodologi bottom-up.

Data dari source system akan melalui staging area yang merupakan
integration layer. Semua data dari source system dikumpulkan ke dalam
data warehouse. Data warehouse layer merupakan dimensional data mart
yang dihubungkan oleh dimensi yang bersesuaian. Data yang terdapat pada
layer ini sudah merupakan data yang berkaitan dan berisi ringkasan data
atau dapat dikatakan berisi data yang dibutuhkan, sehingga end user dapat
mengakses data melalui layer tersebut.
2. Arsitektur Data warehouse Bill Inmon

Arsitektur data warehouse Bill Inmon menggunakan metodologi top-down.

Data dari source system akan melalui staging area yang merupakan
integration layer dimana semua data dari source system dikumpulkan.
Setelah melalui staging area, maka data akan dimasukkan ke data
warehouse layer. Data warehouse layer merupakan normalized relational
enterprise data warehouse yang berisi ringkasan data atau data yang saling
berkaitan, sehingga end user dapat mengakses data melalui layer tersebut.
Data dari data warehouse layer dapat juga dibuat kembali ke dalam data
mart yaitu dependent data mart dimana data diambil dari data warehouse

sehingga data yang ada adalah data yang dibutuhkan dan beberapa data
yang saling berkaitan dan end user dapat mengakses data tersebut.
3. Arsitektur Data warehouse Dan Lindstedt Data Vault

Arsitektur data warehouse Dan Lindstedt Data Vault menggunakan

metodologi hybrid design yang mengikuti arsitektur desain top-down
dengan desain bottom-up.
Pendekatan desain top-down dimulai dengan mengidentifikasi komponenkomponen utama dalam sebuah sistem, kemudian membaginya, memecahmecahnya ke dalam komponen level rendah dan bertahap meningkat sampai
detil level yang diharapkan tercapai. Metode desain top-down dikenal juga
dengan stepwise refinement. Desain dilakukan hingga mencapai level
dimana tidak ada lagi penyaringan yang dibutuhkan dan desain bisa
diimplementasikan secara langsung.
Pendekatan desain bottom-up dimulai dengan mendesain komponen dasar
atau sederhana dan diproses ke komponen dengan level tertinggi yang
menggunakan komponen level terendah.
Kira-kira demikian penjelasan tentang arsitektur data warehouse nya.
Semoga bermanfaat :)
Sumber :
- Pembangunan Aplikasi Pelaporan dengan Menggunakan Data Vault
Modeling pada Data Warehouse AdventureWorks, Humasak Tommy Argo
Simanjuntak,S.T.,M.ISD.1, Hendry Martua Simanjuntak2, Elisa
Yosephine Simanjuntak3 , Margaretha Suryanti Sirait4
- Kaparthi Jyothi, Data Vault: The Preferred Flavor for DW Architecture in BIPart III, http://www.makingdatameaningful.com/2011/12 diakses tanggal 20
Februari 2012
- http://classof1.com/homework_answers/information_systems/topdown_and_bottom-up_design/ diakses tanggal 29 Februari 2012

Datawarehouse, Inmon vs Kimball approach !!!

Date: 23 Jul 2008 /
Posted by: Juragan Rondo /
Comment: 39

Ganti topik dikit, sekarang bahaz IT.. !!!

Sebelumnya telah dibahaz mengenai apa itu Datawarehouse !!! Naagh
sekarang.. gue mau bahaz.. mengenai lebh detil terkait dengan
Datawarehouse.. yaitu Inmon vs Kimball Approach.. !!! Yup.. kalau di motor
ada fanatik mengenai brand tertentu.. maka di Datawarehouse pun ada 2
pendekatan alias maazhab satu approach lebih condong ke Inmon (coz
father of datawahouse is Bill Inmon red.) Approach dan satu lagi lebih ke
condong ke Kimball alias Raplh Kimball Approach !!! Perbedaan utama
adalah.. Inmon lebih cenderung melakukan pendekatan Top-Down
Approach sedangkan Ralph Kimball cenderung ke pada Bottom-Up
Approach !!!
Menurut Bill Inmon, data-data yang berasal dari berbagai aplikasi OLTP perlu
ditempatkan secara centralized, dimana data tersebut dapat digunakan
untuk analisa. Data harus dimanage ke dalam bentuk subject oriented,
integrated, non volatile, dan time variant. Data harus dapat diakses sampai
level terendah apabila dilakukan drill-down, dan dapat disummarized apabila
dilakukan dril-up. Data mart diperlakukan sebagai bagian dari Data
Warehouse. Setiap data mart dibentuk dari suatu datawarehouse untuk
suatu department dan dioptimalkan untuk kebutuhan analysis department
tersebut.

Berbeda dengan Inmon, Ralph Kimbal lebih mengarah

kepada Bottom-Up Approach !!! Jadi pendekatannya adalah dari data martdatamart !!! Antar datamart dapat menggunakan dimensi yang sama yang
deisebut conformed dimension.. !!! Hubungan antar datamart melalui
comformed dimension ini yang disebut Bus Structure !!! Teruz dimana
datawarehousenya ??? Datawarehouse nya ini bisa merupakan virtual atau
aggregation dari data mart datamart !!!
Teruz kira-kira mana yang mau dipilih ??? Yaaagh ini tergantung mau
ngikot madzhab mana.. !!! Kalau gue lho, gue lebih cenderung ke Bill
Inmon approach.. !!! Ditanya kenapa.. ??? Yaagh.. karena datawarehouse
itu .. diperlukan untuk decision making process so keputusan ini cukup
strategis terutama di level top management !!! So.. harus diketahui dulu
data-data yang mau disodorkan itu seperti apa baru setelah itu yang
lebih detil dapat di drill-down .. tergantung dari kebutuhan !!! Gue teringat
Inmon berkata Suatu ikan paus nggak sama dengan sekumpulan ikan kecilkecil yang dibentuk menyerupai ikan paus !!! Memang dikhawatirkan jika
pendekatan secara bottom-up approach.. setelah di aggregate data /
indikator yang diperlukan secara top level.. bisa saza tidak ada !!! Namun
pendekatan Inmon ini disorot oleh Kimball yang menyatakan.. top-down
approach lamaa dan harus matang dalam mendesign !!!
Related Posts

Datawarehouse and Business Intelligence penting

buat ATPM..!!!

Xperia X1, Satu lagi Smartphone dari Sony

Ericsson !!!

Beberapa site diblock, efektif kah???

Cisco Overlay Transport Virtualization (OTV),

memperluas segment Layer 2 antar data center !!!

REVIEW 2 JURNAL DATA WAREHOUSE-SISTEM BASIS DATA

PEMANFAATAN DATA WAREHOUSE SEBAGAI SARANA PENUNJANG

PENYUSUNAN BORANG AKREDITASI STANDAR 3 PADA FAKULTAS
TEKNOLOGI INFORMASI UNIVERSITAS BUDI LUHUR
Data warehouse merupakan suatu konsep dan kombinasi teknologi
yang memfasilitasi organisasi untuk mengelola dan memelihara data historis
yang diperoleh dari sistem atau aplikasi operasional. Data warehouse adalah
suatu database yang memiliki struktur khusus untuk pembuatan query dan
analisis. Data warehouse memungkinkan penggunaan untuk memeriksa dan
menganalisis data-data historis dalam beberapa bentuk, tetapi data
warehouse tidak dapat membuat keputusan.
Data warehouse dibangun untuk menyediakan kemudahan akses pada
sumber data. Ada beberapa teknik analisis data yang digunakan, yaitu:
1. Query dan report
2. Analisis multidimensional
3. Data mining
Data perlu diorganisasi dalam bentuk lain berupa data multidimensi
yang dinamakan MOLAP (Multidimensional Online Analytical Processing) atau

data relasional ROLAP (Relational Online Analytical Processing) atau HOLAP

(Hybrid Online Analytical Processing) yang merupakan kombinasi dari ROLAP
dan MOLAP dimana sebagian data dapat disimpan dalam MOLAP dan
sebagian yang lain dalam ROLAP. Data disimpan dalam data warehouse
dalam bentuk multidimensi dioptimasi untuk pencarian kembali (retrieval)
untuk OLAP (Online AnalyticalProcessing). Setelah itu dilakukan analisis
multidimensi yang memberikan kemampuan untuk melakukan query dan
membuat laporan (reporting).
o Operasi-operasi OLAP
Operasi-operasi yang terdapat pada OLAP antara lain:
1.

Slicing dan Dicing

Operasi untuk melihat data sebagai visualisasi dari kubus. Dengan slicing
dan dicing pengguna dapat melihat data dari beberapa perspektif.
2. Roll up dan drill down
Drill down dan roll up adalah operasi untuk melihat data global atau detail
disepanjang level hiraraki dimensi. Roll up untuk melihat data secara global
atau rangkuman (summary). Drill down memandu pengguna untuk
memperoleh data yang lebih detail.
Pemilihan sebuah arsitektur data warehouse, terlebih dahulu harus
ditentukan dimana data warehouse ditempatkan dan juga dimana kendali
kontrol data. Ada beberapa model arsitektur data warehouse yang dapat
digunakan untuk pembangunan sebuah data warehouse, diantaranya adalah
sebagai berikut:
1.
2.
3.
4.

Generic Two-Level Architecture

Independent Data Mart
Dependent Data Mart
Logical Data Mart dan Real Time DataWarehouse
Pendekatan yang digunakan untuk mengimplementasikan arsitektur data
warehouse:

1.
2.
3.

Top Down
Bottom Up
Kombinasi
Sumber:
http://pascasarjana.budiluhur.ac.id/wpcontent/uploads/2013/02/Windarto_TM_Vol3No21.pdf

==============================================
=============================

PERANCANGAN DAN PEMBUATAN DATA WAREHOUSE UNTUK

KEBUTUHAN SISTEM PENDUKUNG KEPUTUSAN DI BIDANG AKADEMIK
PADA JURUSAN SISTEM INFORMASI,ITS, SURABAYA

Perancangan Data Warehouse

Perancangan Sumber Data
Sumber data untuk data warehouse berasal dari beberapa
aplikasi, antara lain :
Sumber Data Aplikasi Monikul
Aplikasi Monikul adalah aplikasi Monitoring perkulihan yang di
bangun dan dalam sedang dalam proses implementasi untuk
memudahkan user.
Sumber Data FRS Online
FRS online adalah aplikasi akademik yang berisi seluruh data
mahasiswa, dosen, karyawan, data transaksi. Data yang
ditampilkan dari FRS online berupa data yang diolah HTML, bukan
data mentah yang berasal dari basis data.

Sumber Data Mentah Pendukung Jurusan

Data mentah pendukung yang diambil dari Jurusan adalah data
Rencana Belajar dan Data Rekaman Pembelajaran Matakuliah.
Perancangan Data Warehouse
Tahap perancangan dilakukan untuk pembentukan data
warehouse. Biasanya meliputi perancangan arsitektur logical
Perancangan Analisa Data Warehouse
Tahap perancangan merupakan tahap pemetaan analisa yang
dilakukan pada data warehouse.
Pemodelan Data Dimensional

Skema yang biasa digunakan untuk pemodelan data

dimensional adalah star schema. Tabel fakta yang terdapat di data
warehouse seperti:
1.
Tabel fakta hasil
2.
Tabel fakta.
3.
Tabel fakta realisasi aktivitas
4.
Tabel fakta kompetensi kelas.
5.
Tabel fakta IPD
6.
Tabel dimensi semester
7.
Tabel dimensi dosen
8.
Tabel dimensi mahasiswa
9.
Tabel dimensi matakuliah
10. Tabel dimensi kelas
11. Tabel dimensi nilai
12. Tabel dimensi pertanyaan
13. Tabel dimensi jenis pertanyaan
14. Tabel dimensi pertanyaan
15. Tabel dimensi kompetensi
16. Tabel dimensi RMK

Implementasi dan Uji coba

Ekstrasi, transformasi dan load
Pembuatan proses ETLyang di lanjutkan dengan membuat
skema dan cube dengan bantuan tools schema workbench.
Uji coba
Akan menjelaskan mengenai lingkungan pengujian data
warehouse yang meliputi perangkat keras dan perangkat lunak.
Sumber: http://digilib.its.ac.id/public/ITS-Undergraduate-14414paperpdf.pdf

Data Warehouse, Data Mart, Data Mining, OLAP (MOLAP,ROLAP,HOLAP), BI

Nama

Taufik Hilmi

Kelas

3D

Nama

1083177 (ikut mengulang

Kapita Selekta di kelas 3D)

1 Datawarehouse
kumpulan macam-macam data yang subject oriented, integrated, time variant, dan
nonvolatile. dalam mendukung proses pembuatan keputusan. (Inmon and
Hackathorn - 1994)
~Subject oriented: diorganisasikan pada subjek-subjek utama, seperti pelanggan,
barang/ produk, dan penjualan.
~Integrated: menggabungkan data yang berbeda. relational database, flat file, dan
on-line transaction record ~Time variant: data yang tahun-tahun lalu
~Non volatile: data akan di tampung dalam tiap-tiap waktu.dua operasi initial
loading of data dan access of data
1.2 Arsitektur Data Warehouse

Kelebihan

Kekurangan

- Memahami tren bisnis

- Tidak cocok untuk data yang tidak

dan membuat keputusan struktur. - Data perlu di extract,

berdasarkan peramalan
diubah, dan di load ke
(forecasting)
datawarehouse, sehingga
- Menghadirkan produkmembutuhkan waktu (delay) produk ke pasar tepat
Semakin lama masa hidup bisnis
waktu
yang menggunakan datawarehouse,
- Melakukan analisis
maka semakin banyak biaya yang
harian dan membuat
dikeluarkan oleh perusahaan untuk
keputusan cepat untuk
perawatan/memodifikasi teknologi
meningkatkan performa datawarehouse
perusahaan
- Menyediakan model data
yang bervariasi, dan tidak
bergantung pada satu
sumber data saja. Hal ini
memudahkan pimpinan
perusahaan/manager
membuat laporan dan
menganalisis.
- Keamanan informasi
terjamin
- Dalam membuat laporan
tidak membuat proses
transaksi yang ada
menjadi lambat, karena
datawarehouse terpisah
dengan database
operasional
1.3 Pengembangan dan Implementasi
~ Pendekatan Ralph Kimball (bottom-up)
pertama-tama data pada kantor cabang diidentifikasi dan dibuat terlebih dahulu,
untuk menyediakan kapabilitas laporan dan analisis untuk proses bisnus tertentu.
Data cabang ini dapat dikombinasikan untuk membuat sebuah datawarehouse.
Kelebihan

Kekurangan

- Nilai Bisnis dapat dikembalikan

secepat data cabang yang pertama
dibuat.
- Model yang berdimensi
- Mudah dimengerti.

-Integrasi
-Mapping dari pemodelan
berdimensi ke sistem yang sudah
ada.
-Sulit untuk memastikan
kekonsisten dimensi dari semua
data cabang.

~ Pendekatan Bill Inmonn (top-down)

datawarehouse dirancang menggunakan data model yang telah dinormalisasi
Kelebihan

Kekurangan

- Perancangan top-down
menghasilkan dimensional view
yang konsisten untuk semua data,
Karena semua data diload dari
repository terpusat/ terintegrasi.
- Top down sanggup menghadapi
perubahan bisnus, membuat data
dimensional cabang yang baru
menjadi tugas yang mudah.

-Kesulitan dan biaya mendisain

model data perusahaan.
-Feedback dari pengguna
-Durasi waktu yang cukup lama saat
dimulainya projek hingga manfaat
dari datawahouse itu sendiri.
-Tidak fleksibel terhadap perubahan
kebutuhan saat implementasi

~ Pendekatan Hybrid (Campuran)

Data Warehouse diorganisasikan berdasarkan kegunaan disekitar subjek bukan

aplikasi, misal: customer, product, sales. Perhatian dipusatkan pada pemodelan dan
analisa data untuk pembuat keputusan, bukan untuk operasi harian atau
pemrosesan transaksi. beberapa aplikasi data warehouse di antaranya:
- Analisi sales dan pemasaran lintas industri
- Inventory turn and product tracking dalam manufaktur
- Manajemen katalog, analisis vendor dan program pemasaran yang efektif dalam
retail

2 Data Mart
Data yang terdapat dalam data warehouse dapat dibagi perbagian sesuai dengan
kebutuhan dalam informasi. Dalam data mart, data yang ada hanya berasal dari
satu bagian atau satu departemen saja, sedangkan pada data warehouse, data
yang ada berasal dari seluruh bagian dalam perusahaan tersebut

2.1 Pembangunan Data Mart

terdapat 2 arsitektur, yaitu:
~ Dependent Data Mart
Pada Dependent Data Mart, data yang diperoleh sangat tergantung pada data
warehouse terpusat
~ Independent Data Mart (IDM).
data yang digunakan terpisah dari data warehouse terpusat dan bersifat
independent (berdiri sendiri).

3 Data mining (knowledge extraction/data archeology)

suatu proses ekstraksi informasi berguna dan potensial dari sekumpulan data yang
terdapat secara implisit dalam suatu basis data.
3.1 Model Data Mining
VERIFICATION MODEL
menggunakan perkiraan
(hypothesis) dari pengguna, dan
melakukan test terhadap perkiraan
yang diambil sebelumnya dengan
menggunakan data-data yang ada

DISCOVERY MODEL
system secara langsung
menemukan informasi-informasi
penting yang tersembunyi dalam
suatu data yang besar. Data-data
yang ada kemudian dipilah-pilahuntuk-menemukan suatu pola, trend
yang ada, dan keadaaan umum
pada saat itu tanpa adanya campur
tangan dan tuntunan dari
pengguna.

3.2 Kebutuhan & Tantangan

- Penanganan berbagai tipe data
- Efisiensi dari algoritma data mining
- Kegunaan, kepastian dan keakuratan hasil
- Ekspresi terhadap berbagai jenis hasil
- Memperoleh informasi dari sumber-sumber data yang berbeda
- Proteksi dan keamanan data
3.3 Tahapan dan Implementasi

- Dengan diperolehnya informasi-informasi yang berguna dari data-data yang ada,

hubungan antara item dalam transaksi, maupun informasi informasi yang potensial,
selanjutnya dapat diekstrak dan dianalisa dan diteliti lebih lanjut dari berbagai
sudut pandang.
- Informasi yang ditemukan ini selanjutnya dapat diaplikasi kan untuk aplikasi
manajemen, melakukan query processing, pengambilan keputusan

4 Online Analytical Processing (OLAP)

Proses komputer yang memungkinkan pengguna dapat dengan mudah dan selektif
memilih dan melihat data dari sudut pandang yang berbeda-beda. Data pada OLAP
disimpan dalam basis data multidimensi. Jika pada basis data relasional terdiri dari
dua dimensi, maka pada basis data multidimensi terdiri dari banyak dimensi yang
dapat dipisahkan oleh OLAP menjadi beberapa sub atribut.
OLAP dapat digunakan untuk data mining atau menemukan hubungan antara suatu
item yang belum ditemukan. Pada basis data OLAP tidak perlu memiliki ukuran

besar seperti data warehouse, karena tidak semua transaksi membutuhkan analisis
tren. Dengan menggunakan open database connectivity (ODBC), data dapat diimpor
dari basis data relasional menjadi suatu basis data multidimensi untuk OLAP.
4.1 Kelebihan
- Dapat meningkatnya produktivitas bisnis, IT developers, dan seluruh organisasi.
- Akses yang lebih terkendali terhadap informasi yang dapat meningkatkan
efektivitas pengambilan keputusan.
- Mempercepat respon terhadap permintaan pasar.
- Mengurang backlogpengembangan aplikasi bagi staf IT dengan membua
tpemakai akhir dapat merubah schema dan membangun model sendiri.
- Penyimpana pengawasan organisasi melalui integritas data koorporasi sebagai
aplikasi OLAP tergantung pada data warehouse dan sistem OLTP untuk
memperbaharui sumber tingkatan data mereka.
- Mengurangi aktifita squery dan lalulintas jaringan pada sistem OLTP atau pada
data warehouse.
- Meningkatkan hasil dan keuntungan secara potensial dengan mengizinkan
organisasi untuk merespon permintaan pasar lebih cepat.
4.2 Implementasi
Kunci dari BI, yang digunakan untuk menganalisisis data dan informasi yang pada
akhirnya akan menjadi dasar basis Decision Support System (DSS)

Aktivitas yang dapat dilakukan melalui OLAP antara lain seperti : menlakukan query,
meminta laporan yang ad hoc, mendukung analisis statistik, analisis interaktif, serta
membangun aplikasi multimedia.

Kedudukan OLAP dalam implementasi BI

Berdasarkan struktur basis datanya OLAP dibedakan menjadi 3 kategori utama :

- Multidimensional Online Analytical Processing (MOLAP)
- Relational Online Analytical Processing (ROLAP)
- Hybrid Online Analytical Processing (HOLAP)
5 Multidimensional Online Analytical Processing (MOLAP)
OLAP yang secara langsung mengarah pada basis data multidimensi. MOLAP
memproses data yang telah disimpan dalam array multidimensional di mana semua
kombinasi data yang mungkin dicerminkan, masing-masing di dalam suatu sel yang
dapat diakses secara langsung.
MOLAP menyimpan data dan aggregasi pada struktur data multidimensi.
5.1 Kelebihan
Struktur MOLAP ini tidak tersimpan pada datawarehouse tapi tersimpan pada OLAP
server. Sehingga performa query yang dihasilkan olehnya sangat bagus.
Implementasi
Model penyimpanan ini sesuai untuk database dengan ukuran kecil sampai sedang.

Perbandingan Implementasi ROLAP dan MOLAP

6 Relational Online Analytical Processing (ROLAP)

Suatu format pengolahan OLAP yang melakukan analisis data secara dinamis yang
disimpan dalam basis data relasioanal bukan pada basis data multidimensi.. ROLAP
merupakan bentuk teknologi dari OLAP yang paling berkembang.
ROLAP menggunakan tabel pada database relasional datawarehouse untuk
menyimpan detil data dan aggregasi kubus.
6.1 Implementasi
Karakteristik model ini digunakan untuk menyimpan data yang besar dan jarang
dilakukannya proses query. Misalkan, data histori dalam jumlah besar dari beberapa
tahun yang sebelumnya

7 Hybrid Online Analytical Processing (HOLAP)

merupakan kombinasi antara ROLAP dengan MOLAP. HOLAP dikembangkan untuk
mengkombinasikan antara kapasitas data pada ROLAP yang besar dengan
kemampuan proses pada MOLAP.
Detil data tersimpan pada tabel relasional tapi aggregasi data disimpan dalam
format multidimensi
7.1 Kelebihan
Kubus HOLAP lebih kecil daripada kubus MOLAP tapi response time query masih
lebih cepat jika dibandingkan dengan ROLAP.
7.2 Implementasi
Model penyimpanan HOLAP ini biasanya sesuai untuk kubus yang membutuhkan
performa query yang bagus dengan jumlah data yang besar.

8 Business Intelligence (BI)

Pengetahuan yang didapatkan dari hasil analisis data yang diperoleh dari kegiatan
(usaha) suatu organisasi. BI biasanya dikaitkan dengan upaya untuk
memaksimalkan kinerja suatu organisasi.
Sistem dan aplikasi yang berfungsi untuk mengubah data-data dalam suatu
perusahaan atau organisasi (data operasional, data transaksional, atau data
lainnya) ke dalam bentuk pengetahuan. Aplikasi ini melakukan analisis data-data di
masa lampau, menganalisisnya dan kemudian menggunakan pengetahuan tersebut
untuk mendukung keputusan dan perencanaan organisasi.
Elemen-elemen Pengembangan Business Intelligence
- Data Warehouse: data mart
- Data mining
8.2 Implementasi
Dapat dilakukan dengan 3 pendekatan:
~ Top-down Approach
Suatu organisasi yang akan membangun BI dimana pada waktu yang bersamaan
organisasi tersebut juga sedang melakukan perubahan proses kerja secara
menyeluruh di seluruh aspek organisasi.
Kelebihan

Kelemahan

- Pembangunan BI langsung
mencakup data seluruh organisasi
- Kerangka BI akan lebih terstruktur, - Waktu implementasi lebih lama
bukan gabungan dari berbagai data - Risiko kegagalan relatif tinggi
mart (data parsial)
karena kerumitannya
- Penyimpanan data menjadi
- Membutuhkan biaya yang relatif
terpusat
besar
- Kontrol informasi dapat dilakukan
secara tersentralisasi

~ Bottom-up Approach
Pendekatan ini sangat tepat bagi kebutuhan suatu organisasi yang memprioritaskan
pembangunan BI di suatu departemen terlebih dahulu. Kemudian setelah sukses di
departemen tersebut akan dilanjutkan ke departemen lainnya.
Kelebihan

Kelemahan

- Implementasi lebih mudah untuk

dikelola dan lebih cepat
memperlihatkan hasil
- Risiko kegagalan relatif lebih kecil
- Bersifat incremental, dimana data
mart yang penting dapat
dijadwalkan lebih awal
- Memungkinkan anggota tim
proyek untuk belajar dengan baik

- Tiap data mart merupakan

departmental-view
- Memungkinkan terjadinya
duplikasi data di setiap data mart di
masing-masing departemen
- Data tidak konsisten dan data sulit
direkonsiliasi
- Banyak interface yang sulit
dikelola

~ Practical Approach
Pengembangan BI di suatu organisasi akan dimulai dengan perencanaan dan
pendefinisian arsitektur kebutuhan data warehouse organisasi secara keseluruhan
(standardisasi). Baru kemudian akan dilakukan serangkaian pembuatan BI pada tiap
departemen yang membutuhkan

Tahapan Pengembangan BI

- Tahap Perencanaan Proyek (Project Planning)

Pada tahapan ini harus dapat dijelaskan apa yang menjadi tujuan utama dari proyek

BI, ekspektasi (harapan), dukungan formal dari Pimpinan organisasi , serta capaiancapaian (milestone) yang akan dituju.
- Tahap Analisis Kebutuhan (Requirement Analysis)
Pada tahap ini harus sudah teridentifikasi kebutuhan pengembangan BI secara
detail. Hal ini dapat dilakukan dengan menyusun dan mengumpulkan information
package
- Tahap Desain dan Konstruksi (Design and Construction)
Pada tahap ini harus telah tersusun arsitektur dan infrastruktur yang diinginkan dari
desain BI, yang akan mencakup:
a. data acquisition
Bagian ini terkait dengan upaya meng-ekstraksi data dari sumber-sumber data, dan
upaya memindahkan data yang sudah diekstrak tersebut ke staging area (tempat
dimana semua data ekstraksi diletakkan bersama-sama)
b. data storage
upaya loading data dari staging area ke data warehouse repository (berupa
relational data base)
c. Information Delivery
Bagian ini terkait dengan upaya menyediakan user interface yang akan
menghubungkan pengguna dengan data warehouse. Jenisnya dapat berupa OLAP,
data mining, maupun report/query.

- Tahap Implementasi (Deployment)

Pada tahap ini, pengembangan BI yang telah dilakukan pada tahap-tahap
sebelumnya harus sudah dapat dites penggunaannya serta kemudian di-ujicoba
apakah sudah memenuhi tujuan dan ekspekstasi sebagaimana kebutuhan
organisasi. Akhir tahap ini ditandai dengan telah dilaksanakannya user acceptance
test (UAT) dan user telah memahami bagaimana menggunakan sistem tersebut
dengan tepat.

- Tahap Pemeliharaan (Maintenance)

Kebutuhan informasi yang dibutuhkan organisasi akan terus berkembang. Untuk itu,
sistem BI yang telah diimplementasikan mungkin saja memerlukan perkembangan
lebih lanjut (enhancement). Untuk itu perlu dipersiapkan suatu proses pemeliharaan
yang berkesinambungan.
Diposkan oleh Taufik Hilmi di 00.42

Data Warehouse (Catatan) Januari 6, 2008

Posted by haniif in My Thesis.
Tags: Cube, Data Warehouse, Tesis
2 comments
1. Cleansing Data :

Adalah proses menghilangkan kesalahan-kesalahan data yang berasal dari

proses transaksi

Merupakan bagian dari proses integrasi

Jika proses cleansing ini salah, maka informasi yang dihasilkan oleh data
warehouse juga akan salah

1. Extraksi, Transformasi, dan Loading Data

Metode yang digunakan untuk melakukan proses ekstrasi secara logic (logical
exctraction) ada 2, yaitu :
o

Full Extraction,

Proses ekstraksi dilakukan dengan mengambil seluruh data dari source system
yang diperlukan
o

Increment Extraction

Proses ekstraksi hanya pada data yang berubah atau belum ada pada target sistem
pada periode tertentu

Mekanisme ekstraksi secara fisik (physical extraction) dibagi menjadi dua

jenis, yaitu :
o

Online extraction

Data di ekstrak dari source system ke target system secara langsung. Proses
ekstraksi dilakukan dengan cara langsung connect ke source system untuk
mengakses source table.
o

Offline Extraction

Data tidak di ekstrak secara langsung dari source system, namun berada diluar
source system. Data yang akan di ekstrak sudah mempunyai struktur table dan
struktur data yang diharapkan sudah sesuai dengan data warehouse. Misalnya flat
file.
1. Granularity

Adalah tingkat kedetailan data dalam suatu data warehouse. Semakin detail
data, maka tingkat granularity-nya akan semakin rendah juga. Level yang
paling terendah dari granularity adalah data transaksi

Granularity merupakan isu penting dalam data warehouse, karena :

o

Semakin rendah lavel granularity, maka jumlah data yang disimpan

dalam data warehouse juga akan semakin besar.

Semakin rendah lavel granularity, maka tingkat kedetailan data juga

akan semakin besar dan berpengaruh pada pertanyaan yang akan
dijawab.

1. Metadata

Secara konsep, metadata dikelompokkan dalam tiga komponen.

o

Komponen Direktori Teknikal, berisi informasi tentang data

Komponen Direktori Bisnis, berisi perspektif pengguna pada data

Komponen Navigasi Informasi, berisi cara akses pada direktori bisnis

dan data warehouse.

Komponen Direktori Teknikal menjelaskan kepada data warehouse

administrator tentang sumber data dan bagaimana data dikelola dalam data

warehouse. Direktori Teknikal juga menjelaskan aturan-aturan (rules) yang

digunakan untuk membersihkan data dan mentrasformasikannya untuk
kepentingan bisnis.

Isi dari Direktori Teknikal

1. Data souce

Nama file dan tipe file

Bagaimana nilai didefinisikan data source

Kapan data dibuat

Data dating dari system mana

Siapa pemlik data

Siapa yang memberikan data

User yang mana yang berhak mengakses data

Skema database operasional

1. Data Target

Nama dan tipe field

Bagaimana nili didefinisikan dalam data warehouse

Dimana dta ditempatkan dalam data warehouse

Versi

Tanggal update terakhir

Frekwensi update terakhir

Siapa pemilik data

Siapa yang dapat mengakses data

Skema data dalam data warehouse

Cara end-user melakukan akses data

1. Clean Up Rules

Record dan field yang akan dibersihkan

Mapping antara elemen data pada original data source dengan data
warehouse

Rules yang digunakan untuk mengisi nilai pada fields yang kosong

Rules untuk data integrity

Rules untuk cek konsistensi data

1. Transformation Rules

Bagaimana menentukan waktu dalam melakukan transformasi

Algoritma (business rules) untuk menentukan nilai yang diambil (nilai asal)

Bagaimana ringkasan data dibuat

1. Mapping

Rules untuk melakukan filter data dan untuk melakukan penggabungan data
dari field atau sumber data yang berbeda.

Komponen Direktori Bisnis. Berorientasi pada mekanisme data warehouse,

yang meliputi :

1. Istilah bisnis (business term) yang digunakan untuk mendeskripsikan data

2. Nama teknis (alias) yang berhubungan dengan business term yang dapat
digunakan untuk mengakses data
3. Data Souse dan rules yang digunakan untuk mendapatkan data dan tanggal
dimana data tersebut dibuat
4. Catatan tetang report dan query yang ada
5. Informasi tentang keamanan data (siapa yang mempunya hak akses)

Komponen Navigasi Informasi

Menjelaskan interface yang memungkinkan user untuk mengakses direktori bisnis dan
data warehouse. Dengan menggunakan kompunen ini, user dapat melakukan :
1. Melakukan akses dan drill down pada data warehouse
2. Melakukan querry ke data warehouse

3. Meminta data baru dari warehouse administrator

4. Melakukan transfer data dari warehouse ke datamart atau user lain

Data Warehouse dan OLAP Agustus 1, 2007

Posted by haniif in My Thesis.
Tags: BI, Business Inteligent, Data Warehouse, OLAP, Tesis
8 comments

Data warehouse didefinisikan sebagai kumpulan subyek data yang terintegrasi, bervariasi, dan
non volatile [3]. Immon mendefinisikan data warehouse sebagai gabungan dari beberapa sistem
yang terintegrasi dan didesain untuk menyediakan informasi yang dibutuhkan untuk
pengambilan keputusan[8]. Data warehouse juga dapat didefinisikan dengan dua asumsi implisit,
yaitu [3]:
1. Sebuah database yang mendukung sistem pendukung keputusan dan di-maintain secara
terpisah dari database operasional perusahaan
2. Sebuah database yang mendukung pemrosesan informasi dengan menyediakan platform
yang terintegrasi dan data historis untuk melakukan analisis.
Fungsi utama dari data warehouse adalah menyediakan data untuk mendukung pembuatan
keputusan. Dalam beberapa kasus jenis-jenis dari aplikasi yang telah digunakan misalnya untuk
sistem informasi eksekutif (executive information system). Data warehouse juga menyediakan
berbagai data sebagai input untuk menunjang suatu bisnis dalam melakukan proses analisa
bisnis.
Ada beberapa karekteristik yang dimiliki oleh sebuah data warehouse, yaitu [8]:
1. Orientasi Subyek.
Suatu data warehouse didesain dan dibangun secara khusus dari database transaksional
berdasarkan keperluan perusahaan, semisal data warehouse untuk kastemer, sales, dan
lain-lain. Hanya data yang benar-benar diperlukan yang dimasukkan kedalam database.
2. Integrasi data.
Untuk mendapatkan informasi yang diinginkan, data yang ada dalam data warehouse
akan dibangun dari beberapa macam sistem yang ada diperusahaan. Kemudian data
tersebut ditransformasi dan diload. Karena itu ketika disimpan ke dalam data warehouse
data tersebut akan diintegrasikan sehingga hanya ada satu cara dan atribut dengan format
dan unit yang sama.
3. Nonvolatile

Pada database transaksional, operasi yang dilakukan adalah operasi update (insert, delete,
dan update). Sedangkan dalam data warehouse metode ini tidak digunakan. Data
disimpan
ke dalam data warehouse pada periode waktu tertentu setelah dilakukan beberapa
perhitungan (calculation) dan rangkuman (summary).
4. Setiap unit data akan relevan dengan waktu tertentu
Setiap data yang dimasukkan ke data warehouse pasti memiliki dimensi waktu. Dimensi
waktu ini dipergunakan sebagai pembanding dalam perhitungan untuk menghasilkan
laporan yang diinginkan. Selain itu, dengan menggunakan dimensi waktu pembuat
keputusan dapat mengenal kecenderungan (trend) dan pola dari suatu data.
Teknik Pemodelan Data Warehouse
Data warehouse dan OLAP dibangun berdasarkan multidimensional data model. Pada model ini
diperlukan tabel fakta dan tabel dimensi. Tabel fakta berisi fakta numerik yang memiliki ciriciri : panjang, kurus, dan besar, serta sering berubah dan berguna untuk mengukur (measure).
Sedangkan tabel dimensi berisi kolom yang bersifat desktiptif, kecil, pendek, dan lebar yang
berguna untuk filtering (menyaring) dan didasarkan pada atribut dimensi..
Dalam dimensional modeling, ada beberapa pendekatan yang digunakan untuk membuat data
warehouse, yaitu [3]:
1. Skema bintang (star schema)
Skema ini mengikuti bentuk bintang, dimana terdapat satu tabel fakta (fact table) di pusat
bintang dengan beberapa tabel dimensi (dimensional tables) yang mengelilinginya.
Semua tabel dimensi berhubungan dengan ke tabel fakta. Tabel fakta memiliki beberapa
key yang merupakan kunci indek individual dalam tabel dimensi.
2. Skema bola salju (snowflake Schema)
Skema bola salju merupakan perluasan dari skema bintang dengan tambahan beberapa
tabel dimensi yang tidak berhubungan secara langsung dengan tabel fakta. Tabel dimensi
tersebut berhubungan dengan tabel dimensi yang lain.
3. Fact constellations
Pada skema ini terdapat beberapa tabel fakta yang menggunakan satu atau beberapa tabel
dimensi secara bersama-sama sehingga jika digambarkan akan terlihat seperti
sekumpulan bintang. Skema ini juga dikenal dengan galaxy schema.
Analisa Multidimensi

Data perlu diorganisasi dalam bentuk lain berupa data multidimensi yang dinamakan MOLAP
(Multidimensional Online Analytical Processing) atau data relasional ROLAP (Relational Online
Analytical Processing). Data disimpan dalam data warehouse dalam bentuk multidimensi
dioptimasi untuk pencarian kembali (retrieval) untuk OLAP (Online Analytical Processing).
Setelah itu dilakukan analisa multidimensi yang memberikan kemampuan untuk melakukan
query dan membuat laporan (reporting).
Suatu cara melihat data dengan multidimensi tersebut dikenal dengan nama kubus (cube). Kubus
ini menjadi struktur OLAP yang utama yang digunakan untuk melihat data (view). Analisa
menggunakan kubus ini memberikan fasilitas banyak dimensi untuk melihat data yang
diinginkan. Sehingga memungkinkan untuk mengakses data dengan lebih mudah dan cepat untuk
menjawab pertanyaan yang dikemukakan.
Operasi-operasi OLAP
Operasi-operasi yang terdapat pada OLAP antara lain :
1. Slicing dan Dicing
Slicing dan dicing adalah operasi untuk melihat data sebagai visualisasi dari kubus. Dengan
slicing dan dicing pengguna dapat melihat data dari beberapa perspektif. Pengguna dapat
mengekstrak bagian dari data agregrated dan dapat memeriksa dengan detail berdasarkan
dimensi-dimensi yang diinginkan. Data Agregrated merupakan data praperhitungan
(precalculated)
dalam
bentuk
rangkuman data (data summarized) sehingga query pada kubus (cube) lebih cepat. Slicing
memotong kubus sehingga dapat memfokuskan pada perspektif yang spesifik (pada suatu
dimensi). Sedangkan dicing memberikan kemampuan untuk melihat pemilihan data pada dua
dimensi atau lebih. Yaitu dengan merotasi cube pada perspektif yang lain sehingga pengguna
dapat melihat lebih spesifik terhadap data yang dianalisa.
1. Roll up dan drill down
Drill down dan roll up adalah operasi untuk melihat data global atau detail disepanjang
level hiraraki dimensi. Roll up untuk melihat data secara global atau rangkuman
(summary). Drill down memandu pengguna untuk memperoleh data yang lebih detail.
Drill down ini biasa digunakan untuk menjawab pertanyaan atas suatu kasus tertentu.
Misalnya untuk menjawab pertanyaan ketika sebuah summary number (rata-rata atau
jumlah) di bawah atau di atas harapan.
Arsitektur Data Warehouse
Dalam pemilihan sebuah arsitektur data warehouse terlebih dahulu harus ditentukan dimana data
warehouse ditempatkan dan juga dimana kendali kontrol data. Sebagai contoh data dapat
ditempatkan di lokasi terpusat yang diatur secara terpusat (centralized global warehouse) atau

data ditempatkan terdistribusi (distributed global warehouse). Secara fisik centralized global
warehouse digunakan oleh semua organisasi. Sedangkan sebuah distributed global warehouse
juga digunakan untuk semua organisasi tetapi distribusinya melalui beberapa lokasi fisik dalam
organisasi.
Implementasi Data Warehouse
Beberapa pendekatan yang digunakan untuk mengimplementasikan arsitektur warehouse, yaitu
secara bottom up, top down atau kombinasi antara keduanya[3].
1. Desain Implementasi Pendekatan Top Down

Langkah awal implementasi data warehouse dengan pendekatan top down adalah
membangun sebuah data warehouse pada semua data perusahaan, setelah itu dilanjutkan
dengan membangun data mart yang berisi data warehouse khusus yang merupakan
bagian dari data warehouse yang dibangun sebelumnya.
2. Pendekatan Buttom Up

Implementasi bottom up dimulai dengan membangun data mart untuk menyelesaikan

suatu permasalahan tertentu tanpa menunggu dari pengembangan infrastruktur yang telah
lengkap. Ketika ada permasalahan yang lain, maka akan dibuatkan data mart baru. Begitu
juga seterusnya. Selanjutnya bermacam-macam data mart tersebut digabungkan menjadi
sebuah data warehouse.
3. Pendekatan kombinasi

Dalam beberapa kasus pendekatan tidak harus dengan bottom up atau top down tetapi
juga bisa dilakukan dengan kombinasi keduanya. Hal ini untuk mencari alternatif yang
terbaik sesuai dengan kebutuhan.
search

Cari untuk:

Mei 2014
S

Mar

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

Kategori
o

My Thesis

SQL Server

TOEFL

Umum

Halaman
About Me

Blog Stats
o

98,131 hits

Klik tertinggi
o

burhanudin.web.id/program

Feeds

Full

Komentar

Data Warehouse(by Angela)

Nov - 02 | By: Angela Puspitasari | no comments.

Filed under : Uncategorized

Pengertian Data Warehouse

Pengertian Data Warehouse dapat bermacam-macam namun mempunyai inti yang sama, seperti
beberapa pendapat berikut ini :
Menurut W.H. Inmon dan Richard D.H., data warehouse adalah koleksi data yang mempunyai
sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi data dalam
mendukung proses pengambilan keputusan management.
Menurut Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read only
yang digunakan sebagai fondasi dari sistem penunjang keputusan.
Menurut Paul Lane, data warehouse merupakan database relasional yang didesain lebih kepada
query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses
transaksi dan bisa juga data dari sumber lainnya. Data warehouse memisahkan beban kerja
analisis dari beban kerja transaksi dan memungkinkan organisasi menggabung/konsolidasi data
dari berbagai macam sumber.
Data warehouse (DW) adalah database yang digunakan untuk pelaporan. Data yang diturunkan
dari sistem operasional untuk pelaporan. Data mungkin melalui Operasional Data Store (ODS)
untuk operasi tambahan sebelum digunakan di DW untuk pelaporan. (Wikipedia)

Ada juga yang mengatakan data warehouse merupakan metode dalam perancangan database,
yang menunjang DSS(Decission Support System) dan EIS (Executive Information System).
Bill Inmon, sebuah gudang data adalah, subjek berorientasi terintegrasi, waktu-varian dan
koleksi non-volatile data dalam mendukung keputusan manajemen proses pengambilan.
Subject-Oriented: Data warehouse dapat digunakan untuk menganalisis bidang subjek tertentu.
Misalnya, penjualan bisa menjadi subyek tertentu.
Integrated: Data warehouse mengintegrasikan data dari sumber data. Sebagai contoh, sumber
sumber A dan B mungkin memiliki cara yang berbeda untuk mengidentifikasi produk, tapi dalam
data warehouse, akan ada hanya satu cara identifikasi produk.
Sisa-Varian: Historical data disimpan dalam sebuah gudang data. Sebagai contoh, seseorang
dapat mengambil data dari 3 bulan, 6 bulan, 12 bulan, atau data bahkan lebih tua dari sebuah
gudang data. Hal ini kontras dengan sistem transaksi, dimana sering hanya data terbaru disimpan.
Sebagai contoh, sistem transaksi dapat menahan alamat terbaru dari seorang pelanggan, dimana
data warehouse dapat menyimpan semua alamat yang terkait dengan pelanggan.
Non-volatile: Setelah data di gudang data, tidak akan berubah. Jadi, data historis dalam data
warehouse tidak boleh diubah.
Ralph Kimball,sebuah gudang data adalah salinan data transaksi khusus terstruktur untuk query
dan analisis.Ini adalah pandangan fungsional dari sebuah gudang data. Kimball tidak alamat
bagaimana data warehouse dibangun seperti Inmon lakukan, bukan dia berfokus pada
fungsionalitas dari sebuah gudang data.
Sehingga, dapat disimpulkan bahwa data warehouse adalah
kumpulan data dari berbagai sumber yang ditempatkan menjadi 1
dalam tempat penyimpanan berukuran besar lalu diproses menjadi
bentuk penyimpanan multidimensional dan di design untuk
querying dan reporting.

Sebuah gudang data mempertahankan fungsinya dalam tiga lapisan:

Pementasan
Integrasi
Akses
Sebuah prinsip dalam data warehouse adalah bahwa ada tempat untuk setiap fungsi yang
diperlukan di Data Warehouse. Fungsi berada di DW untuk memenuhi kebutuhan pelaporan
pengguna. Pementasan digunakan untuk menyimpan data mentah untuk digunakan oleh

pengembang (analisis dan dukungan). Lapisan integrasi digunakan untuk mengintegrasikan data
dan memiliki tingkat abstraksi dari pengguna. Lapisan akses untuk mendapatkan data keluar bagi
pengguna.
Istilah-istilah yang berkaitan dengan data warehouse :
1. Data Mart

Adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data
pada suatu unit, bagian atau operasi pada suatu perusahaan.
1. On-Line Analytical Processing(OLAP)

Merupakan suatu pemrosesan database yang menggunakan tabel fakta dan dimensi untuk dapat
menampilkan berbagai macam bentuk laporan, analisis, query dari data yang berukuran besar.
1. On-Line Transaction Processing(OLTP)

Merupakan suatu pemrosesan yang menyimpan data mengenai kegiatan operasional transaksi
sehari-hari.
1. Dimension Table

Tabel yang berisikan kategori dengan ringkasan data detail yang dapat dilaporkan. Seperti
laporan laba pada tabel fakta dapat dilaporkan sebagai dimensi waktu(yang berupa perbulan,
perkwartal dan pertahun).
1. Fact Table

Merupakan tabel yang umumnya mengandung angka dan data history dimana key (kunci) yang
dihasilkan sangat unik, karena key tersebut terdiri dari foreign key(kunci asing) yang merupakan
primary key (kunci utama) dari beberapa dimension table yang berhubungan.
1. DSS

Merupkan sistem yang menyediakan informasi kepada pengguna yang menjelaskan bagaimana
sistem ini dapat menganalisa situasi dan mendukung suatu keputusan yang baik.
Kunci perkembangan pada tahun-tahun awal Data Warehousing adalah:
*1960-General Mills dan Dartmouth College,
mengembangkan dimensi syarat dan fakta-fakta.

dalam

proyek

penelitian

*1970-ACNielsen dan IRI memberikan mart dimensi data untuk penjualan eceran.

bersama,

*1983-Teradata memperkenalkan sistem manajemen database yang dirancang khusus untuk

mendukung keputusan.
*1988-Barry Devlin dan Paul Murphy mempublikasikan artikel An arsitektur untuk sebuah
sistem bisnis dan informasi di IBM Systems Journal dimana mereka memperkenalkan Bisnis
Warehouse panjang.
*1990-Red Brick Sistem memperkenalkan Red Warehouse , sebuah sistem manajemen
database khusus untuk data warehouse.
*1991-Prism Prism Gudang Solusi memperkenalkan Manager, perangkat lunak untuk
mengembangkan gudang data.
*1991-Bill Inmon menerbitkan buku Membangun Data Warehouse.
*1995-Data Warehousing Institute, sebuah organisasi nirlaba yang mempromosikan data
warehouse, didirikan.
*1996-Ralph Kimball menerbitkan buku The Data Warehouse Toolkit.
*2000-Daniel Linstedt melepaskan Vault Data, memungkinkan real time diaudit Data
Warehouse.
Karakteristik data warehouse menurut Inmon, yaitu :
1. 1. Subject Oriented (Berorientasi subject)

Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data
berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi
tertentu. Secara garis besar perbedaan antara data operasional dan data warehouse yaitu :

Data Operasional
Dirancang berorientasi hanya
aplikasi dan fungsi tertentu

Data Warehouse
pada Dirancang berdasar pada subjek-subjek
tertentu(utama)

Focusnya pada desain database dan Focusnya pada pemodelan data dan
proses
desain data
Berisi rincian atau detail data

Berisi data-data history yang

dipakai dalam proses analisis

akan

Relasi antar
terkini(selalu
terbaru)

table berdasar aturan Banyak aturan bisnis

mengikuti rule(aturan) antara tabel-tabel

dapat

tersaji

1. 2. Integrated (Terintegrasi)

Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah
kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan
demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang
menunjang keseluruhan konsep data warehouse itu sendiri.
Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara:
konsisten dalam penamaan variable
konsisten dalam ukuran variable
konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data.
Contoh pada lingkungan operasional terdapat berbagai macam aplikasi yang mungkin pula
dibuat oleh developer yang berbeda. Oleh karena itu, mungkin dalam aplikasi-aplikasi tersebut
ada variable yang memiliki maksud yang sama tetapi nama dan format nya berbeda. Variable
tersebut harus dikonversi menjadi nama yang sama dan format yang disepakati bersama. Dengan
demikian tidak ada lagi kerancuan karena perbedaan nama, format dan lain sebagainya. Barulah
data tersebut bisa dikategorikan sebagai data yang terintegrasi karena kekonsistenannya.
Integrasi Data Warehouse

Sumber :
http://www.cait.wustl.edu/papers/prism/vol1_no1/integration/home.html
1. Time-variant (Rentang Waktu)

Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu.
Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data
warehouse, kita dapat menggunakan cara antara lain :
Cara yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu,
misalnya antara 5 sampai 10 tahun ke depan.
Cara yang kedua, dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data
warehouse baik implicit maupun explicit ,secara explicit dengan unsur waktu dalam hari,

minggu, bulan dsb. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir
bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut.
Cara yang ketiga,variasi waktu yang disajikan data warehouse melalui serangkaian
snapshot yang panjang. Snapshot merupakan tampilan dari sebagian data tertentu sesuai
keinginan pemakai dari keseluruhan data yang ada bersifat read-only.
Time Variancy
Data Warehouse
Snapshot data:

time horizon :5-10 years

key contain an element of time

once snapshot is created, record cannot be update

Operasional
Current value data:

time horizon :60-90 days

key may or may not have an element of time

data can be update

1. 4. Non-Volatile

Karakteristik keempat dari data warehouse adalah non-volatile,maksudnya data pada data
warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara
reguler. Data yang baru selalu ditambahkan sebagai suplemen bagi database itu sendiri dari
pada sebagai sebuah perubahan. Database tersebut secara kontinyu menyerap data baru ini,
kemudian secara incremental disatukan dengan data sebelumnya.
Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap
data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan
memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data
warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada
kegiatan updating data).
Kegunaan Data Warehouse

Dengan adanya data warehouse, akan mempermudah pembuatan aplikasi-aplikasi DSS dan EIS
karena memang kegunaan dari data warehouse adalah khusus untuk membuat suatu database
yang dapat digunakan untuk mendukung proses analisa bagi para pengambil keputusan.

Tugas-tugas Data warehouse

Ada empat tugas yang bisa dilakukan dengan adanya data warehouse, menurut Williams,
keempat tugas tersebut yaitu:
1. Pembuatan laporan

Pembuatan laporan merupakan salah satu kegunaan data warehouse yang paling umum
dilakukan. Dengan menggunakan query sederhana didapatkan laporan perhari,perbulan, pertahun
atau jangka waktu kapanpun yang diinginkan.
1. On-Line Analytical Processing (OLAP)

Dengan adanya data warehouse,semua informasi baik detail maupun hasil summary yang
dibutuhkan dalam proses analisa mudah didapat.
OLAP mendayagunakan konsep data multi dimensi dan memungkinkan para pemakai
menganalisa data sampai mendetail, tanpa mengetikkan satupun perintah SQL. Hal ini
dimungkinkan karena pada konsep multi dimensi, maka data yang berupa fakta yang sama bisa
dilihat dengan menggunakan fungsi yang berbeda. Fasilitas lain yang ada pada sofware OLAP
adalah fasilitas rool-up dan drill-down. Drill-down adalah kemampuan untuk melihat detail dari
suatu informasi dan roll-up adalah kebalikannya.
1. Data mining

Data mining merupakan proses untuk menggali(mining) pengetahuan dan informasi baru dari
data yang berjumlah banyak pada data warehouse, dengan menggunakan kecerdasan buatan
(Artificial Intelegence), statistik dan matematika. Data mining merupakan teknologi yang
diharapkan dapat menjembatani komunikasi antara data dan pemakainya.
Beberapa solusi yang diberikan data mining antara lain :
1. 1. Menebak target pasar

Data mining dapat mengelompokkan (clustering) model-model pembeli dan melakukan

klasifikasi terhadap setiap pembeli dan melakukan klasifikasi terhadap setiap pembeli sesuai
dengan karakteristik yang diinginkan.
1. 2. Melihat pola beli dari waktu ke waktu

Data mining dapat digunakan untuk melihat pola beli dari waktu ke waktu.

1. 3. Cross-market analysis

Data mining dapat dimanfaatkan untuk melihat hubungan antara satu produk dengan produk
lainnya.
1. 4. Profil pelanggan

Data mining bisa membantu pengguna untuk melihat profil pembeli sehingga dapat diketahui
kelompok pembeli tertentu cenderung kepada suatu produk apa saja.
1. 5. Informasi summary

Data mining dapat membuat laporan summary yang bersifat multi dimensi dan dilengkapi
dengan informasi statistik lainnya.
1. Proses informasi executive

Data warehouse dapat membuat ringkasan informasi yang penting dengan tujuan membuat
keputusan bisnis, tanpa harus menjelajahi keseluruhan data. Dengan menggunakan data
warehouse segala laporan telah diringkas dan dapat pula mengetahui segala rinciannya secara
lengkap, sehingga mempermudah proses pengambilan keputusan. Informasi dan data pada
laporan data warehouse menjadi target informative bagi user.

Keuntungan dan Kerugian Data Warehouse

Keuntungan Data Warehouse

Data warehouse merupakan pendekatan untuk menyimpan data dimana sumber-sumber data
yang heterogen(yang biasanya tersebar pada beberapa database OLTP) dimigrasikan untuk
penyimpanan data yang homogen dan terpisah. Keuntungan yang didapatkan dengan
menggunakan data warehouse tersebut dibawah ini (Ramelho).
Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi.
Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat
diatasi.
Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila
data dipindahkan dari database OLTP ke data warehouse.
Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi.

Membangun data warehouse tentu saja memberikan keuntungan lebih bagi suatu perusahaan,
karena data warehouse dapat memberikan keuntungan strategis pada perusahaan tersebut
melebihi pesaing-pesaing mereka. Keuntungan tersebut diperoleh dari beberapa sumber (Sean
Nolan,Tom Huguelet):
Kemampuan untuk mengakses data yang besar
Kemampuan untuk memiliki data yang konsistent
Kemampuan kinerja analisa yang cepat
Mengetahui adanya hasil yang berulang-ulang
Menemukan adanya celah pada business knowledge atau business process.
Mengurangi biaya administrasi
Memberi wewenang pada semua anggota dari perusaahan dengan menyediakan kepada mereka
informasi yang dibutuhkan agar kinerja bisa lebih efektif.

Kerugian Data Warehouse

Ada juga kerugian dalam menggunakan data warehouse. Beberapa di antaranya adalah:
Data gudang tidak lingkungan optimal untuk data tidak terstruktur.
Karena data harus diekstrak, diubah dan dimasukkan ke dalam gudang, ada unsur latency dalam
data warehouse data.
Selama hidup mereka, gudang data dapat memiliki biaya yang tinggi.
Data gudang bisa mendapatkan usang relatif cepat. Ada biaya penyampaian informasi suboptimal
bagi organisasi.
Ada sering garis halus antara gudang data dan sistem operasional. Duplikat, fungsionalitas mahal
dapat dikembangkan. Atau, fungsi dapat dikembangkan di gudang data itu, dalam retrospeksi,
seharusnya sudah dikembangkan dalam sistem operasional.
Contoh aplikasi
Beberapa aplikasi data warehousing dapat digunakan untuk adalah:
Dukungan Keputusan
Trend analisis

Keuangan peramalan
Prediksi Churn pelanggan Telecom, dll pengguna Kartu Kredit
Asuransi penipuan analisis
Panggilan catatan analisis
Logistik dan manajemen persediaan
Pertanian
Membangun Data Warehouse

Menentukan Bentuk Data Warehouse

Data warehouse memiliki berbagai macam bentuk yang sering digunakan. Jadi sebelum
membangun suatu data warehouse kita harus memutuskan bentuk data warehouse seperti apa
yang dibutuhkan oleh aplikasi yang kita rancang.

Anatomi Data Warehouse

Penerapan awal dari arsitektur data warehouse dibuat berdasarkan konsep bahwa data
warehouse mengambil data dari berbagai sumber dan memindahkannya ke dalam pusat
pengumpulan data yang besar. Konsep ini sebenarnya lebih cenderung kepada sebuah lingkungan
mainframe yang terpusat.
Keunggulan teknologi Client Server memungkinkan data warehouse diterapkan dalam berbagai
macam cara untuk menampung kebutuhan pemakai sistem secara lebih proposional. Dalam suatu
kasus, misalkan saja pemakai tertentu perlu menggabungkan data dari sebuah sistem
pengumpulan data yang statis dengan data dari sistem operasional yang dinamis hanya dengan
sebuah query saja.
Berikut ini adalah tiga jenis dasar sistem Data Warehouse :

1. Functional Data Warehouse (Data Warehouse Fungsional)

Kata operasional disini merupakan database yang diperoleh dari kegiatan sehari-hari. Data
warehouse dibuat lebih dari satu dan dikelompokkan berdasar fungsi-fungsi yang ada di dalam
perusahaan seperti fungsi keuangan(financial),marketing,personalia dan lain-lain.
Keuntungan dari bentuk data warehouse seperti ini adalah, sistem mudah dibangun dengan
biaya relatif murah sedangkan kerugiannya adalah resiko kehilangan konsistensi data dan
terbatasnya kemampuan dalam pengumpulan data bagi pengguna.
Bentuk data warehouse fungsional

2. Centralized Datawarehouse (Data Warehouse Terpusat)

Bentuk ini terlihat seperti bentuk data warehouse fungsional, namun terlebih dahulu sumber data
dikumpulkan dalam satu tempat terpusat, kemudian data disebar ke dalam fungsinya masingmasing, sesuai kebutuhan perusahaan. Data warehouse terpusat ini, biasa digunakan oleh
perusahaan
yang
belum
memiliki
jaringan
eksternal.
Keuntungan dari bentuk ini adalah data benar-benar terpadu karena konsistensinya yang tinggi
sedang kerugiannya adalah biaya yang mahal serta memerlukan waktu yang cukup lama untuk
membangunnya.

3. Distributed Data Warehouse (Data Warehouse terdistribusi)

Pada data warehouse terdistribusi ini, digunakan gateway yang berfungsi sebagai jembatan
penghubung antara data warehouse dengan workstation yang menggunakan sistem beraneka
ragam. Dengan sistem terdistribusi seperti ini memungkinkan perusahaan dapat mengakses
sumber
data
yang
berada
diluar
lokasi
perusahaan(eksternal).
Keuntungannya adalah data tetap konsisten karena sebelum data digunakan data terlebih dahulu
di sesuaikan atau mengalami proses sinkronisasi. Sedangkan kerugiannya adalah lebih kompleks
untuk diterapkan karena sistem operasi dikelola secara terpisah juga biaya nya yang paling mahal
dibandingkan dengan dua bentuk data warehouse lainnya.
Arsitektur dan Infrastruktur Data Warehouse
Arsitekur Data Warehouse

Menurut Poe, arsitektur adalah sekumpulan atau struktur yang memberikan kerangka
untuk keseluruhan rancangan suatu sistem atau produk.
Ada
arsitektur client-server, arsitektur networking dan masih banyak arsitektur lainnya. Arsitektur
data menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data akan
pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk data warehouse
mempunyai komponen utama yaitu read-only database.
Karakterisitik arsitektur data warehouse (Poe) :
1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
2. Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke
dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server,
Sybase dan masih banyak yang lainnya.
3. Data warehouse merupakan sebuah database terpisah bersifat hanya dapat
dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
4. Pemakai mengakses data warehouse melalui aplikasi front end tool

Arsitektur dan komponen utama dari data warehouse dapat dilihat pada gambar berikut ini :

Sumber : Conolly,T.M.,Begg
1. a. Operational Data

Sumber data dari data warehouse dapat diambil langsung dari mainframe, basis data
relasional seperti Oracle, Ms SQL server dan sebagainya. Selain itu dapat melaluo
Operational Data Source(ODS). ODS menampung data yang diekstrak dari sistem utama atau
sumber-sumber data yang ada dan kemudian data hasil ekstrasi tersebut dibersihkan.
1. b. Load manager

Load manager juga disebut sebagai komponen front-end yang bertugas melakukan seluruh
operasi yang berhubungan dengan ekstrasi dan me-load data ke warehouse.
1. c. Warehouse Manager

Warehouse manager melakukan seluruh operasi-operasi yang berhubungan dengan

kegiatan manajemen data di dalam warehouse. Operasi-operasi tersebut meliputi :
Analisis terhadap data untuk memastikan konsistensi
Transformasi dan penggabungan sumber data dari tempat penyimpanan sementara menjadi tabeltabel data warehouse.
Penciptaan indeks-indeks dan view berdasarkan tabel-tabel dasar
Melakukan denormalisasi dan agregasi jika diperlukan
Backing-Up dan mengarsipkan data
1. d. Query manager

Query manager juga disebut komponen back-end, melakukan operasi-operasi yang berhubungan
dengan manajemen user queries. Operasi-operasi yang dilakukan oleh komponen ini termasuk
mengarahkan query kepada tabel-tabel yang tepat dan menjadwalkan eksekusi dari query
tersebut.
1. e. End-user Access Tools

Prinsip atau tujuan utama dari dibangunnya data warehouse adalah untuk menyediakan
informasi bisnis kepada user-user untuk dapat melakukan pengambilan keputusan secara
cepat dan tepat.User ini berinteraksi dengan warehouse melalui end-user access tools. Data
warehouse harus secara efisien mendukung secara khusus kebutuhan user serta secara rutin
melakukan analisis. Performa yang baik dapat dicapai dengan merencanakan dahulu keperluankeperluan untuk melakukan joins,summations dan laporan-laporan per periode dengan end-users.

Berdasarkan kategori yang dikemukakan oleh Berson dan Smith terdapat lima grup utama dari
tools tersebut, antara lain :
1. Reporting and query tools
2. Application development tools
3. Executive information System (EIS) tools
4. Online Analytical Processing (OLAP) tools
5. Data mining tools

Secara umum, sistem

# Layer Sumber Data

data

warehouse

semua

memiliki

lapisan

sebagai

berikut:

# Layer Data Extraction

# Area Staging
# Layer ETL
# Lapisan Penyimpanan Data
# Layer Data Logika
# Layer Data Penyajian
# Layer Metadata
#
Sistem
Arsitektur Data Warehouse

Operasi

Layer

Setiap komponen individual dibahas di bawah ini:

Sumber Data Layer
Ini merupakan sumber data yang berbeda yang feed data ke dalam gudang data. Sumber data bisa
dari format apapun teks file biasa, database relasional, jenis database, Excel file, semua bisa
bertindak
sebagai
sumber
data.
Semua sumber data bersama-sama membentuk Sumber Lapisan Data.
Data Extraction Layer

Mendapat data menarik dari sumber data ke dalam sistem gudang data. Ada beberapa
kemungkinan pembersihan data minimal, tetapi ada tidak mungkin ada transformasi data besar.
Pementasan Area
Ini adalah dimana data duduk sebelum menjadi digosok dan berubah menjadi gudang data / data
mart. Setelah satu area umum membuat lebih mudah untuk memproses data berikutnya /
integrasi.
ETL Layer
Ini adalah dimana data keuntungan kecerdasan, seperti logika diterapkan untuk mengubah data
dari sifat transaksional yang bersifat analitis. Lapisan ini juga dimana data pembersihan terjadi.
Penyimpanan Data Layer
Ini adalah dimana data ditransformasikan dan dibersihkan duduk. Berdasarkan lingkup dan
fungsionalitas, 3 jenis entitas dapat ditemukan di sini: data warehouse, data mart, dan
menyimpan data operasional (BPO). Dalam setiap sistem yang diberikan, Anda mungkin hanya
salah satu dari tiga, dua dari tiga, atau semua tiga jenis.
Data Logic Layer
Ini adalah di mana aturan-aturan bisnis disimpan. Bisnis aturan disimpan di sini tidak
mempengaruhi aturan transformasi data dasar, namun tidak mempengaruhi apa yang tampak
seperti laporan.
Data Presentation Layer
Hal ini mengacu pada informasi yang mencapai pengguna. Ini bisa dalam bentuk laporan tabel /
grafik dalam browser, laporan diemail yang mendapat secara otomatis dihasilkan dan dikirim
sehari-hari, atau peringatan yang memperingatkan pengguna pengecualian, antara lain.
Metadata Layer
Ini adalah tempat informasi tentang data yang disimpan dalam sistem gudang data disimpan.
Sebuah model data logis akan menjadi contoh dari sesuatu yang ada di lapisan metadata.
Sistem Operasi Layer
Lapisan ini mencakup informasi tentang bagaimana sistem data warehouse beroperasi, seperti
status pekerjaan ETL, kinerja sistem, dan sejarah pengguna akses.
Infrastruktur Data Warehouse

Infrastruktur data warehouse adalah software, hardware, pelatihan dan komponenkomponen lainnya yang memberikan dukungan yang dibutuhkan untuk
mengimplementasikan data warehouse(Poe).
Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse adalah
pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang dibutuhkan. Arsitektur
yang sama, mungkin memerlukan infrastruktur yang berbeda, tergantung pada lingkunan
perusahaan ataupun organisasi.

Struktur Data Warehouse

Menurut Poe, Vidette, data warehouse memiliki struktur yang spesifik dan mempunyai
perbedaan dalam tingkatan detail data dan umur data.

Komponen dari struktur data warehouse adalah:

Current detail data
Current detail data merupakan data detil yang aktif saat ini,mencerminkan keadaan yang sedang
berjalan dan merupakan level terendah dalam data warehouse. Berikut ini beberapa alasan
mengapa current detail data menjadi perhatian utama :
1. Menggambarkan kejadian yang baru terjadi dan selalu menjadi perhatian
utama
2. Sangat banyak jumlahnya dan disimpan pada tingkat penyimpanan terendah.
3. Hampir selalu disimpan dalam storage karena cepat di akses tetapi mahal
dan kompleks dalam pengaturannya.
4. Bisa digunakan dalam membuat rekapitulasi sehingga current detail data
harus akurat.

Older detail data

Data ini merupakan data historis dari current detail data, dapat berupa hasil cadangan atau
archive data yang disimpan dalam storage terpisah. Karena bersifat back-up(cadangan), maka
biasanya data disimpan dalam storage alternatif seperti tape-desk.
Data ini biasanya memilki tingkat frekuensi akses yang rendah. Penyusunan file atau directory
dari data ini di susun berdasarkan umur dari data yang bertujuan mempermudah untuk pencarian
atau pengaksesan kembali.
Lighlty summarized data

Data ini merupakan ringkasan atau rangkuman dari current detail data. Data ini dirangkum
berdasar periode atau dimensi lainnya sesuai dengan kebutuhan.
Ringkasan dari current detail data belum bersifat total summary.Data-data ini memiliki detil
tingkatan yang lebih tinggi dan mendukung kebutuhan warehouse pada tingkat departemen.
Tingkatan data ini di sebut juga dengan data mart. Akses terhadap data jenis ini banyak
digunakan untuk view suatu kondisi yang sedang atau sudah berjalan.
Highly summarized data
Data ini merupakan tingkat lanjutan dari Lightly summarized data, merupakan hasil ringkasan
yang bersifat totalitas, dapat di akses misal untuk melakukan analisis perbandingan data
berdasarkan urutan waktu tertentu dan analisis menggunakan data multidimensi.
Metadata
Metadata bukan merupakan data hasil kegiatan seperti keempat jenis data diatas. Menurut Poe,
metadata adalah data tentang data dan menyediakan informasi tentang struktur data dan
hubungan antara struktur data di dalam atau antara storage(tempat penyimpanan data).
Metadata berisikan data yang menyimpan proses perpindahan data meliputi database
structure,contents,detail data dan summary data, matrics,versioning, aging criteria,versioning,
transformation criteria. Metadata khusus dan memegang peranan yang sangat penting dalam
data warehouse.
Metadata sendiri mengandung :
Struktur data
Sebuah direktori yang membantu user untuk melakukan analisis Decission Support System dalam
pencarian letak/lokasi dalam data warehouse.
Algoritma
Algoritma digunakan untuk summary data. Metadata sendiri merupakan panduan untuk
algoritma dalam melakukan pemrosesan summary data antara current detail data dengan lightly
summarized data dan antara lightly summarized data dengan hightly summaried data.
Mapping
Sebagai panduan pemetaan(mapping) data pada saat data di transform/diubah dari lingkup
operasional menjadi lingkup data warehouse.

Metodologi
Warehouse

Perancangan

Database

untuk

Data

Menurut Kimball ada sembilan tahap metodologi dalam perancangan database untuk data
warehouse, yaitu :
Langkah 1 : Pemilihan proses
1. Data mart yang pertama kali dibangun haruslah data mart yang dapat dikirim
tepat waktu dan dapat menjawab semua pertanyaan bisnis yang penting
2. Pilihan terbaik untuk data mart yang pertama adalah yang berhubungan
dengan sales, misal property sales, property leasing,property advertising.

Langkah 2 : Pemilihan sumber

1. Untuk memutuskan secara pasti apa yang diwakili atau direpresentasikan
oleh sebuah tabel fakta.
2. Misal, jika sumber dari sebuah tabel fakta properti sale adalah properti sale
individual maka sumber dari sebuah dimensi pelanggan berisi rincian
pelanggan yang membeli properti utama

Langkah 3 : Mengidentifikasi dimensi

1. Set dimensi yang dibangun dengan baik, memberikan kemudahan untuk
memahami dan menggunakan data mart
2. Dimensi ini penting untuk menggambarkan fakta-fakta yang terdapat pada
tabel fakta
3. Misal, setiap data pelanggan pada tabel dimensi pembeli dilengkapi dengan
id_pelanggan,no_pelanggan,tipe_pelanggan,tempat_tinggal,
dan
lain
sebagainya.
4. Jika ada dimensi yang muncul pada dua data mart,kedua data mart tersebut
harus berdimensi sama,atau paling tidak salah satunya berupa subset
matematis dari yang lainnya.
5. Jika sebuah dimensi digunakan pada dua data mart atau lebih,dan dimensi ini
tidak disinkronisasi,maka keseluruhan data warehouse akan gagal, karena
dua data mart tidak bisa digunakan secara bersama-sama

Langkah 4 : Pemilihan fakta

1. Sumber dari sebuah tabel fakta menentukan fakta mana yang bisa digunakan
dalam data mart.

2. Semua fakta harus diekspresikan pada tingkat yang telah ditentukan oleh
sumber

Langkah 5 : Menyimpan pre-kalkulasi di tabel fakta

1. Hal ini terjadi apabila fakta kehilangan statement

Langkah 6 : Melengkapi tabel dimensi

a. Pada tahap ini kita menambahkan keterangan selengkap-lengkapnya pada tabel dimensi
b. Keterangannya harus bersifat intuitif dan mudah dipahami oleh pengguna
Langkah 7 : Pemilihan durasi database
1. Misalnya pada suatu perusahaan asuransi, mengharuskan data disimpan
selama 10 tahun atau lebih

Langkah 8 : Menelusuri perubahan dimensi yang perlahan

Ada tiga tipe perubahan dimensi yang perlahan, yaitu :

Tipe 1. Atribut dimensi yang telah berubah tertulis ulang

Tipe 2. Atribut dimensi yang telah berubah menimbulkan sebuah dimensi

baru

Tipe 3. Atribut dimensi yang telah berubah menimbulkan alternatif sehingga

nilai atribut lama dan yang baru dapat diakses secara bersama pada dimensi
yang sama.

Langkah 9 : Menentukan prioritas dan mode query

1. Pada tahap ini kita menggunakan perancangan fisik.

Model untuk Data Warehouse

Berikut di bawah ini adalah penjelasan dari model untuk data warehouse

Model Dimensional
Model dimensional merupakan rancangan logikal yang bertujuan untuk menampilkan data dalam
bentuk standar dan intuitif yang memperbolehkan akses dengan performa yang tinggi.
Model dimensional menggunakan konsep model hubungan antar entity (ER) dengan beberapa
batasan yang penting. Setiap model dimensi terdiri dari sebuah tabel dengan sebuah komposit
primary key, disebut dengan table fakta, dan satu set table yang lebih kecil disebut table dimensi.

Setiap table dimensi memiliki sebuah simple primary key yang merespon tepat pada satu
komponen primary key pada tabel fakta. Dengan kata lain primary key pada table fakta terdiri
dari dua atau lebih foreign key. Struktur karakteristik ini disebut dengan skema bintang atau join
bintang.
Fitur terpenting dalam model dimensional ini adalah semua natural keys diganti dengan kunci
pengganti(surrogate keys). Maksudnya yaitu setiap kali join antar table fakta dengan table
dimensi selalu didasari kunci pengganti. Kegunaan dari kunci pengganti adalah memperbolehkan
data pada data warehouse untuk memiliki beberapa kebebasan dalam penggunaan data, tidak
seperti halnya yang diproduksi oleh sistem OLTP.
Sebuah sistem OLTP memerlukan normalisasi untuk mengurangi redudansi, validasi untuk input
data, mendukung volume yang besar dari transaksi yang bergerak sangat cepat. Model OLTP
sering terlihat seperti jaring laba-laba yang terdiri atas ratusan bahkan ribuan tabel sehingga sulit
untuk dimengerti.
Sebaliknya, dimension model yang sering digunakan pada data warehouse adalah skema bintang
atau snowflake yang mudah dimengerti dan sesuai dengan kebutuhan bisnis, mendukung query
sederhana dan menyediakan performa query yang superior dengan meminimalisasi tabel-tabel
join. Berikut contoh perbandingan diagram antara model data OLTP dengan dimension table data
warehouse :
Dimension Model
Schema Bintang

Skema bintang merupakan struktuk logikal yang memiliki tabel fakta yang terdiri atas data
faktual ditengahnya, dan dikelilingi oleh tabel-tabel dimensi yang berisi referensi data.
Jenis-jenis Skema Bintang
1. 1. Skema bintang sederhana

Dalam skema ini, setiap table harus memiliki primary key yang terdiri dari satu kolom atau
lebih.Primary key dari table fakta terdiri dari satu atau lebih foreign key.Foreign key merupakan
primary key pada table lain.
1. 2. Skema bintang dengan banyak table fakta

Skema bintang juga bisa terdiri dari satu atau lebih table fakta. Dikarenakan karena table fakta
tersebut ada banyak, misalnya disamping penjualan terdapat table fakta forecasting dan result.
Walaupun terdapat lebih dari satu table fakta, mereka tetap menggunakan table dimensi bersamasama.
Adapun ketentuan dalam pembacaan skema bintang adalah :

Bagian yang ada di bawah judul tabel merupakan kolom-kolom tabel tersebut

Primary key dan Foreign key diberi kotak

Primary key diarsir sedang Foreign key yang bukan primary tidak

Foreign key yang berhubungan

menghubungkan tabel.

ditunjukkan

dengan

garis

yang

Kolom yang bukan kunci disebut kolom data pada table fakta dan atribut pada table dimensi
Snowflake Schema

Merupakan varian dari skema bintang dimana table-table dimensi tidak terdapat data yang di
denormalisasi. Dengan kata lain satu atau lebih table dimensi tidak bergabung secara langsung
kepada table fakta tapi pada table dimensi lainnya. Sebagai contoh, sebuah dimensi yang
mendeskripsikan produk dapat dipisahkan menjadi tiga table (snowflaked) seperti contoh
dibawah ini :
Snowflake Schemes

Star atau Snowflake

Keduanya merupakan model-model dimensional, perbedaannya terletak pada implementasi
fisikal. Skema snowflake memberi kemudahan pada perawatan dimensi, dikarenakan strukturnya
yang lebih normalisasi. Sedangkan skema bintang lebih efisien serta sederhana dalam membuat
query dan mudah diakses secara langsung oleh pengguna.
Adapun starflake merupakan gabungan diantara keduanya. Keuntungan menggunakan masingmasing model tersebut dalam data warehouse antara lain :

Efisien dalam hal mengakses data

Dapat beradaptasi terhadap kebutuhan-kebutuhan user

Bersifat fleksibel terhadap perubahan yang terjadi khususnya perubahan

yang mengarah pada perkembangan

Memiliki kemampuan dalam memodelkan situasi bisnis secara umum

Meskipun skema yang dihasilkan sangat kompleks, tetapi pemrosesan query

dapat diperkirakan, hal ini dikarenakan pada level terendah, setiap table
fakta harus di query secara independen.

Hubungan Data Warehouse dengan Data Mining

Data Mining memang salah satu cabang ilmu komputer yang relatif baru. Dan data mining dapat
menyangkut database, kecerdasan buatan (artificial intelligence), statistik, dsb. Ada pihak yang
berpendapat bahwa data mining tidak lebih dari machine learning atau analisa statistik yang
berjalan di atas database. Namun pihak lain berpendapat bahwa database berperanan penting di
data mining karena data mining mengakses data yang ukurannya besar (bisa sampai terabyte)
dan disini terlihat peran penting database terutama dalam optimisasi query-nya.
Dalam jurnal ilmiah, data mining juga dikenal dengan nama Knowledge Discovery in Databases
(KDD). Kehadiran data mining dilatar belakangi dengan problema data explosion yang
dialami akhir-akhir ini dimana banyak organisasi telah mengumpulkan data sekian tahun
lamanya (data pembelian, data penjualan, data nasabah, data transaksi dsb.). Hampir
semua data tersebut dimasukkan dengan menggunakan aplikasi komputer yang digunakan untuk
menangani transaksi sehari-hari yang kebanyakan adalah OLTP (On Line Transaction
Processing). Bayangkan berapa transaksi yang dimasukkan oleh hypermarket semacam
Carrefour atau transaksi kartu kredit dari sebuah bank dalam seharinya dan bayangkan betapa
besarnya ukuran data mereka jika nanti telah berjalan beberapa tahun. Pertanyaannya sekarang,
apakah data tersebut akan dibiarkan menggunung, tidak berguna lalu dibuang, ataukah kita dapat
me-nambang-nya untuk mencari emas, berlian yaitu informasi yang berguna untuk
organisasi kita. Banyak diantara kita yang kebanjiran data tapi miskin informasi.
Data mining dapat menambang data transaksi belanja kartu kredit untuk melihat manakah
pembeli-pembeli yang memang potensial untuk membeli produk tertentu. Mungkin tidak sampai
presisi 10%, tapi bayangkan jika kita dapat menyaring 20% saja, tentunya 80% dana dapat
digunakan untuk hal lainnya.
Lalu apa beda data mining dengan data warehouse dan OLAP (On-line Analytical Processing)?
Secara singkat bisa dijawab bahwa teknologi yang ada di data warehouse dan OLAP
dimanfaatkan penuh untuk melakukan data mining. Gambar di bawah menunjukkan posisi
masing-masing teknologi:
Dari gambar di atas terlihat bahwa teknologi data warehouse digunakan untuk melakukan
OLAP, sedangkan data mining digunakan untuk melakukan information discovery yang
informasinya lebih ditujukan untuk seorang Data Analyst dan Business Analyst (dengan
ditambah visualisasi tentunya). Dalam prakteknya, data mining juga mengambil data dari data
warehouse. Hanya saja aplikasi dari data mining lebih khusus dan lebih spesifik dibandingkan
OLAP mengingat database bukan satu-satunya bidang ilmu yang mempengaruhi data mining,
banyak lagi bidang ilmu yang turut memperkaya data mining seperti: information science (ilmu
informasi), high performance computing, visualisasi, machine learning, statistik, neural networks
(jaringan syaraf tiruan), pemodelan matematika, information retrieval dan information extraction
serta pengenalan pola. Bahkan pengolahan citra (image processing) juga digunakan dalam
rangka melakukan data mining terhadap data image/spatial.

Dengan memadukan teknologi OLAP dengan data mining diharapkan pengguna dapat
melakukan hal-hal yang biasa dilakukan di OLAP seperti drilling/rolling untuk melihat data
lebih dalam atau lebih umum, pivoting, slicing dan dicing. Semua hal tersebut diharapkan
nantinya dapat dilakukan secara interaktif dan dilengkapi dengan visualisasi.