Proses ETL Pada Data Waehouse
By : ddyarmada
Definisi
Ekstraksi
Data (Extract)Ekstraksi data
secara
otomatis
dari
aplikasi
sumber.Penyaringan atau
seleksi
data hasil ekstraksi.Pengiriman data
dari
berbagai platform aplikasi
ke
sumber
data.Perubahan
format layout data
dari
format aslinya.Penyimpanan dalam file sementara
untuk
penggabungan
dengan
hasil
ekstraksi
dari
sumber
lain.Transformasi
Data (Transformation)Memetakan data
input dari skema data aslinya ke
skema data warehouse.Melakukan konversi
tipe
data atau format data.Pembersihan serta
pembuangan
duplikasi
dan
kesalahan
data.Pemerikasaan
integritas
referensi
data.Pengisian nilai-nilai
kosong
dengan
nilai default.Penggabungan
data.Pengisian
Data (Loading)ETL
toolIBM Infosphere DataStageInformatica PowerCenterOracle Warehouse Builder (OWB)Oracle Data Integrator (ODI)SAS ETL StudioBusiness Objects Data Integrator(BODI)Microsoft SQL Server Integration
Services(SSIS)Ab InitioMempunyai
banyak
dukungan
terhadap
sumber
data, hampir semua ETL Tool mendukung
vendor-vendor database populer sepert
SQL Server, Oracle, Mysql, PostgreSQL, Netezza,
Sybase, bahkan AS400. Selain
database dapat juga mendukung pembacaan
sumber
data dari Flat File seperti
Excel, XML, Json, HTTP Request, JSon,
File Delimiter, dan lain-lain.Dukungan
GUI untuk membuat Skema
ETL.Beberapa
ETL Tool disertakan dengan
JOB SCHEDULER untuk proses Ototmatis.Mendukung
pengolahan
data seperti
simple copy, Agregasi, Finter,
Sorter, Join, bahkan ada yang mendukung penggunaan
Pipe untuk data flow.Dukungan
target penyimpanan hampir
sama
pada
dukungan
terhadap
sumer
data.
ETL
adalah
proses untuk mengumpulkan
data dari berbagai sumber
(Extract), membersihkannya
(Transform),
untuk
kemudian
menyimpannya
ke
dalam
sistem
yang lain (Load).
Ekstraksi
data
adalah
proses dimana data diambil atau
diekstrak
dari
berbagai
sistem
operasional,
baik
menggunakan query, atau
aplikasi
ETL. Terdapat beberapa
fungsi
ekstraksi
data, yaitu :
Transformasi
adalah
proses dimana data mentah (raw data)
hasil
ekstraksi
disaring
dan
diubah
sesuai
dengan
kaidah
bisnis
yang berlaku. Langkah-langkah
dalam
transformasi
data adalah sebagai berikut
:
Proses terakhir yang
perlu
dilakukan
adalah
proses pemuatan data
yang didapatkan dari
hasil
transformasi
ke
dalam data warehouse. Cara
untuk
memuat
data adalah dengan menjalankan
SQL script secara
periodik.
Keuntungan dan Kekurangan Star Schema dam Snowflake Schema
By : ddyarmada
Kelebihan dan kekurangan model dimensi star schema.
Kelebihan model dimensi star schema :
- cenderung mudah dipahami karena modelnya yang lebih sederhana,
- memudahkan mencari isi karena kesderhanaannya dengan cara melihat step by stepdari masing-masing dimensinya,
- proses query lebih cepat pada saat proses OLAP.
Kekurangan model dimensi star schema :
- ukuran data lebih besar karena ada data yang disimpan ulang,
- maintenance dan update lebih sulit.
Kelebihan dan kekurangan model dimensi snowflake schema.
Kelebihan model dimensi snowflake schema :
- ukuran data lebih kecil di dalam tempat penyimpanan,
- lebih mudah dilakukan maintenance dan update,
- proses query lebih cepat pada saat proses ETL.
Kekurangan model dimensi snowflake schema :
- cenderung lebih sulit dipahami karena kompleksitasnya,
- sulit mencari isi karena melihat strukturnya yang kompleks dan bercabang-cabang.
Snowflake Schema or Stars Schema
By : ddyarmadaSaya memilih tabel dari database penjualan barang/produk (knalpot) dari perusahaan CV. Heri Jaya Teknik. Dimana dalam database tersebut terdapat beberapa transaksi salah satunya penjualan produk (knalpot). Fact yang ditampilkan berupa ID_pelanggan, ID_produk, ID_jenis_produk, date.
gambar 1 PDM database
gambar 2 Snowflake Schema
By : ddyarmada
Perusahaan sering menjaga data mereka di berbagai sistem informasi yang telah terus bekembang selama bertahun-tahun untuk melacak histori data perusahaan. Karena sistem tersebut mungkin telah diambil dari database yang berbeda atau spreadsheet, mungkin pada sistem operasi yang berbeda dan platform komputer, dan sering dikembangkan pada waktu yang berbeda oleh staf yang berbeda untuk berbagai tujuan, kualitas data mereka bervariasi secara signifikan. Sistem warisan juga sangat sulit, mahal, dan tidak efisien untuk mempertahankan. Yang paling penting, meskipun, adalah bahwa bagian kunci dari data dari seluruh sistem tidak dapat diintegrasikan ke dalam satu basis pengetahuan untuk membantu dalam membuat keputusan korporasi yang sehat.
Gambar 1-1
Dalam Gambar 1-1, metadata dan data mentah dari sistem tradisional OLTP hadir, seperti tambahan jenis data, data ringkasan. Ringkasan yang sangat berharga dalam gudang data karena mereka pra - menghitung operasi lama di muka. Misalnya, permintaan data warehouse khas adalah untuk mengambil sesuatu seperti penjualan Agustus. Ringkasan di Oracle yang disebut pandangan terwujud.
Gambar 1-2
Pada Gambar 1-1 , Anda perlu membersihkan dan memproses data operasional sebelum memasukkannya ke dalam data warehouse . Anda dapat melakukan pemrograman ini, meskipun sebagian besar data warehouse menggunakan staging area sebaliknya . Sebuah area pementasan menyederhanakan ringkasan bangunan dan manajemen gudang umum . Gambar 1-2 menggambarkan arsitektur khas.
Gambar 1-3
Meskipun arsitektur pada Gambar 1-2 adalah sangat umum, Anda mungkin ingin menyesuaikan arsitektur data warehouse anda untuk kelompok yang berbeda dalam organisasi. Anda dapat melakukan ini dengan menambahkan data mart, yang merupakan sistem yang dirancang untuk lini bisnis tertentu. Gambar 1-3 mengilustrasikan contoh di mana pembelian, penjualan, dan persediaan dipisahkan. Dalam contoh ini, seorang analis keuangan mungkin ingin menganalisis data historis untuk pembelian dan penjualan.
Infrastruktur data warehouse
Infrastruktur data warehouse adalah software, hardware, pelatihan dan komponen-komponen lainnya yang memberikan dukungan yang dibutuhkan untuk mengimplementasikan data warehouse(Poe).
Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse adalah pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang dibutuhkan. Arsitektur yang sama, mungkin memerlukan infrastruktur yang berbeda, tergantung pada lingkungan perusahaan ataupun organisasi.
Staging area itu tempat penampungan data sementara sebelum data dimasukkan ke dalam data warehouse, fungsinya buat clean, transform dan mengkombinasikan data yang diperlukan untuk data warehouse.
Karena Dalam menggunakan data warehouse ini, anda dapat mengkustomisasi arsitekturnya yang bisa anda sesuaikan dengan kebutuhan organisasi dalam artian ini adalah organisasi yang terstruktur dan mempunyai badan hukum, serta bergerak dalam dunia bisnis. Hal ini dimungkinkan dengan menambahkan data mart. Data mart merupakan subset dari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang di distribusikan untuk mendukung kebutuhan bisnis. Maka jelas alas an mengapa perusahaan distributor Philips memilih Arsitektur dataware house menggunakan staging area serta datamart, karena jelas bahwa akan sangat membantu menjalankan usaha bisnis dengan baik. Sebagai contoh data purchasing, sales, dan inventory dapat di pisahkan dalam masingmasing cube. Dalam contoh ini seorang analis keuangan dapat menganalisa histori data untuk purchases dan sales.
Sebelumnya kita mesti mengetahui Fungsi serta menjelaskan bagian-bagian yang ada pada
arsitektur dataware house ini :
1. Operational System
Berfungsi mejadi wadah ataupun lapisan pertama untuk menyediakan software yang mengambil ataupun memberikan Sumber data dari data warehouse serta dapat diambil langsung dari mainframe, basis data relasional seperti Oracle, Ms SQL server dan sebagainya. Selain itu dapat melalui Operational Data Source(ODS). ODS menampung data yang diekstrak dari sistem utama atau sumber-sumber data yang ada dan kemudian data hasil ekstrasi tersebut dibersihkan.
2. Flat File
Flat File Merupakan Kumpulan data yang diakses secara periodic. CSV (Comma Separated Value) pada Microsoft Excel, sebagai Contohnya, dan merupakan sebuah flat file. Flat file tidak melakukan hubungan (relationship) dengan tabel lainnya yang mengandalkan perintah khusus untuk digunakan. Oleh karena itu penggunaan flat file banyak digunakan pada aplikasi yang membutuhkan database tunggal dan sederhana.
3. Meta Data
metadata adalah informasi yang ditanam pada sebuah file yang isinya berupa penjelasan tetang file tersebut. misal pada perusahaan lampu Philips terdapat item barang jenis tertentu, untuk mengetahui jenis item lampu tertentu maka diperlukan gambar dari item lampu tersebut untuk mendapatkan informasi mengenai spesifikasi item lampu tersebut , nah informasi inti kan adalah gambar tersebut. namun bagaimana dengan informasi yang
menjelaskan gambar tersebut (kapan produksi lampu ini dibuat, berapa harga modalnya, bagaimana bentuk lampunya, serta informasi lainnya)? informasi yang menjelaskan lampu inilah yang disebut metadata.
4. Summary Data
Summary Data merupakan Sekumpulan Ringkasan sejumlah data pada sebuah item barang, sehingga Data-data yang terkait tentang jenis/item barang itu akan teringkas melalui spefikasi tulisan maupun gambar ataupun hal-hal yang berkaitan dengan jenis/item barang tersebut untuk kemudian diproses untuk dismpan dalam data yang bernama Summary Data tersebut. Atau Lebih Disebut Data Operasioal dikumpulkan (diringkas) kemudian dimapping kedalam format untuk pengambilan keputusan
5. Raw Data
RAW Data adalah Data ‘murni’ hasil tangkapan dari sensor digital yang sama sekali belum
disentuh oleh kompresi atau pun interpolasi apapun! Jadi datanya pun ‘fresh from the oven‘,
belum ada data yang hilang karena kompresi, belum ada keputusan processing apapun yang
diambil. Apa yang dilihat/ditangkap oleh sensor digital, itulah yang ada di data RAWnya.
Arsitektur Data Warehouse Pada Bank Central Asia
By : ddyarmada
1) Bagaimana Bukti Empiris bahwa BCA menggunakan Data Warehouse ?
Datawarehouse adalah solusi utama dari pendistribusian database yang ampuh untuk mensupplay data yang dibutuhkan oleh BCA, sehingga system tetap berjalan dengan baik dan tidak mengganggu proses bisnis, seperti over load dan stack pada server karena kelebihan beban akses dari 814 Cabang dan 5 ribu lebih ATM aktiv yang tersebar di seluruh Indonesia. Walaupun tidak tertutup kemungkinan bahwa database juga bisa kacau karena kesalahan user dalam menginputkan data .
2) Apa bukti dari keunggulan serta manfaat BCA dalam menggunakan Data Warehouse ?
Harus diakui, BCA unggul di bidang TI karena bank yang mayoritas sahamnya dikuasai Farallon Capital (Alaerka Investment dan Grup Djarum) ini lebih dulu mengembangkan program TI-nya. Itu berarti, reliability sistem yang dibangun sudah terbukti dan bisa diandalkan. Apalagi data warehousing atau data mining sudah bisa dimanfaatkan penuh.
3) Apa bentuk arsitektur untuk menanggulangi masalah hilangnya database dalam perkembangannya dengan menggunakan data warehouse ?
Terkait dengan data center, BCA hingga kini masih mengembangkan sistem dua data center yang saling mem-back up. Tujuannya, jika ada masalah di salah satu data center, yang satu lagi akan mem-back up dan mengambil alih tugas. Berbeda dengan kebanyakan bank lain, BCA memisahkan antara data center dan disaster recovery center (DRC)-nya. Sistem DRC telah dimiliki BCA sejak 1989. Sejak 2002, sistem DRC ini ditempatkan di Singapura dan dipercayakan pada IBM untuk mengelolanya. Arsitektur data menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data akan pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database.
4) Apa saja karakteristik arsitektur Data Warehouse ?
a) Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
b) Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server, Sybase dan masih banyak yang lainnya.
c) Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
d) Pemakai mengakses data warehouse melalui aplikasi front end tool
b) Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server, Sybase dan masih banyak yang lainnya.
c) Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
d) Pemakai mengakses data warehouse melalui aplikasi front end tool
Data Warehouse adalah sebuah system yang dapat dijadikan sebagai dasar pengambilan keputusan, BCA jelas memanfaatkan Data Warehouse ini, terbukti bahwa Henry Koenaifi, direktur PT Bank Central Asial Tbk. Yang bertanggung jawab atas pengelolaan Unit Bisnis Kredit Konsumer, Unit Bisnis Kartu Kredit, dan Personal/Individual Banking. Mengatakan bahwa BCA tetap bisa bertahan dari produk Kredit Pemilikan Rumah (KPR) dengan suku bungan yang fix dan cap (baca: suku bunga tetap selama 3 tahun dan 2 tahun dengan suku bunga maksimal) dengan cara memanfaatkan database.
dari data yang dimiliki perusahaannya, diketahui bahwa sebagian besar nasabah tabungan memiliki semacam stabilitas saldo. Artinya, baik situasi krisis maupun tidak, tak ada pengaruhnya buat mereka. Jumlah saldonya terus bertambah dan akumulasi setoran per bulan juga stabil sehingga produk ini amat dimungkinkan. Pada Desember 2008, penyaluran kredit konsumer BCA tumbuh signifikan sebesar 47,8% menjadi Rp21 triliun dibanding Desember 2007, yang didukung pertumbuhan di semua produk kredit konsumer. Prestasi ini terus berlanjut dengan tumbuhnya kredit konsumer menjadi Rp21,1 triliun pada akhir Maret 2009 dari Rp15,1 triliun pada periode yang sama 2008
Harus diakui, BCA unggul di bidang TI karena bank yang mayoritas sahamnya dikuasai Farallon Capital (Alaerka Investment dan Grup Djarum) ini lebih dulu mengembangkan program TI-nya. Itu berarti, reliability sistem yang dibangun sudah terbukti dan bisa diandalkan. Apalagi data warehousing atau data mining sudah bisa dimanfaatkan penuh
Data-data seperti yang disebutkan oleh Bpk. Henry Koenaifi didapatkan dari database BCA selama tahun 2007 hingga 2008, yang dimana database tersebut (baca:system) dapat dijadikan dasar pengambilan keputusan untuk menetapkan suku bunga KPR antara 3 tahun dan 2 tahun kedepan dengan suku bunga maksimal, seperti definitive dari pengertian Data Warehouse. Maka dari itu saya mengatakan dengan bukti empiris bahwa BCA memanfaatkan Data Warehouse.
Arsitektur Data Warehouse BCA
dari data yang dimiliki perusahaannya, diketahui bahwa sebagian besar nasabah tabungan memiliki semacam stabilitas saldo. Artinya, baik situasi krisis maupun tidak, tak ada pengaruhnya buat mereka. Jumlah saldonya terus bertambah dan akumulasi setoran per bulan juga stabil sehingga produk ini amat dimungkinkan. Pada Desember 2008, penyaluran kredit konsumer BCA tumbuh signifikan sebesar 47,8% menjadi Rp21 triliun dibanding Desember 2007, yang didukung pertumbuhan di semua produk kredit konsumer. Prestasi ini terus berlanjut dengan tumbuhnya kredit konsumer menjadi Rp21,1 triliun pada akhir Maret 2009 dari Rp15,1 triliun pada periode yang sama 2008
Harus diakui, BCA unggul di bidang TI karena bank yang mayoritas sahamnya dikuasai Farallon Capital (Alaerka Investment dan Grup Djarum) ini lebih dulu mengembangkan program TI-nya. Itu berarti, reliability sistem yang dibangun sudah terbukti dan bisa diandalkan. Apalagi data warehousing atau data mining sudah bisa dimanfaatkan penuh
Data-data seperti yang disebutkan oleh Bpk. Henry Koenaifi didapatkan dari database BCA selama tahun 2007 hingga 2008, yang dimana database tersebut (baca:system) dapat dijadikan dasar pengambilan keputusan untuk menetapkan suku bunga KPR antara 3 tahun dan 2 tahun kedepan dengan suku bunga maksimal, seperti definitive dari pengertian Data Warehouse. Maka dari itu saya mengatakan dengan bukti empiris bahwa BCA memanfaatkan Data Warehouse.
Arsitektur Data Warehouse BCA
Arsitektur Data Warehouse Pada Bank Central Asia (BCA)
By : ddyarmada
Banyak Bank swasta yang eksis di bumi Indonesia ini, salah satunya adalah Bank Central Asia (BCA) yang secara resmi berdiri pada tanggal 21 Februari 1957 dengan nama Bank Centra Asia NV Tbk . Direktur Utama BCA dari tahun 1999 hingga sekarang adalah masih Bpk. Djohan Emir Setijoso .
Pada krisis moneter sekitar tahun 1997 BCA mengalami krisis kepercayaan oleh masyarakat Indonesia, sehingga pada tahun itu banyak masyarakat Indonesia yang menarik uangnya dari BCA. Oleh karena krisis tersebut BCA meminta bantuan pemerintah Indonesia : Badan Penyehatan Perbankan Nasional (BPPN) untuk menyuntikkan dana agar BCA tidak gulung tikar, akhirnya pada tahun 1998 BPPN mengambil alih BCA.
Dengan kebijakan tersebut BCA mampu bangkit dari krisis pada tahun yang sama dengan mengembalikan tingkat kepercayaan masyarakat kepadanya, sebelum krisis asset utama BCA mencapai Rp. 53.36 triliun sedangkan setelah krisis asset BCA semakin bertambah besar yakni Rp 67.93 triliun.
Hingga sekarang BCA selalu memberikan pelayanan yang baik dan selalu memberikan inovasi-inovasi, seperti ATM dan Setor Tunai menggunakan Mesin. Dengan berbagai macam layanan produk dan jasa, BCA memproses lebih dari 3 juta transaksi perbankan setiap hari dan memiliki lebih dari 7 juta rekening nasabah yang dapat dilayani melalui ‘delivery channels’ yang luas, 814 cabang-cabang di seluruh Indonesia, 5.681 ATM, Mobile Banking serta Klik BCA. Didukung oleh 20.322 karyawan, visi BCA adalah menjadi bank pilihan dan menunjang pilar ekonomi Indonesia.
Dengan banyaknya fasilitas yang di miliki dan ditawarkan oleh BCA, sudah barang tentu manajemen nya harus baik dan rapih, khususnya adalah mengenai Database. Kita bisa memperkirakan berapa banyak data yang masuk tiap harinya, dan 1 milyar setiap tahunnya (3.000.000 x 360 = 1.095.000.000 penj.).
Dengan banyaknya data yang harus disimpan dan diload setiap harinya maka tidaklah mungkin BCA menggunakan system database konvensional (baca:tidak terdistribusi atau OLPT),untuk mengatasi masalah ini BCA harus menggunakan database yang terdistribusi untuk menunjang fasilitas yang ditawarkan dan dimiliki agar proses bisnis tetap berjalan dengan lancar.
Bukti Empiris Bahwa BCA menggunakan Data Warehouse
Datawarehouse adalah solusi utama dari pendistribusian database yang ampuh untuk mensupplay data yang dibutuhkan oleh BCA, sehingga system tetap berjalan dengan baik dan tidak mengganggu proses bisnis, seperti over load dan stack pada server karena kelebihan beban akses dari 814 Cabang dan 5 ribu lebih ATM aktiv yang tersebar di seluruh Indonesia. Walaupun tidak tertutup kemungkinan bahwa database juga bisa kacau karena kesalahan user dalam menginputkan data .
Data Warehouse adalah sebuah system yang dapat dijadikan sebagai dasar pengambilan keputusan, BCA jelas memanfaatkan Data Warehouse ini, terbukti bahwa Henry Koenaifi, direktur PT Bank Central Asial Tbk. Yang bertanggung jawab atas pengelolaan Unit Bisnis Kredit Konsumer, Unit Bisnis Kartu Kredit, dan Personal/Individual Banking. Mengatakan bahwa BCA tetap bisa bertahan dari produk Kredit Pemilikan Rumah (KPR) dengan suku bungan yang fix dan cap (baca: suku bunga tetap selama 3 tahun dan 2 tahun dengan suku bunga maksimal) dengan cara memanfaatkan database : dari data yang dimiliki perusahaannya, diketahui bahwa sebagian besar nasabah tabungan memiliki semacam stabilitas saldo. Artinya, baik situasi krisis maupun tidak, tak ada pengaruhnya buat mereka. Jumlah saldonya terus bertambah dan akumulasi setoran per bulan juga stabil sehingga produk ini amat dimungkinkan. Pada Desember 2008, penyaluran kredit konsumer BCA tumbuh signifikan sebesar 47,8% menjadi Rp21 triliun dibanding Desember 2007, yang didukung pertumbuhan di semua produk kredit konsumer. Prestasi ini terus berlanjut dengan tumbuhnya kredit konsumer menjadi Rp21,1 triliun pada akhir Maret 2009 dari Rp15,1 triliun pada periode yang sama 2008.
Harus diakui, BCA unggul di bidang TI karena bank yang mayoritas sahamnya dikuasai Farallon Capital (Alaerka Investment dan Grup Djarum) ini lebih dulu mengembangkan program TI-nya. Itu berarti, reliability sistem yang dibangun sudah terbukti dan bisa diandalkan. Apalagi data warehousing atau data mining sudah bisa dimanfaatkan penuh.
Data-data seperti yang disebutkan oleh Bpk. Henry Koenaifi didapatkan dari database BCA selama tahun 2007 hingga 2008, yang dimana database tersebut. Dapat dijadikan dasar pengambilan keputusan untuk menetapkan suku bunga KPR antara 3 tahun dan 2 tahun kedepan dengan suku bunga maksimal, seperti definitive dari pengertian Data Warehouse. Maka dari itu saya mengatakan dengan bukti empiris bahwa BCA memanfaatkan Data Warehouse.
Arsitektur Data Warehouse BCA
Terkait dengan data center, BCA hingga kini masih mengembangkan sistem dua data center yang saling mem-back up. Tujuannya, jika ada masalah di salah satu data center, yang satu lagi akan mem-back up dan mengambil alih tugas. Berbeda dengan kebanyakan bank lain, BCA memisahkan antara data center dan disaster recovery center (DRC)-nya. Sistem DRC telah dimiliki BCA sejak 1989. Sejak 2002, sistem DRC ini ditempatkan di Singapura dan dipercayakan pada IBM untuk mengelolanya. Arsitektur data menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data akan pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database.
Terkait dengan data center, BCA hingga kini masih mengembangkan sistem dua data center yang saling mem-back up. Tujuannya, jika ada masalah di salah satu data center, yang satu lagi akan mem-back up dan mengambil alih tugas. Berbeda dengan kebanyakan bank lain, BCA memisahkan antara data center dan disaster recovery center (DRC)-nya. Sistem DRC telah dimiliki BCA sejak 1989. Sejak 2002, sistem DRC ini ditempatkan di Singapura dan dipercayakan pada IBM untuk mengelolanya. Arsitektur data menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data akan pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database.
Karateristik Arsitektur Data Warehouse :
a) Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
b) Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server, Sybase dan masih banyak yang lainnya.
c) Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
d) Pemakai mengakses data warehouse melalui aplikasi front end tool
a) Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
b) Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server, Sybase dan masih banyak yang lainnya.
c) Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
d) Pemakai mengakses data warehouse melalui aplikasi front end tool
Jadi, Arsitektur Data Warehouse sudah memiliki standart dimana karateristik yang sudah disebutkan harus dimiliki apabila ingin membangun sebuah data warehouse. Tidak terkecuali oleh BCA, data warehouse yang dimiliki oleh BCA pastinya tidak jauh berbeda dengan definitive dan karakteristik data warehouse secara umum.
Arsitektur Data Warehouse Pada BCA
Keterangan
Istilah
Penjelasan
Sumber
· Data adalah database layer untuk tujuan operasional
Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum.
Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum.
· Metadata adalah istilah dari proses pengidentifikasian suatu atribut dan struktur dari sebuah data atau informasi.Meta data menjelaskan sebuah data itu sendiri.
· Lapisan Akses Data merupakan tools yang digunakan untuk mengambil dan meload yang merupakan bagian dari karakteristik data warehouse.
· Datamart merupakan subset dari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung kebutuhan bisnis.
· User merupakan pengguna akhir dari system.
Kesimpulan
Dari skema arsitektur data warehouse diatas, dapat dilihat bahwa sumber data di integrasikan atau digabungkan dalam staging area, agar mudah di akses oleh warehouse, didalam warehouse terdapat meta data dan summary data yang bersifat read only dan pada saat user menggunakan system warehouse, user hanya ter hubung dengan data yang sudah di pecah dari resource . Dari data mart yang spesifik atau pengelompokkan subjek merujuk kepada tujuan yang berhubungan langsung, data tersebut di distribusikan untuk kelancaran bisnis BCA.
Dari skema arsitektur data warehouse diatas, dapat dilihat bahwa sumber data di integrasikan atau digabungkan dalam staging area, agar mudah di akses oleh warehouse, didalam warehouse terdapat meta data dan summary data yang bersifat read only dan pada saat user menggunakan system warehouse, user hanya ter hubung dengan data yang sudah di pecah dari resource . Dari data mart yang spesifik atau pengelompokkan subjek merujuk kepada tujuan yang berhubungan langsung, data tersebut di distribusikan untuk kelancaran bisnis BCA.
Data Warehouse, Data Mart, Metadata
By : ddyarmadaPerbedaan OLTP dan Data Warehouse
OLTP :
OLTP :
- Menangani data saat ini
- Data diorganisasikan berdasarkan fungsi atau operasi seperti penjualan, produksi, dan pemrosesan pemesanan
- Pemrosesan bersifat berulang
- Untuk mendukug keputusan harian
- melayani banyak pemakai opersai
- Berorientasi pada transaksi
Data Warehouse :
- Lebih cenderung menagngani data masa lalu
- Data disimpan dalam satu platfor
- Data diorganisasikan menurut subjek seperti pelanggan atau produk
- Pemrosesan sewaktu-waktu, tak terstruktur, dan bersifat heuristik
- Untuk mendukung keputusan yang strategis
- Untuk mendukung pemakai manajerial yang berjumlah relatif sedikit
Sifat Data Warehouse
- Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua)
- Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: “Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?”
Data Mart
Bagian dari data
warehouse
yang mendukung kebutuhan pada tingkat departemen atau
fungsi bisnis tertentu dalam perusahaan. Karakteristik
yang membedakan
data mart dan data
warehouse adalah sebagai berikut
(Connolly, Begg,
Strachan 1999).
–Data mart memfokuskan
hanya
pada
kebutuhan-kebutuhan
pemakai
yang
terkait
dalam
sebuah
departemen
atau
fungsi
bisnis.
–Data mart biasanya
tidak
mengandung
data operasional
yang rinci
seperti pada
data
warehouse.
–Data mart hanya
mengandung
sedikit
informasi
dibandingkan
dengan
data
warehouse.
Data mart lebih
mudah
dipahami
dan
dinavigasi.
Perbedaan Data Warehouse dengan Data Mart
DATAWAREHOUSE
•Perusahaan,
melingkupi semua proses
•Gabungan
datamart
•Data
didapat dari proses Staging
•Merepresentasikan
data dari perusahaan atau organisasi
•Diorganisasi
dlm E-R Model
DATAMART
Departemen
Satu bisnis proses
Start-Join (fakta dan dimensi)
Teknologinya optimal untuk
pengaksesan dan analisis data
Cocok untuk merepresentasikan
data departemen
Metadata
Istilah metadata mulai sering muncul dalam literature tentang database management systems (DBMS) pada tahun 1980 an. lstilah tersebut digunakan untuk menggambarkan informasi yang diperlukan untuk mencatat karakteristik informasi yang terdapat pada pangkalan data. Banyak sumber yang mengartikan istilah metadata. Metadata dapat diartikan sumber, menunjukan lokasi dokumen, serta memberikan ringkasan yang diperlukan untuk memanfaat-kannya. Secara umum ada 3 bagian yang digunakan untuk membuat metadata sebagai sebuah paket informasi, dan penyandian (encoding) pembuatan deskripsi paket informasi, dan penyediaan akses terhadap deskripsi tersebut. Dalam makalah ini diuraikan mengenai konsep data dalam kaitannya dengan perpustakaan. Uraian meliputi definisi metadata; fungsi metadata; standar penyandian (encoding), cantuman bibliografis. surogat, metadata; penciptaan isi cantuman surogat; ancangan terhadap format metadata; serta metadata dan standar metadata.
Pengertian yang lainnya menyebutkan metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll. Untuk jenis data gambar (image), metadata mengandung informasi mengenai siapa pemotretnya, kapan pemotretannya, dan setting kamera pada saat dilakukan pemotretan. Satu lagi untuk jenis data berupa kumpulan file, metadatanya adalah nama-nama file, tipe file, dan nama pengelola (administrator) dari file-file tersebut.
Fungsi Metadata :
Metadata memberikan fungsi yang sama seperti katalog yaitu:
membuat sumberdaya bisa ditemukan dengan menggunakan kriteria yang relevan;
mengidentifikasi sumberdaya
mengelompokkan sumberdaya yang serupa
membedakan sumberdaya yang tak miliki kesamaan
memberikan informasi lokasi
Jenis Metadata :
Terdapat tiga jenis utama metadata ;
1.Metadata deskriptif menggambarkan suatu sumberdaya dalam maksud seperti penemuan dan identifikasi. Dia bisa meliputi elemen semisal judul, abstrak, pengarang, dan kata kunci.
2.Metadata struktural menunjukkan bagaimana kumpulan obyek disusun secara bersama-sama menjadi satu, semisal bagaimana halaman-halaman ditata untuk membentuk suatu bab.
3.Metadata administratif menyediakan informasi untuk membantu mengelola sumberdaya, semisal terkait kapan dan bagaimana suatu informasi diciptakan, tipe dokumen dan informasi teknis lainnya, serta siapa yang bisa mengaksesnya.
P