Proses ETL Pada Data Waehouse

Posted by : ddyarmada Senin, 17 November 2014

šDefinisi

šEkstraksi Data (Extract)šEkstraksi data secara otomatis dari aplikasi sumber.šPenyaringan atau seleksi data hasil ekstraksi.šPengiriman data dari berbagai platform aplikasi ke sumber data.šPerubahan format layout data dari format aslinya.šPenyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.ššTransformasi Data (Transformation)šMemetakan data input dari skema data aslinya ke skema data warehouse.šMelakukan konversi tipe data atau format data.šPembersihan serta pembuangan duplikasi dan kesalahan data.šPemerikasaan integritas referensi data.šPengisian nilai-nilai kosong dengan nilai default.šPenggabungan data.ššPengisian Data (Loading)šETL toolšIBM Infosphere DataStagešInformatica PowerCenteršOracle Warehouse Builder (OWB)šOracle Data Integrator (ODI)šSAS ETL StudiošBusiness Objects Data Integrator(BODI)šMicrosoft SQL Server Integration Services(SSIS)šAb InitiošššMempunyai banyak dukungan terhadap sumber data, hampir semua ETL Tool mendukung vendor-vendor database populer sepert SQL Server, Oracle, Mysql, PostgreSQL, Netezza, Sybase, bahkan AS400. Selain database dapat juga mendukung pembacaan sumber data dari Flat File seperti Excel, XML, Json, HTTP Request, JSon, File Delimiter, dan lain-lain.šDukungan GUI untuk membuat Skema ETL.šBeberapa ETL Tool disertakan dengan JOB SCHEDULER untuk proses Ototmatis.šMendukung pengolahan data seperti simple copy, Agregasi, Finter, Sorter, Join, bahkan ada yang mendukung penggunaan Pipe untuk data flow.šDukungan target penyimpanan hampir sama pada dukungan terhadap sumer data.šš

ETL adalah proses untuk mengumpulkan data dari berbagai sumber (Extract), membersihkannya (Transform), untuk kemudian menyimpannya ke dalam sistem yang lain (Load).

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.