Pentingnya Data Warehouse dalam Dunia Bisnis
-
Upload
phi-integration -
Category
Technology
-
view
5.608 -
download
4
description
Transcript of Pentingnya Data Warehouse dalam Dunia Bisnis
By : Feris Thia
PT. Putera Handal Indotama
Pentingnya Data Warehouse dalam Dunia Bisnis
Agenda
Apa itu Data Warehouse ?
Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan /
Business Entity.
Apa saja proses di dalam Data Warehouse ?
Aplikasi ETL (Extract, Transform and Load).
Kaitan Data Warehouse dengan Multi Dimensional Modelling
dan Business Intelligence.
Titik-titik krusial dalam Implementasi Data Warehouse.
DATA WAREHOUSEINTRODUCTION
Apa itu Data Warehouse ?
Data warehouse adalah “replikasi” data yang berisi :
data mentah (= sumber).
konsolidasi data dari berbagai sumber.
summary / aggregate data.
data yang sudah ditransformasikan.
metadata.
data bersih dan berkualitas tinggi.
Tujuan :
Reporting
Sumber data subsistem (Data Mart )
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Kenapa Data Warehouse ?
ADAPTASI PERKEMBANGAN BISNIS !
Proses bisnis yang selalu berubahCEPAT.
Kecepatan proses bisnis tidak diikutioleh kemampuan adaptasi sistem IT.
Untuk itu dibutuhkan satu sistem adhoc / temporary untuk adaptasi bisnis.
Perlu data hasil konsolidasi outputdari sistem ad hoc dan sistemberjalan.
Data Warehouse adalah solusinya.
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Kenapa Data Warehouse ?
INTEGRASI DATA !
Data / aset informasi bisnis tersebardimana-mana : Data customer ada di dua sistem
Data target penjualan ada di spreadsheetmasing-masing komputer staff
Transaksi PO kepada supplier ada di sistemaplikasi desktop Access masing-masingstaff
dll
Diperlukan sentralisasi & sinkronisasiterhadap data-data tersebut.
Data Warehouse adalah solusinya.
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Kenapa Data Warehouse ?
PERFORMA SISTEM REPORTING !
Kecepatan pembacaan analisisseringkali dari data historis yangsudah sangat besar
Diperlukan agregasi dan summarydata
Data Warehouse adalah solusinya.
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
DATA WAREHOUSE =
INFORMATION ASSET LIBERATION !
PEMANFAATAN DALAM BISNISDATA WAREHOUSE
Data Warehouse sebagai Aset
Data yang lebih reliable dengan kualitas tinggi
Akses informasi yang lebih cepat
Memiliki view terhadap bisnis secara keseluruhan
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Manfaat dalam Bisnis
Dapat mengerti pelanggan dengan lebih baik
Memperbaiki kampanye iklan / marketing
Meningkatkan pelayanan pelanggan
Memperkecil Resiko
Membuat perencanaan bisnis yang lebih baik
Membuat keputusan dengan lebih cepat
dll
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Stakeholder Data Warehouse
Manajemen dan Direksi
Memiliki pandangan terhadap keseluruhan bisnis.
Divisi / Unit Bisnis
Memiliki data yang lebih lengkap dan cepat dalam menganalisa perilaku operasional subjek dari masing-masing unit
Contoh subjek : pelanggan (marketing), karyawan (hrd), produk (riset), dll.
Divisi IT / IS
Memiliki produktivitas yang lebih baik dalam mengejar perkembangan bisnis dengan sistem terkomputerisasi.
Meningkatkan pemanfaatan teknologi secara lebih baik terutama database.
Memecah proses yang kompleks dari suatu view database relasional.
ETL (EXTRACT, TRANSFORMATION & LOAD)
ETL
Proses di Data Warehouse
Data Integration & Extraction
Optimization and Staging (I/O Balance)
Cleansing Data
Normal Distribution
Pyramid View
Rules
Aggregating Data
Validation / Test Case
Audit Trail
Retain Historical References (Slowly Changing Dimension)
etc
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
ETL (Extract, Transform & Load) Tools
Aplikasi yang dirancang khusus untuk mengintegrasikan, mengolah dan menyimpan data dengan berbagai keperluan dan media.
Ciri-ciri :
Batch Processing
I/O Optimization Capabilities
Kaya akan modul pengolahan data
Error handling
dll
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
ETL (Extract, Transform & Load) Tools
Contoh Produk :
Pentaho Data Integration (Kettle)
Microsoft SQL Server Integration Service (SSIS)
Informatica
IBM Data Stage
Talend
dll
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Microsoft SQL Server Integration Services
http://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html
Pentaho Data Integration
Pentaho Data Integration : Sources
Kenapa ETL ?
Produktivitas yang tinggi !
Meningkatkan efektivitas dan efisiensi divisi IT :
Fokus akan integrasi dan pengolahan data !
Dibandingkan ke kompleksitas algoritma menggunakan scripting / programming language umum.
Dirancang untuk mampu menangani I/O balancing sehingga meningkatkan kinerja pengolahan data.
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Extract
What information do you need ?
What data sources to extract ?
What is the extraction strategy ?
How do we detect CHANGE ?
How to link everything ?
etc
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Transform
Change the portion of data structure and value
Do we need to discretize data ?
Do we need to split them ? Join them ? Union them ?
Data Cleansing ?
etc
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Load
What portions of data need to be loaded ?
Do we need a staging ?
What destinations are supported ?
How is the performance ?
etc
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Simple Demo
Scenario
Email Registration List
Extracting information
Further treatment need
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
DATA WAREHOUSE AND BUSINESS INTELLIGENCE (BI)
DATA WAREHOUSE
Data Warehouse & BI !
Data hasil dari proses :
pengambilan (extract)
pembersihan (clean)
penyesuaian data (conform)
dari struktur OLTP -> OLAP
Multi Dimensional Modelling !
Ralph Kimball
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Apa itu OLTP ?
OLTP = OnLine Transaction Processing
Aplikasi yang dirancang khusus untuk menangani operasional sehari-hari
Bersifat mission critical
Biasanya meliputi aplikasi seperti :
ERP : Enterprise Resource Planning
CRM : Customer Relationship Management
SCM : Supply Chain Management
dll
Contoh : SAP
Microsoft Axapta / Dynamics
G.O.L.D.
dll
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Apa itu OLAP ?
OnLine Analytical Processing
Aplikasi yang dirancang khusus untuk laporan analisis dan merupakan komponen penting Business Intelligence (BI)
Skema database berbeda dengan skema database OLTP
Objek dari OLAP adalah Cube dimana kita bisa memandang data dari berbagai dimension cube !
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Apa itu OLAP ?
Database OLAP biasanya adalah suatu data warehouse
Tipe : ROLAP, MOLAP dan HOLAP
Contoh Produk OLAP :
Microsoft SQL Server Analysis Service (MSAS)
Pentaho Analysis (Mondrian)
PALO
Dan lain-lain
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Kenapa OLAP dan Bukan SQL ?
Aplikasi analisa yang baik membutuhkan kemampuan query data ke sistem koordinat posisi row / column secara dinamis. Contoh : Excel
SQL hanya mengenal pengembalian row set dari data dan tidak mengenal sistem koordinat axis.
Oleh sebab itu SQL sangat bergantung pada subquery atau temporary table.
.
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Kenapa OLAP dan Bukan SQL ?
OLAP menjawab kebutuhan tersebut dengan query khusus : MDX (Multi Dimensional Expression) !
Contoh perhitungan kompleks yang akan sulit dilakukan SQL :
Perhitungan year to date penjualan bulan ini dengan perhitungan pada bulan yang sama tahun sebelumnya
Menghitung rasio kontribusi dari penjualan bulan ini terhadap kuartal terkait dan rasio terhadap keseluruhan tahun
dll
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
Contoh OLAP : Mondrian + JPivot
MULTI DIMENSIONAL MODELLINGDATA WAREHOUSE
Multi Dimensional Modelling
Fact Table and Dimension Table
Star Schema
Snowflake Schema
OLTP / Database Transaksional
Star Schema
Snowflake Schema
Related Terms
Fact and Dimension Table
Star and Snowflake Schema
Aggregates
Slowly Changing Dimension (SCD)
Change Data Capture (CDC)
Late Arrival Data
Junk Dimensions
etc
Notes :
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
____________________
TANTANGAN DI DATA WAREHOUSEDATA WAREHOUSE
Titik-titik Krusial Data Warehouse
Change Data Capture
What and when source had changed ?
Near Real Time Extraction
Scalability of the data
Change extraction
Data Validation
How to validate ? What scenario ?
Comparing to what system ?
Which is correct ?
Titik-titik Krusial Data Warehouse
Technologies
Scalability
Integrity
Performance
High Productivity
Human Resources
Knowledge Competency on Business Process and nature of data
Operational Skill
KOMUNITAS / USER GROUP
Komunitas
User Group
Pentaho User Group Indonesia
http://groups.google.com/group/pentaho-id
Indo-BI User Group
http://groups.google.com/group/indo-bi
SQL Server BI
http://groups.google.com/group/sqlserver-bi
Project
http://www.sampledata.org
http://contoh-database.googlecode.com
http://sampledata.googlecode.com
TERIMA KASIH