Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
-
Upload
trivadis -
Category
Presentations & Public Speaking
-
view
108 -
download
1
description
Transcript of Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
![Page 1: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/1.jpg)
2014 © Trivadis
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2014 © Trivadis
FEHLERTOLERANTE LADEPROZESSEIN ORACLEGEGEN SCHLAFLOSE NÄCHTE
DOAG BI Konferenz 2012
Dani SchniderTrivadis AG
München, 18. April 2012
18. April 2012Fehlertolerante Ladeprozesse
1
![Page 2: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/2.jpg)
2014 © Trivadis
Fehlertolerante Ladeprozesse2
Dani Schnider
Principal Consultant und DWH/BI Lead Architectbei Trivadis in Zürich
Kursleiter für Trivadis-Kurse über Data Warehousing, SQL Optimierung und Oracle Warehouse Builder
Co-Autor des Buches «Data Warehousing mit Oracle»
18. April 2012
![Page 3: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/3.jpg)
2014 © Trivadis
11 Trivadis Niederlassungen mitüber 600 Mitarbeitenden
200 Service Level Agreements
Mehr als 4'000 Trainingsteilnehmer
Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio.
Finanziell unabhängig undnachhaltig profitabel
Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden
Stand 12/2012
Hamburg
Düsseldorf
Frankfurt
FreiburgMünchen
Wien
Basel
ZürichBernLausanne
3
Stuttgart
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort
18. April 2012Fehlertolerante Ladeprozesse
3
![Page 4: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/4.jpg)
2014 © Trivadis
Einleitung
18. April 2012Fehlertolerante Ladeprozesse
4
Übermüdeter DWH-Entwickler Unzufriedener Benutzer
![Page 5: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/5.jpg)
2014 © Trivadis
Beispiele für Fehlerursachen
18. April 2012Fehlertolerante Ladeprozesse
5
![Page 6: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/6.jpg)
2014 © Trivadis
Fehlende Attribute
18. April 2012Fehlertolerante Ladeprozesse
6
![Page 7: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/7.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Abbruch“
Beim ersten Fehler Abbruch der Verarbeitung
18. April 2012Fehlertolerante Ladeprozesse
7
![Page 8: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/8.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Filter“
Filtern von fehlerhaften und unvollständigen Datensätzen
18. April 2012Fehlertolerante Ladeprozesse
8
![Page 9: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/9.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Fehlertabelle“
Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben
18. April 2012Fehlertolerante Ladeprozesse
9
![Page 10: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/10.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Fehlertabelle“
18. April 2012Fehlertolerante Ladeprozesse
10
![Page 11: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/11.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Originalwert“
NULL-Werte in Zieltabelle erlauben
18. April 2012Fehlertolerante Ladeprozesse
11
![Page 12: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/12.jpg)
2014 © Trivadis
Fehlende Attribute – Variante „Singleton“
Fehlende Attribute durch Default-Werte (Singletons) ersetzen
18. April 2012Fehlertolerante Ladeprozesse
12
![Page 13: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/13.jpg)
2014 © Trivadis
Unbekannte Codewerte
18. April 2012Fehlertolerante Ladeprozesse
13
![Page 14: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/14.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Filter“
Filtern von fehlenden Codes durch Inner Join
18. April 2012Fehlertolerante Ladeprozesse
14
![Page 15: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/15.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Filter“
18. April 2012Fehlertolerante Ladeprozesse
15
![Page 16: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/16.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Singleton“
Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join
18. April 2012Fehlertolerante Ladeprozesse
16
![Page 17: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/17.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Singleton“
18. April 2012Fehlertolerante Ladeprozesse
17
![Page 18: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/18.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Embryo“
Fehlende Codes vorgängig in Lookup-Tabelle einfügen
18. April 2012Fehlertolerante Ladeprozesse
18
![Page 19: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/19.jpg)
2014 © Trivadis
Unbekannte Codewerte – Variante „Embryo“
18. April 2012Fehlertolerante Ladeprozesse
19
![Page 20: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/20.jpg)
2014 © Trivadis
Fehlende Dimensionseinträge
Ausgangslage: Fakten werden geladen Zugehöriger Dimensionswert noch nicht vorhanden
Lösungsvarianten: Filtern von unvollständigen Fakten Referenz auf Singleton-Einträge Generieren von Embryo-Einträgen
Siehe Artikel «Wenn die Fakten zu früh eintreffen»http://www.trivadis.com/uploads/tx_cabagdownloadarea/Wenn_die_Fakten_zu_frueh_eintreffen.pdf
18. April 2012Fehlertolerante Ladeprozesse
20
![Page 21: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/21.jpg)
2014 © Trivadis
Doppelte Datensätze
18. April 2012Fehlertolerante Ladeprozesse
21
![Page 22: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/22.jpg)
2014 © Trivadis
Doppelte Datensätze – Variante „Distinct“
Deduplizieren mittels DISTINCT
18. April 2012Fehlertolerante Ladeprozesse
22
![Page 23: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/23.jpg)
2014 © Trivadis
Doppelte Datensätze – Variante „Filter“
Filter auf ersten Datensatz pro Schlüsselwert
18. April 2012Fehlertolerante Ladeprozesse
23
![Page 24: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/24.jpg)
2014 © Trivadis
Doppelte Datensätze – Variante „Fehlertabelle“
Doppelte Datensätze in Fehlertabelle schreiben
18. April 2012Fehlertolerante Ladeprozesse
24
![Page 25: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/25.jpg)
2014 © Trivadis
Doppelte Datensätze – Variante „Fehlertabelle“
18. April 2012Fehlertolerante Ladeprozesse
25
![Page 26: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/26.jpg)
2014 © Trivadis
18. April 2012Fehlertolerante Ladeprozesse
26
Fazit
Fehlertolerante Ladeprozesse vermeiden ETL-Abbruch
Je nach Varianten Einbussen der Datenqualität
Vor- und Nachteile der Varianten müssen je nach Anforderungen abgewogen werden
![Page 27: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/27.jpg)
2014 © Trivadis
Fehlertolerante Ladeprozesse27
Immer noch schlaflose Nächte?
Fragen Sie Ihren Apotheker oder lesen Sie die Packungsbeilage
18. April 2012
![Page 28: Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte](https://reader033.fdocument.pub/reader033/viewer/2022052901/55695022d8b42ad3278b47cd/html5/thumbnails/28.jpg)
2014 © Trivadis
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2014 © Trivadis
Vielen Dank.
18. April 2012Fehlertolerante Ladeprozesse
28
Trivadis AG
Dani Schnider
Europa-Strasse 5CH-8152 Glattbrugg/ZürichSchweiz
Tel. +41 44 808 70 20Fax +41 44 808 70 [email protected]