Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu...
-
Upload
salida-schmoker -
Category
Documents
-
view
109 -
download
0
Transcript of Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu...
<Insert Picture Here>
Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu Datenqualitätsanalysen mit einem Planspiel zur virtuellen Server GmbH Christoph Blessing, Alfred Schlaucher
So... ...oder so?
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Wer glaubt solchen Charts?
Die Kosten der schlechten Daten
Ohne Daten kein Business Daten sind der Treibstoff der Prozesse
Operative Prozesse
Information Chain
KundeKunden-betreuer
Logistik- system
Stamm- daten
Marketing
Buch-haltung
Lager Spedition
Kunde
BedarfAdresseKredit-daten
Angebot Bestand
Bestell-daten
KD-Daten
Kredit OK Order
Adresse
Werbung
Verkaufs-daten
Rechnung
Bezahlung Reklamation
Mahnung
Liefer-schein
InternetzugriffeInternetzugriffe
OperativesOperativesCRMCRM
MIS MIS ControllingControlling
BeschwerdenBeschwerden
AnalytischesAnalytischesCRMCRM
DiversifizierungDiversifizierungMarketing-MaterialMarketing-Material
ProduktProduktManagementManagement
CallCallCenterCenter
Informationsbasis Oracle Data Warehouse
Die Qualität von Data Warehouse Daten wird immer wichtiger
Fehlende Praxis inDatenmanagement
Gewachsene Bedeutungdes Faktors Informationfür den Erfolg von Unternehmen.
Ausufernde Datenmengen Vermehrtes Inseltum
durch Fertig-Anwendungen
Daten-qualität
Immer häufigereProzessänderungen
Warum wächst die Herausforderung der Qualität der Daten
Was ist Datenqualität?Aspekte (Dimensionen) der Datenqualität
Brauchbarkeit der Daten!
1. Korrekt2. Stimmig3. Vollständig4. Dokumentiert5. Redundanzfrei6. Aktuell7. Verfügbar (Access)8. Nützlich (TCO)9. Handhabbar10.Vertrauenswürdig11.Harmonisch
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
DieSERVICE GmbH
Fallbeispiel
• Vermittlung von Dienstleistungen für Endkunden rund um das Handwerk
• Handwerksleistung• Darlehen
• Großhandel für Baumärkte und Einzelhandel
• Haushaltswaren• Heimwerker• Gartenbedarf• KFZ-Zubehoer• Elektroartikel
•Bereich Internet-/Versandhandel• Computerteile
Die SERVICE GmbH – Historisch gewachsene Geschäftsfelder
SERVICE GmbH
SERVICE GmbH
Die SERVICE GmbHDie Problemfälle
• Unterscheidung• Privatkunden• Firmenkunden
• Kundenkarte wurde eingeführt• Nur Privatkunden dürfen Kundenkarten haben
• Entstand aus Zusammenschluss mehrerer Vertriebsgesellschaften
Integration der Stammdaten „mit Hindernissen“Unterschiedliche Artikel-/ Produktestammdaten
SERVICE GmbH
Erwartungen aus dem Unternehmen
Vertrieb
ControllingManagement
Marketing Buchhaltung
Vertrieb: wünscht leichtere AuswertungenWas sind wichtige Produkte?Was sind rentable Sparten?Hat sich der Servicebereich gelohnt?
Marketing: Absatzzahlen sind nicht aussagefähigWie viel Kunden gibt es?Lohnt die Kundekarte?Welche Segmentierung gibt es?
Buchhaltung: Es fehlen DatenWarum sind die Spediteursrechnungen so hoch?Sind alle Bestellungen korrekt bezahlt worden?Wie hoch sind die Versandkosten pro Lieferung?Was wurde storniert?
Controlling: Vergleichbarkeit fehltWas sind rentable Sparten?Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft?
Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände?
SERVICE GmbH
Erwartungen aus dem Unternehmen
Vertrieb
ControllingManagement
Marketing Buchhaltung
Vertrieb: wünscht leichtere AuswertungenWas sind wichtige Produkte?Was sind rentable Sparten?Hat sich der Servicebereich gelohnt?
Marketing: Absatzzahlen sind nicht aussagefähigWie viel Kunden gibt es?Lohnt die Kundekarte?Welche Segmentierung gibt es?
Buchhaltung: Es fehlen DatenWarum sind die Spediteursrechnungen so hoch?Sind alle Bestellungen korrekt bezahlt worden?Wie hoch sind die Versandkosten pro Lieferung?Was wurde storniert?
Controlling: Vergleichbarkeit fehltWas sind rentable Sparten?Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft?
Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände?
Position
Produkte
Gruppen
Sparten
Kunden-Stamm
Bestellung
Korrekte Werte für:Umsatz pro Sparte?Umsatz pro Gruppe?Umsatz pro Produkt?Werden korrekte
Rechnungen gestellt?Umsatz pro Kunde?Macht die Kundenkarte
Sinn?
Bekannte Probleme
• Auswertungen auf Spartenebene stimmen nicht mit den Aufstellungen Umsatz pro Produkt überein
• Die Kundendaten erlauben keine Segmentierung für Marketingzwecke„Es werden Firmenkunden, als Privatkunden angeschrieben“
Die Controlling-Sicht
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Methoden und Hilfsmittel
• Datenmodellierung• Attribut-Klassifizierung (Namen)• Kategorisierung von Qualitätsregeln• Data Profiling Tool• ETL-Tool• Datenbank• Vorgehensmodell
Datenmodellierung
• Schlüssel• Identifizierung von Dingen
• Functional Dependencies• Versteckte Abhängigkeiten
• Beziehungen• Existenzabhängigkeit
• Orphans
• Childless
• Normalisierung• One Fact One Place
Ziel: Aufspüren und Minimierung von Redundanzen als eine derHauptursachen von Datenfehlern
Attribut-Klassifizierung
• Einordnen von Attributen zu Basistypen• Identifier, Bezeichner, Beschreibungen, Werte, Zeiten.....
• Ableitung von vermuteten Eigenschaften• Eindeutigkeit, Schlüsselkandidat, Muss-Feld....
• Erkennen von Synonymen / Homonymen über gleiche Merkmale und Namensbestandteile
Ziel: Erkennung der Anforderungen an Felder um diese optimalgestalten zu könnenAufspüren von Synonymen und Homonymen
Data Profiling Tool
• Standardanalysen• Unique Keys• Functional Dependencies• Relationships• Domains• Redundant Columns• Patterns, Types• Statistiken• Six Sigma
• Rules (Business-/ IT-Rules)• Generierung von
Korrekturen• Auditing
• Eingebettet in ein ETL-Tool• hohe Flexibilität beim
Bereitstellen von Daten• Direktes Anwenden erkannter
Regeln für eine spätere Datenaufbereitung und Minitoring
• Ablaufumgebung ist die Datenbank
• Datennähe
Data Profiling ToolMethoden
Feintuning zu
den Analyse-
methoden
Die
operativen
Daten
Proto-
kollierung
laufende
Analysen
Drill Down zu den operativen Daten
ETL - Tool
• SQL-basiert• wenig Lernaufwand
• Ablaufumgebung ist die Datenbank• hohe Performance
• Wiederverwendung von DB-Funktionen und Infrastruktur
• Metadaten- / Modell-gesteuert
Zieldefinition
Bestandsaufnahme
Planen
Strukturanalysen
Regelanalysen
Umsetzung Ergebnisse
Erwartungen Geschäftsregeln
Owner User Ressourcen Kosten Modelle
Felder
Priorisieren Problemkomplexe
Objekte Beziehungen Hierarchien
Daten Werte Fach
Abgleich-Alt Neudefinition Monitoring
To
p D
ow
nB
otto
m U
pVorgehensmodell Datenqualitätsanalyse
6 Phasen, 95 Aktivitäten, 16 Ergebnis-Templates, 1 Metamodell, Klassifizierungen
Vorgehensmodell für Datenqualitätsprojekte
Erheben der Grunddaten
Beschreibung der Geschäftsprozesse
Datenmodellprüfungen
Detailanalyse
GeschäftsfelderData Owner / Daten-Interessenten / KonsumentenDQ-ErwartungenBekannte SchwachstellenKostenPrioritäten
ObjektmodellDatenflüsse und –schnittstellenBekannte Geschäftsregeln
VollständigkeitsbetrachtungBetrachtung der VerständlichkeitSchlüsselanalysen / BeziehungsanalysenAnalyse von HierarchienSuche nach Redundanzen (z. B. Normalisierung)Mengenanalyse / Stammdatenabgleiche
Überprüfen der GeschäftsregelnAnalyse der erkannten SchwachstellenVerifizieren der DQ Erwartungen
Vorgehensweisen / Methoden im Data Profiling
Unternehmensdaten
DataProfiling
Metadaten
.. .. ..
Data Quality Assessement
Erwartungen an die Datenqualität
Abgleich
DiscoveryAssertion Testing Metadata Verification
Neue Erkenntnisse(Überraschungen)
Bottom up
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Warum ist ein Tooleinsatz bei Datenqualitätsanalysen sinnvoll?
• Das meiste geht auch ohne Tool, allerdings mühsam
Functional Dependencies
Auswahl und Ergebnisansicht Methoden
Chart-DarstellungTabellen-Darstellung
Drill-Werte
Operative Datensätze
Die Tabellen,
die zu dem Analyse-
fukus
gehören
Feintuning
zu den
Analyse-
methoden
Analyse-Job-
Protokolle Aktivierbare Business Rules
Starten einesProfiling-Laufs
Starten einer Correction-Mapping-Generierung
Generierung-Rule
SourceStage
Profiling Stage
SAP R/3
SAPIntegrator
non OracleGateway / ODBC/ FTP
Oracle 9i / 10g / 11gDB2, SQL ServerInformix, Teradata
LDAP
Meta DatenRepository
Direct PathDBLink
TransportableModules
DBMS_LDAP
Siebel CRM
OracleeBusiness
Text / XML
Analyse Datenbank
Analyseumgebung
Eindeutigkeitsanalysen (Unique Key)
Wertebereichsanalysen (Domain)
Funktionale Abhängigkeiten
Beziehungen (Relational)
Beziehungen (Orphans / Childless)
Wertmustererkennung (Pattern)
Formate (Data Type)
Statistiken (Aggregation)
Korrekt, muß 0 sein
Korrekt:Es kann nur einWert gepflegt sein.
Korrekt, muß 0 sein
Korrekt, das sind richtige Werte
Korrekt, muß 0 sein
Korrekt: Zusammen 100%(Alle Fälle erfasst)
Problem:kein Schlüsselfeldist gepflegt
Korrekt, das sind die richtigen Werte
Korrekt, muß 0 sein
Korrekt
Korrekt:Zusammen100%.(Alle Fälle erfasst)
Problem
Korrekt, muß 0 sein
Individuelle Regeln (Data Rules)
Rule-Varianten
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Stammdaten(Produkte / Artikel)
StammdatenHierarchien?
Einkaufspreise(fehlerhaft?)
Stammdaten(Kunden / Identifizierung )
Lieferungen(Bestellungen/Stornierungen)
Wo bleibt die gelieferte Ware?
Wie korrekt wirdgezahlt?
Artikel-,Gruppen-,Spartenberichte
Vergleichbarkeit vonEinkaufs- und Verkaufspreisen
Rabatte?
Wer hat wieviel gekauft?
Kunden-Segmentierung
Welche Produkte lohnen sich
Spediteure?
Nachvollziehbarkeit von Zahlungen für dieBuchhaltung
Korrekte Zahlen zurSteuerung vonMarketingkampagnenund für den Vertrieb
Messbarkeit fürControlling
Auswertbarkeit
Stimmen die Einträge
Problem-komplex
FragestellungenBenannte Probleme
Ergebnis
Fall 1: Auswertungen über die Artikelgruppen-HierarchieDie Zahlen von Controlling und Buchhaltung passen nicht zusammen.
Analysemodell: Was wissen wir über den Prozess?
Service GmbH
Produkte
Kunden
verkauft
Lieferanten
Dienst-leistungen
Privat
Firmen
Kunden-karte
Lager
Handwerker
Spediteur
bestellt
beauftragt
liefert aus
holt ab
bietet an
beauftragt bietet an
beliefert
storniert
holtstornierteWare ab
liefert ab
Geschäftsprozess: Bestellungen
Kundendatenprüfen
Kreditlimitprüfen
Verfüg-barkeitprüfen
Dienstleist-ung be-
auftragen
MAX/MINMenge Spediteur
beauftragen
Liefersatzanlegen
Bestellsatzupdaten
Kunden-stamm
Produkte-stamm
Liefer-schein
Vertrag
Kunden-stamm
Status
Bestellunganlegen
offene Posten
BestellungBest_Pos
BestellungBest_Pos
Lieferung
Beschaffung
Bestellprozess
Objektmodell: Welche Geschäftsobjekte sind an dem Prozess beteiligt?
Kunde
Lieferanten
Zahlung
Stornierung
Produkte
Privat-Kunde
Firmen-Kunde
Kunden-Karte
Artikel Service
LagerBestellung
Lieferung
Retouren
Dienst-leister
Partner
Spediteur
Beauf-tragung /
Order
Bewegungsdaten
Stamm-daten
Vollständigkeitsanalyse Wichtige Daten fehlen!
Kunde
Lieferanten
Zahlung
Stornierung
Produkte
Privat-Kunde
Firmen-Kunde
Kunden-Karte
Artikel Service
LagerBestellung
Lieferung
Retouren
Dienst-leister
Partner
Spediteur
Beauf-tragung /
Order
Bewegungsdaten
Stamm-daten
Liefernummer fehlt.Identifizierung nur über BestellnummerIdentifizierung nur
über BestellnummerKeine Untergliederung nach Positionen möglich.
Kunden_stamm
Lieferant
Zahlung
Stornierung
Lager
Artikel_Sparte
Artikelspartennnr [1, (90%)]
Artikelgruppennr [6, (92%)]
Beziehungsanalyse
Produktnummer [0, (100%)]
Artikelnr [0, (100%)]
Order_ID [0, (100%)]Order_ID
Bestrellnr [0, (100%)]Order_ID
Best_Position
Bestrellnr [213, (90%)]
KD_Nummer[1211, (46%)]Kundennr
KD_Nummer[0, (100%)]Kunden_ID
Bestrellnr [0, (100%)]Bestrellnr
Kundencode[0, (100%)]Kunden_ID
Kundencode[0, (100%)]Kunden_ID
BestellungArtikel_Gruppe
Bestellnr [6, (97%)]Order_ID
Bestellnr [6, (97%)]Bestrellnr
Lieferung
Kundencode[0, (100%)]Kunden_ID
Produkte_stamm
FK-Column[Orphans, (%-korrekte Sätze) ]UK-Column
Legende
Gezieltes Suchen nach „Waisenkinder“ (Orphans)
Nachprüfen mit SQL
?
Abfrage über die HierarchieArtikelgruppe -> Produkte_Stamm -> Best_Position
Abfrage über die HierarchieProdukte_Stamm -> Best_Position
Artikel-Hierarchie
Analyse von Hierarchien
Produkte_Stamm
Artikel_Gruppe
Artikelsparte ARTIKELSPARTENNR1 , 2 ,3
ARTIKELSPARTENNR1,4,3ARTIKELGRUPPENNR1,2,3,4,5,6,11,10,9,8,7
ARTIKELGRUPPENNR100,1,6,2,5,4,7,3,10
Position
Produkte
Gruppen
Sparten
Kunden-Stamm
Bestellung
Falsche Statuskennzeichnungvon Finanzprodukten
Orphans
Fehlerhafte Spartenkennzeichnungvon Gruppen
Doppelte Wertebelegung von Statuskennzeichnung für Privat- und Firmenkunden.
Fehlerhafte Verschlüsselungvon Artikel- und Produkten
DoppelteProduktnummern
Fehlerhafte , nicht rechenbareEinzelpreisbezeichnung
Korrekte Werte für:Umsatz pro Sparte?Umsatz pro Gruppe?Umsatz pro Produkt?Werden korrekte
Rechnungen gestellt?Umsatz pro Kunde?Macht die Kundenkarte
Sinn?
Korrekte Business Intelligence Auswertungen?
Wer hat Recht Controlling oder Buchhaltung?
Zahlen: Controlling Zahlen: Buchhaltung
Fall 2: Was wissen wir über den Kunden?Sind die Kundendaten ausreichend um Marketing-Kampagnen durchzuführen?
Domain-Analyse Kundenkarte
?
Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“
Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“
Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“
Hilft das Feld Branche zur Qualifizierung von Kunden?
Man stellt unterschiedlicheBegriffe für dasselbe fest(Synonyme)
??
Standardisierung von Feldern
Erstellen einer Rule mit standardisierten Branchennamen
Die Rule „BRANCHEN“
Ein Korrekturmapping wird erzeugt
Generierter Prüflauf
Anweisungen in welche Richtung standardisiert werden soll
Vorher Nachher
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch
Data Quality Management Process
Data Profiling
DatenkorrekturData QualityAuditing
Data QualityReporting
Audits in den Datenflüssen
DatenqualitätsreportingVerarbeitete Sätze pro Berichtzeitraum(Anzahl Positionen pro Bestellungen)
Füllstandsanzeige einzelner Werte
Agenda
09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"
10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.
10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell
10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten
10:45 Pause
11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH
12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten
12:30 Ausklang mit Business Lunch