Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Brondata als enabler van agile bi
Transcript of Brondata als enabler van agile bi
Harald Kikkers
[email protected] I T C G
IT Consultancy Group bv
Friesestraatweg 215
9743 AD Groningen
Brondata als enabler van Agile BI
I T C G BI, altijd lastig?!
Brondata als enabler van Agile BI 2
Big ENTERPRISE
Big LOGIC
Big DATA
I T C G Big ENTERPRISE
• Vertrager…
– Te hoge kosten (?)
– Te lange doorlooptijd (?)
– Te hoge risico’s (?)
• Versneller…
– Big ENTERPRISE AGILE!
• Big LOGIC (?) Kennis, technologie
• Big DATA (?) Volume, semantiek, kwaliteit, veiligheid
Brondata als enabler van Agile BI 3
I T C G AGILE!
• Doel
– Sneller, beter, goedkoper,…
– Opheffen nadelen conventionele aanpakken
• ‘waterval’ gaat uit van ‘fixed target’, volledige spec
• Agile ‘specifying by doing’
• Een continuproces
– Kleine teams, multidisciplinair, betrokkenheid gebruikers
– Korte iteraties (‘Sprints’) snelle feedback bijsturen
– Nauwe samenwerking business en ICT
Organisatie!
Brondata als enabler van Agile BI 4
I T C G Kennis en ervaring…
• BI
• SQL
• Databases
• Data analyse
• Data kwaliteit
• Data modellering
• Informatie analyse
• Performance tuning
• Project management
• Materie-deskundigheid
• Informatie management
• Technische infrastructuren
• Modellering datalogistieke processen
• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …
Brondata als enabler van Agile BI 5
I T C G Big ENTERPRISE
Brondata als enabler van Agile BI 6
Agile aanpak
I T C G “One down, two to go!”
Brondata als enabler van Agile BI 7
Big ENTERPRISE
Big LOGIC
Big DATA
I T C G Big LOGIC
• Vertrager…
– Structuur en semantiek van data
– Data-kwaliteit, normering en regels
– Mapping-/transformatie
• Versneller…
– Meta-data repositories
– Standaard architectuur
– BI tools
• Meta data repositories
• (Bron-)data analyse
• ETL (transformatie, mapping)
• Code generatoren
• Runtime framework
Brondata als enabler van Agile BI 8
I T C G Toepassing tools in BI
Brondata als enabler van Agile BI 9
Bronnen Extracties (GLO)
DQ regels
laad &
check
mapping
Referentie Model
Bron Modellen
Uitval Audit Map regels
DQ regels
check
Uitval
mapping
Audit Map regels
Data Warehouse
Data Marts
I T C G ETL-tools in BI
Brondata als enabler van Agile BI 10
laad &
check
mapping
Referentie Model
Bron Modellen
Uitval Audit
check
Uitval
mapping
Audit
Data Warehouse
Data Marts
Bronnen
DQ regels
Map regels
DQ regels
Map regels
Extracties (GLO)
ETL
Voordelen:
• Basisfunctionaliteiten (stage, hist, map, QA)
• Kennisborging generatie
Voorwaarden:
• Meta-data management (?)
I T C G Analyse-tools in BI
Brondata als enabler van Agile BI 11
Bronnen Extracties (GLO)
laad &
check
mapping
Referentie Model
Bron Modellen
check
mapping
Data Warehouse
Data Marts
DQ regels
Uitval Audit Map regels
DQ regels
Uitval Audit Map regels
Analyse
Voordelen:
• Kennis integratie borging generatie
Voorwaarden:
• Modelleren meta-data (?)
• Formuleren & normeren kwaliteit (?)
I T C G BI-tools
Kennis…
• Analyseren (statistiek, profiling)
• Vastleggen (repositorie)
• Ontsluiten (browsen, visualisatie)
• Onderhouden (editors)
• Automatiseren (generatoren)
Managen van kennis (meta–data)
Automatiseren oplossing (generatie en operatie)
Brondata als enabler van Agile BI 12
I T C G BI-tool screen shots…
Brondata als enabler van Agile BI 13
I T C G BI-tool screen shots…
Brondata als enabler van Agile BI 14
I T C G BI-tool screen shots…
Brondata als enabler van Agile BI 15
I T C G BI-tool screen shots…
Brondata als enabler van Agile BI 16
I T C G Big LOGIC
Brondata als enabler van Agile BI 17
BI tools
I T C G “Two down, one to go!”
Brondata als enabler van Agile BI 18
Big ENTERPRISE
Big LOGIC
Big DATA
I T C G Big DATA
• Vertrager…
– Testsets te groot
– Testsets niet specifiek
– Testsets bevatten ‘gevoelige’ data
• Versneller…
– Kleinere testsets
– Specifieke testsets
– Anonimisering
Brondata als enabler van Agile BI 19
Test Data Management tools!
I T C G Toepassing subsetting in BI
Brondata als enabler van Agile BI 20
DQ regels
laad &
check
mapping
Referentie Model
Bron Modellen
Uitval Audit Map regels
DQ regels
check
Uitval
mapping
Audit Map regels
Data Warehouse
Data Marts
Bronnen Extracties (GLO)
Subsetting
Voordelen:
• Kleine sets = snel testen
• Kleine sets = veilig (minder ‘gevoelige’ data)
Voorwaarden:
• Flexibiliteit m.b.t. selectie-criteria (?)
• Over de keten heen (?)
• Technisch vs. functioneel consistent (?)
I T C G Subsetting screen shots…
Brondata als enabler van Agile BI 21
I T C G Subsetting screen shots…
Brondata als enabler van Agile BI 22
I T C G Subsetting screen shots…
Brondata als enabler van Agile BI 23
I T C G Toepassing anonimisering in BI
Brondata als enabler van Agile BI 24
DQ regels
laad &
check
mapping
Referentie Model
Bron Modellen
Uitval Audit Map regels
DQ regels
check
Uitval Audit Map regels
Data Warehouse
Bronnen Extracties (GLO)
Anonimisering
mapping
Data Marts
Voordelen:
• Anoniem = veilig (WbP, concurrentie)
Voorwaarden:
• Bepalen risico-klasse (?)
• Specificatie anonimiseringsregels (?)
• Pseudonimiseren of anonimisering (?)
I T C G Anonimisering screen shots…
Brondata als enabler van Agile BI 25
I T C G Anonimisering screen shots…
Brondata als enabler van Agile BI 26
I T C G “Touchdown!”
Brondata als enabler van Agile BI 27
Big DATA
Big ENTERPRISE
Big LOGIC
I T C G Big DATA
Brondata als enabler van Agile BI 28
TDM tools
I T C G Conclusie
• Big ENTERPRISE
AGILE methode
• Big LOGIC
Data analyse & ETL-tooling
• Big DATA
Testdata management tooling
• Subsetting
• Anonimisering
Brondata als enabler van Agile BI 29
I T C G Afsluiting
• Vragen…?
• … en anders op onze stand
– Kennismaken
– Demo’s
• DATPROF Integrate
• DATPROF Subset
• DATPROF Privacy
Brondata als enabler van Agile BI 30