Post on 05-Jun-2018
1 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
BI Testing: Status Quo und Herausforderungen
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
13. Europäische TDWI-Konferenz
17. – 19. Juni 2013
MOC Veranstaltungscenter München
W2P-2: Mittwoch, 19. Juni 2013
16:30 Uhr – 18:00 Uhr
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
2 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Agenda
1. Ergebnisse Online-Befragung
1. Angaben zum Unternehmen
2. Angaben zum BI-System
3. Angaben zum BI Testing
4. Einschätzung des Nutzens und der Zufriedenheit
5. Herausforderungen
2. Kurzvorstellung Testing Frameworks
3. Fragen & Diskussion
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
3 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung „Aktuelle Testpraktiken in der Entwicklung und dem Betrieb
von Business-Intelligence-Systemen“
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
4 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Forschungsfragen
BI Testing
1. Wie viele Unternehmen testen bereits ihre BI-Systeme?
Hypothese 1: Der Wert des BI Testings ist bekannt, derzeit gibt es jedoch noch zu
viele Herausforderungen, so dass das Testen und speziell das automatisierte Testen
von BI- Systemen noch nicht weit verbreitet ist.
2. Wie ist die derzeitige Werkzeug- und Methodenunterstützung für BI Testing
zu bewerten?
Hypothese 2: Sowohl die derzeitige Werkzeug- als auch die derzeitige Methoden-
unterstützung ist nicht zufriedenstellend.
3. Auf welche Testarten wird derzeit der Fokus im BI Testing gelegt: Werden
eher funktionale oder nicht funktionale Tests durchgeführt?
Hypothese 3: Der derzeitige Fokus liegt auf dem Testen von nicht funktionalen Anf-
orderungen (speziell Performanz und Datenqualität). Funktionale Anforderungen und
die spezielle nicht funktionale Anforderung „Sicherheit“ werden im Vergleich weniger
häufig getestet.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
5 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Fragebogendesign
Online-Befragung
Nicht repräsentative Pilotstudie
Filterfrage: Unterscheidung in „Aktive Tester“ vs. „Keine Tester“
Meist gestützte Fragestellung mit Möglichkeit zur Ergänzung
Anonym
Mehrfachteilnahme durch Cookies ausgeschlossen
Pretest
– Inhaltlich: 10 Pretester (Wissenschaftler, Berater)
– Technisch: 3 Pretester (Wissenschaftler, Hilfswissenschaftler)
Zielgruppe: TDWI Germany Mitglieder
– BI Professionals im deutschsprachigen Raum,
– Einladung via Mail-Verteiler (870 Stück)
Interesse: 84 Mitglieder (9,7 %)
Rückläufer: 55 (54 vollst. ausgefüllt, einmal zu 80%; Rücklaufquote: 6,3%)
Laufzeit (Feldphase) vom 13. Mai – 31. Mai 2013
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
6 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung Angaben zum Unternehmen
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
7 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
0
0
0
0
1
1
1
1
1
1
2
2
3
3
3
5
6
8
8
9
0 1 2 3 4 5 6 7 8 9 10
Baugewerbe
Ingenieurdienstleistung
Maschinenbau/Elektrotechnik
Wissenschaft und Forschung
Automobilbau/Automobilzulieferer
Energieversorgung
Gesundheitswesen
Industrie
Transport/Logistik
Sonstige
Dienstleistungen allgemein
Touristik
Handel
Pharma/Chemie/Biotechnologie
Unternehmensberatung
Öffentliche Verwaltung
Versicherungen
Banken/Finanzdienstleister
Telekommunikation und Medien
IT-System-/Software-Hersteller
1.1: In welcher Branche ist ihr Unternehmen tätig?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55)
8 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
1.2: Wie viele fest angestellte Mitarbeiter hat Ihr Unternehmen insgesamt?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 51)
2,0%
7,8%
11,8%
7,8%
45,1%
13,7%
9,8%
2,0% 0,0%
5,0%
10,0%
15,0%
20,0%
25,0%
30,0%
35,0%
40,0%
45,0%
50,0%
1 - 10 11 - 100 101 - 500 501 - 1.000 1.001 - 5.000 5.001 - 20.000 20.001 -100.000
> 100.000
9 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
1.3: Wie hoch war der Umsatz Ihres Unternehmens im vergangenen
Geschäftsjahr?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55)
32,7%
1,8%
0,0%
12,7%
1,8%
1,8%
3,6%
3,6%
0,0%
41,8%
0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 30,0% 35,0% 40,0% 45,0%
Nicht bekannt / Keine Angabe
< 2 Mio. €
2 Mio. € – 10 Mio. €
11 Mio. € – 50 Mio. €
51 Mio. € – 100 Mio. €
101 Mio. € – 300 Mio. €
301 Mio. € – 500 Mio. €
501 Mio. € – 700 Mio. €
701 Mio. € – 900 Mio. €
> 900 Mio. €
10 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
1.4: Welche Position haben Sie in Ihrem
Unternehmen?
1.5: Ist Ihre Tätigkeit eher als Entwickler
oder als Anwender des BI-Systems
zu sehen?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55)
45,5%
30,9%
9,1%
3,6%
3,6% 1,8%
5,5%
Verantwortlicher für Business Intelligence
Mitarbeiter im Bereich Business Intelligence
Leiter Fachbereich
Mitarbeiter Fachbereich
CEO / Geschäftsführung
CIO / IT -Leiter
Sonstige
45,5%
29,1%
14,5%
Beides (z.B. Berater)
Entwickelnd (z.B. Entwickler)
Anwendend (z.B. Manager)
(n = 49)
11 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung Angaben zum BI-System
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
12 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
2.1: Welche Organisationseinheit(en) ist/sind in Ihrem Unternehmen für die
Erstellung und Anpassung der folgenden BI-Systemteile zuständig?
Angaben zum BI-System
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55)
0
10
20
30
40
50
60
Operative Vorsysteme Datenintegration (ETL) Datenhaltung (DWH) Datenanalyse / Informationsgewinnung
(OLAP, …)
Informationspräsentation (Berichte, Dashboards,
…)
IT-Abteilung BI-Kompetenzcenter (BICC) Fachbereiche
Externe Dienstleister Sonstige / Nicht bekannt
13 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
2.3: Existiert in Ihrem Unternehmen ein
Vorgehensmodell für die Erstellung
und Anpassung der BI-Systeme?
… welches Vorgehensmodell?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55) (n = 21)
50,9%
40,0%
9,1%
Ja
Nein
Nicht bekannt
57,1%
33,3%
9,5%
Klassisches VGM
Agiles VGM
Eigenes VGM
14 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
2.6: Hat Ihr Unternehmen bereits
Erfahrung im Testen von
(klassischen) Softwaresystemen?
2.7: Hat Ihr Unternehmen bereits
Erfahrung im Testen von BI-
Systemen?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 55) (n = 55)
92,7%
3,6% 3,6%
Ja
Nein
Nicht bekannt
52,7%
47,3%
Testpraktiken sind im Einsatz
Keine Testpraktiken imEinsatz
15 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
2.7: Hat Ihr Unternehmen bereits Erfahrung im Testen von BI-Systemen? (im Detail)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
Angaben zum Unternehmen
(n = 55)
52,7%
14,5%
3,6%
9,1%
20,0%
Testpraktiken sind im Einsatz
Der Einsatz von Testpraktiken istgeplant
Testpraktiken sind evaluiert
Evaluation von Testpraktiken istgeplant
Kein Einsatz von Testpraktikengeplant
16 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung Angaben zum BI Testing (Aktive Tester)
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
17 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.4: Wer stellt bei Ihnen im Unternehmen die Anforderungen für neue
Komponenten/Funktionen an die folgenden BI-Systemteile?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
0
5
10
15
20
25
30
Operative Vorsysteme Datenintegration (ETL) Datenhaltung (DWH) Datenanalyse / Informationsgewinnung
(OLAP, …)
Informationspräsentation (Berichte, Dashboards,
…)
BICC Entwickler Externe Dienstleister Fachanwender
Management QS-Abteilung Test-Team Sonstige
18 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.5: Wer definiert bei Ihnen im Unternehmen die Testfälle?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
0
1
1
3
4
10
14
14
19
0 2 4 6 8 10 12 14 16 18 20
Management
Sonstige
Automatische Generierung aus der Spezifikation
Qualitätssicherungsabteilung
Externe Dienstleister
BICC
Fachanwender
Test-Team
Entwickler
19 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.6: Wer führt bei Ihnen im Unternehmen die Tests durch?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
0
0
1
7
9
14
21
21
0 5 10 15 20 25
Management
Qualitätssicherungsabteilung
Sonstige
Externe Dienstleister
BICC
Test-Team
Entwickler
Fachanwender
20 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.7: In welchen Phasen der Entwicklung
des BI-Systems wird getestet?
3.8: Wie werden die Tests in Ihrem
Unternehmen ausgeführt?
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29) (n = 29)
31,0%
24,1%
20,7%
13,8%
10,3%
Jeweils nach der Integration einer neuen Komponente/Funktion in dasBI- System
Unbestimmt, parallel zum Entwicklungsprozess
Jeweils vor und nach der Integration einer neuenKomponente/Funktion in das BI- System (testgetriebene Entwicklung)
Einmalig am Ende des Entwicklungsprojektes
Sonstige
72,4%
24,1%
3,4%
Sowohl manuell als auch automatisiert
Manuell
Automatisiert mitWerkzeugunterstützung
21 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.9: Wird in Ihrem Unternehmen ein standardisiertes Vorgehen zum Testen
eingesetzt? Wenn ja, welches?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
0,0%
0,0%
0,0%
0,0%
0,0%
0,0%
3,4%
3,4%
3,4%
3,4%
10,3%
31,0%
44,8%
0,0% 5,0% 10,0%15,0%20,0%25,0%30,0%35,0%40,0%45,0%50,0%
Ja, BS 7925-2 – Software Testing: Software Component Testing
Ja, IEEE 1028 – Software Reviews and Audits
Ja, IEEE 829 – Software Test Documentation
Ja, ISO 29119 – Software Testing
Ja, ISO 9126 – Software Product Evaluation
Ja, Test Management Approach (TMap)
Ja, ohne spezifische Angabe
Ja, Eigenes
Ja, IEEE 1008 – Software Unit Testing
Ja, Capability Maturity Model Integration (CMMI) Validation(VAL) oder Verification (VER)
Ja, IT Infrastructure Library (ITIL) Validation and Testing
Nicht bekannt
Nein
22 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.10: Welche Komponenten des BI- Systems testet Ihr Unternehmen?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
3
6
25
21
27
25
22
20
25
16
18
23
14
15
2
26
22
21
4
5
0
0 5 10 15 20 25 30
Datenschemata der operativen Vorsysteme
Stored Procedures der operativen Vorsysteme
Extraktion der operativen Daten
Bereinigung der operativen Daten (Data Cleaning)
Transformation der operativen Daten in Zielstrukturen
Laden der transformierten Daten ins Data Warehouse
Abfragen (SQL Queries) in ETL-Prozessen
Datenschema des Data Warehouses
Daten des Data Warehouses
Gespeicherte Prozeduren (Stored Procedures) im Data…
Datenschemata der Data Marts
Daten der Data Marts
Gespeicherte Prozeduren (Stored Procedures) der Data Marts
OLAP-Funktionen (Online Analytical Processing)
Text-/Data-Mining-Funktionen
Berichte (Reports)
Abfragen (SQL Queries) in Berichten (Reports)
Front-End-Werkzeuge (beispielsweise Portale und…
Datenschemata des Metadatenmanagementsystems
Daten des Metadatenmanagementsystems
Sonstige
23 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.11: Welche Testarten werden derzeit bei Ihnen in BI-Projekten durchgeführt?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
55%
66%
72%
79%
97%
97%
100%
24%
10%
21%
14%
3%
3%
7%
21%
3%
3%
14%
3%
3%
3%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Security Tests
User Interface (UI) Tests
Data Quality Tests
Performance Tests
Unit Tests
Acceptance Tests
Integration Tests
Durchgeführt Geplant Nicht durchgeführt Nicht bekannt
24 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.12: Wie werden in Ihrem Unternehmen die
zur Durchführung von Tests
notwendigen Testdatensätze erstellt?
… beliebteste Settings:
Angaben zum Unternehmen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29) (n = 29)
0
5
12
15
20
0 5 10 15 20 25
Sonstige Vorgehensweise, undzwar
Es werden automatisiert neueTestdatensätze erzeugt.
Es werden manuell neueTestdatensätze erzeugt.
Es werden anonymisierteDatensätze aus dem
Produktivsystem verwendet.
Es werden Datensätze aus demProduktivsystem verwendet.
1. ausschließlich Datensätze aus dem
Produktivsystem (24,1%)
2. sowohl Datensätze aus dem
Produktivsystem als auch manuell
erzeugte Testdatensätze (17,2%)
3. ausschließlich anonymisierte Datensätze
aus dem Produktivsystem (13,8%)
25 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.13: Wie verwaltet Ihr Unternehmen…
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
10%
10%
17%
72%
79%
28%
14%
7%
45%
3%
3%
10%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
… Testfälle?
… Testergebnisse?
… Testdatensätze?
Werden in einemVersionsverwaltungssystemgespeichert
Werden dokumentiert Werden nicht verwaltet Nicht bekannt
26 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
51,7%
34,5%
10,3%
3,4%
Ja, es wird in ein Produktivsystem sowie je ein Entwicklungs- undein Testsystem unterschieden. Die Tests werden in derTestumgebung ausgeführt.
Ja, es wird in ein Produktivsystem sowie mehrere Entwicklungs-und Testsysteme unterschieden. Die Tests werden in denTestumgebungen ausgeführt.
Nein, es wird in ein Produktivsystem sowie ein Entwicklungssystemunterschieden. Die Tests werden in der Entwicklungsumgebungausgeführt.
Sonstiges
Nein, es wird in ein Produktivsystem sowie mehrereEntwicklungssysteme unterschieden. Die Tests werden in denEntwicklungsumgebungen ausgeführt.
Nein, die Tests werden im Produktivsystem ausgeführt.
Nein, es werden keine Tests ausgeführt.
Nicht bekannt
3.14: Sieht Ihre Architektur eine dedizierte Testumgebung vor?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
Alle „Aktive Tester“ unterscheiden zumindest in Produktiv- und
Entwicklungssystem!
27 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.15: Welche der folgenden Werkzeuge sind Ihnen bekannt bzw. setzen Sie in BI-
Projekten ein?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
1
1
1
1
1
1
2
3
4
9
1
1
1
1
2
2
3
4
6
6
3
3
1
2
3
3
5
7
3
4
7
4
9
9
9
8
8
6
8
8
12
10
9
8
8
6
8
8
6
5
0 2 4 6 8 10 12 14 16 18 20
TestBench (Origsoft) (n = 11)
Watir (Open Source) (n = 11)
utPLSQL (Open Source) (n = 12)
dbForge (Devart) (n = 12)
Quest Code Tester for Oracle (Quest Software / Dell) (n = 14)
SQL Power Architect (SQLPower Software) (n = 12)
FitNesse mit DbFit (Open Source) (n = 12)
TSQLUnit (Open Source) (n = 12)
Data Subset (Grid-Tools) (n = 14)
BI.Quality (ORAYLIS) (n = 13)
QuerySurge (RTTS) (n = 13)
SQLUnit (Open Source) (n = 12)
Jailer (Open Source) (n = 14)
Data Subset (Informatica) (n = 14)
DBUnit (Open Source) (n = 14)
Selenium (Open Source) (n = 15)
SQL Developer Data Modeler (Oracle) (n = 17)
Toad (Quest Software / Dell) (n = 19)
Wird eingesetzt Ist geplant einzusetzen Ist bekannt, wird aber nicht eingesetzt Unbekannt
28 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.16: Setzen Sie neben den genannten Werkzeugen noch weitere Werkzeuge in
Ihren BI-Projekten ein? Wenn ja, welche?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 11)
1
1
1
1
3
5
0 1 2 3 4 5 6
Junit - zum Testen des eigenen Frameworks
JUnit mit CruiseControl
IBM Data Manager
Aqua Data Studio
HP Quality Center
Eigenentwicklung(Für: ETL-Strecken, Reports, Integration Tests, Acceptance Tests)
(Mit: Shell-Script, SQL-Scripts, Scheduler des BI-Frontends)
29 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
3.17: Weshalb setzt Ihr Unternehmen Testpraktiken in BI-Projekten ein?
Angaben zum BI Testing (Aktive Tester)
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 29)
0
4
5
6
9
10
13
17
24
27
0 5 10 15 20 25 30
Sonstige
Motivationssteigerung der Entwickler
Unterstützung für die Entwickler
Strukturiertere Anforderungsaufnahme durch Test-Spezifikation
Gesetzliche Vorgaben
Verhinderung von zusätzlichen Kosten
Gefühl von Sicherheit
Erleichterte Abnahme von neuen Funktionen/Komponenten desBI-Systems durch Test-Spezifikation
Risikominimierung
Qualitätssteigerung der zu entwickelnden Produkte
30 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung Einschätzung des Nutzens und der Zufriedenheit
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
31 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
4.1: Sind schon einmal Fehler in Ihrem BI- System aufgetreten, welche lange Zeit
unbemerkt waren und die vielleicht durch strukturierte Testpraktiken hätten
früher identifiziert werden können? (Keine Tester)
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 26)
65,4%
30,8%
3,8%
Ja
Nicht bekannt
Nein
32 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
4.2: Wie schätzen Sie den möglichen
Nutzen des Testens von BI- Systemen
im Vergleich zum nötigen Aufwand
ein? (Keine Tester)
Wie schätzen Sie den erbrachten
Nutzen des Testens von BI-Systemen
im Vergleich zum betriebenen
Aufwand ein? (Aktive Tester)
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 26) (n = 29)
vs.
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
-3 -2 -1 0 1 2 3
Einschätzung Verhältnis von Nutzen zu Aufwand: Tester
Einschätzung erwartetes Verhältnis von Nutzen zu Aufwand:Nicht-Tester
0,77
1,17
-2,00
-1,00
0,00
1,00
2,00
Mittlere Einschätzungerwartetes Verhältnis vonNutzen zu Aufwand: Nicht-
Tester
Mittlere EinschätzungVerhältnis von Nutzen zu
Aufwand: Tester
Nicht-Tester bewerten die Effektivität von BI Testing signifikant geringer als Tester.
(p < 0.05)
2 = sehr hoch
0 = neutral
-2 = sehr niedrig
33 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung
“Nicht-Tester bewerten die Effektivität von BI Testing signifikant geringer
als Tester.”
Entweder:
Nicht-Tester schätzen den Aufwand für BI Testing höher ein als er
tatsächlich ist oder
Nicht-Tester schätzen den Nutzen von BI Testing geringer ein als er
tatsächlich ist oder
eine Kombination aus beidem
34 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Gegenüberstellung Zufriedenheit „aktuelle Testsituation“
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
0,0%
5,0%
10,0%
15,0%
20,0%
25,0%
30,0%
35,0%
-4 -3 -2 -1 0 1 2 3 4
… Ihrer aktuellen Test-Situation? (Tester)
… Ihrer aktuellen Test-Situation? (Nicht-Tester)
-0,96
1,18
-3,00
-2,00
-1,00
0,00
1,00
2,00
3,00
Nicht-Tester sind signifikant weniger zufrieden mit ihrer aktuellen Testsituation als
Tester. (p < 0.01)
Mittlere Zufriedenheit aktuelle Testsituation: Nicht-Tester
Mittlere Zufriedenheit aktuelle Testsituation: Tester
3 = sehr zufrieden
0 = weder … noch
-3 = überhaupt nicht zufrieden
35 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Gegenüberstellung Zufriedenheit
„derzeitige Werkzeugunterstützung“
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
3 = sehr zufrieden
0 = weder … noch
-3 = überhaupt nicht zufrieden
0,0%
5,0%
10,0%
15,0%
20,0%
25,0%
30,0%
35,0%
40,0%
-4 -3 -2 -1 0 1 2 3 4
… der derzeitigen Werkzeugunterstützung zum Testen von BI-Systemen? (Tester)
… der derzeitigen Werkzeugunterstützung zum Testen von BI-Systemen? (Nicht-Tester)
-1,46
0,25
-3,00
-2,00
-1,00
0,00
1,00
2,00
3,00
Nicht-Tester sind signifikant weniger zufrieden mit der derzeitigen
Werkzeugunterstützung als Tester. (p < 0.01)
Mittlere Zufriedenheit derzeitigen Werkzeugunterstützung:Nicht-TesterMittlere Zufriedenheit derzeitigen Werkzeugunterstützung:Tester
36 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Gegenüberstellung Zufriedenheit
„derzeitige Methodenunterstützung“
Einschätzung des Nutzens und der Zufriedenheit
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
3 = sehr zufrieden
0 = weder … noch
-3 = überhaupt nicht zufrieden
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
-4 -3 -2 -1 0 1 2 3 4
… der derzeitigen Methodenunterstützung zum Testen von BI-Systemen? (Tester)
… der derzeitigen Methodenunterstützung zum Testen von BI-Systemen? (Nicht-Tester)
-1,33
0,36
-3,00
-2,00
-1,00
0,00
1,00
2,00
3,00
Nicht-Tester sind signifikant weniger zufrieden mit der derzeitigen
Methodenunterstützung als Tester. (p < 0.01)
Mittlere Zufriedenheit derzeitigen Methodenunterstützung:Nicht-TesterMittlere Zufriedenheit derzeitigen Methodenunterstützung:Tester
37 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Online-Befragung Herausforderungen
1.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
38 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
5.1: Wo sehen Sie aktuell Herausforderungen bzw. Hinderungsgründe beim Testen von
BI-Systemen? (ungestützte Fragestellung)
Herausforderungen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
Automatisierung (3)
Anonymisierung (Datenschutz) (2)
Komplexität Erstellung der manuellen
Testdaten (2)
Große Testvolumen (1)
Unscharfe Anforderungsdefinition (1)
Kosten / Nutzen nicht erfassbar (1)
Zeit (1)
Adaption von Wissen SE auf BI (1)
Keine vollständige Beschreibung
Geschäftsvorfälle (1)
Aufbau Testumgebung (Berücksichtigung
aller mögl. Komponentenkombin.) (1)
Erfahrung professionelles Testen fehlt (1)
Keine Versionierung der BI-Systeme (1)
Begrenztes Fachpersonal (4)
Zeit (3)
Kein standardisiertes Verfahren (3)
Fehlende Test-Tools (2)
Automatisierung (2)
Komplexität Erstellung der manuellen
Testdaten (2)
Komplexität im vgl. zu SE (2)
Aufwendig (2)
Kosten / Nutzen nicht erfassbar (1)
Änderung operativen Systeme ohne
Information an BI (1)
Budget (1)
Semantische Fehler in ETL (1)
Anonymisierung (Datenschutz) (1)
„Aktive Tester“: „Keine Tester“: (n = 14) (n = 19)
39 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70%
Geeignete Testwerkzeuge für den Bereich „operative Vorsysteme“.
Zur Verfügung gestelltes Budget für das Testen von BI-Systemen.
Erstellung geeigneter Testdatensätze.
Verwaltung von Testfällen, Testdaten und Testergebnissen.
Geeignete Testwerkzeuge für den Bereich „Datenhaltung (DWH)“.
Geeignete Testwerkzeuge für den Bereich „Informationspräsentation"
Bekanntheit des Nutzens von Testpraktiken für BI-Systeme.
Geeignete Testwerkzeuge für den Bereich „Datenanalyse".
Bekanntheit des ROI von Testpraktiken für BI-Systeme.
Erfassung der erreichten Testabdeckung (Test-Coverage).
Geeignete Testwerkzeuge für den Bereich „Datenintegration (ETL)“.
Geeignete Methodenunterstützung für das Testen von BI-Systemen.
Automatisierung des Testprozesses.
Aktuelle Herausforderung Keine Herausforderung Zukünftige Herausforderung (in 5 Jahren)
5.3: Wie schätzen Sie die folgenden Sachverhalte ein? (gestützte Fragestellung)
Herausforderungen
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 54)
40 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
BI Testing
Online-Befragung Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(n = 54)
Das Grundproblem ist aus meiner Sicht das Erkennen von Fehlern. Bisher
sind die schwierigsten Fehler aus meiner Sicht stets fachlicher Natur gewesen.
Technisch kann sehr viel heute schon geleistet werden. Aber
welches System sagt mir, dass der Preis eines Kugelschreibers nicht 0,69
Euro sondern 0,70 Euro hätte sein sollen.
50 % unserer Probleme sind Fehler bei der Eingabe von Informationen.
40 % bei Änderungen operativer Abläufe ohne Information an BI
nur 10 % BI Fehler (liegt an der hervorragenden Mannschaft :-)
“
„ (Kommentar eines Teilnehmers, Online-Umfrage „BI Testing“, 2013, ID 31)
41 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Testing Frameworks 2.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
42 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Übersicht
Testing Frameworks
Laut Online-Befragung die am häufigsten eingesetzten kommerziellen Werkzeuge:
HP Quality Center Quest Software / Dell Toad
Kurzbeschreibung
Automated Software Quality
Testing and Management
Integrated Development
Environment for SQL
Herstellerseite http://www.hp.com/go/qualityc
enter
http://www.quest.com/toad/
Ausgewählte Open-Source-Werkezuge:
DBUnit FitNess mit DbFit Selenium
Kurzbeschreibung
Unit Test Framework Unit Test Framework HTML GUI Test Framework
Projektseite: http://www.dbunit.org/ http://sourceforge.net/projects/
dbfit/ http://seleniumhq.org
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
43 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
HP Quality Center
Testing Frameworks
Testmanagementwerkzeug
3 Kernbereiche
– Requirements Management (= Spezifikation)
– Test Management
– Defects Backlog
Defects Testfälle Requirements
Alle Dokumente unter Versionierung
Eigene Testauswertungs-Engine
– Testergebnisse
– Testabdeckung
Testautomatisierung
– HP QuickTest Professional
– Aufruf externer Testanwendung via Visual Basic Script
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
44 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Quest Software / Dell Toad
Testing Frameworks
Integrated Development Environment for SQL
Zunächst Toad for Oracle
Oracle, IBM DB2, MS SQL Server, MySQL, …
Testen (Versionsabhängig)
– Debugging von SQL-Anweisungen
– Testdatengenerierung (produktiv, zufällig)
– Unit Tests
– Data Diff Tests
– Vergleich von Schemata
– Performance Tests
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
45 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
DBUnit
Testing Frameworks
Basis JUnit (Java/Eclipse)
Verbindung zu Datenbanken via JDBC-Treiber
Datenbank-Credantials in Plain-Text (!)
Keine Testdatengenerierung
Definition von Testdaten in DataSets (Datenbank oder XML)
– Eingabedaten
– Erwartungswerte
Definition von Datenbankausgangszustand
SQL-Abfragen im String-Format
Unit Tests
Data Diff Tests
Keine Stored Procedures
– SQLUnit
– http://sqlunit.sourceforge.net/
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
46 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
FitNesse mit DbFit
Testing Frameworks
FitNesse
– Wiki-basiertes Acceptance Test Framework
• Spezifikation Testfälle
• Testauswertung
DbFit
– Oracle, SQL Server, MySQL, DB2, PostgreSQL
– Verschlüsselung der Datenbank-Credantials möglich
– Testdaten manuell anlegen (Excel) oder aus Datenbank lesen
– Unit Tests, Data Diff Tests, Performance Tests
– Testen von SQL-Abfragen
– Testen von Stored Procedures
– Transaktionsmanagement um Datenbankmodifikationen zurückzusetzen
Blog-Eintrag von Chris Grenz “BI Tools – Testing with DBFit” (2012)
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
47 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
FitNesse mit DbFit
Testing Frameworks Text
Text
Text
Text
Text
(Quellenangabe:)
Text
(Bildquelle 1:
http://benilovj.github.io/dbfit/docs/writin
g-tests.html#data-diff-test
Bildquelle 2:
http://sourceforge.net/p/dbfit/screensho
t/115536.jpg)
48 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Selenium
Testing Frameworks
HTML GUI Test Framework
Firefox, IE, Chrome, Opera, Safari
Testfälle aufzeichnen und automatisiert
abspielen (direkt im Web Browser)
Selenium RC
– Java
– .NET
– Python, Perl, PHP
Web-Frontends
– Dashboards
– Berichte
Usability stark von der Qualität des HTML-Codes
abhängig (!)
– HTML vs. gutes HTML
– Verantwortung Werkzeughersteller
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
49 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Sollten Sie
– weiteres Interesse am Thema „BI Testing“,
– oben genannter Problemstellung bereits begegnet und diese gelöst oder
– Interesse an einem Wissens- und Erfahrungsaustausch zum Thema haben,
zögern Sie bitte nicht einen der Referenten zu kontaktieren.
(E-Mail: robert.krawatzeck@wirtschaft.tu-chemnitz.de)
Hinweis in eigener Sache
BI Testing Text
Text
Text
Text
Text
(Quellenangabe:)
Text
Wie ist der Forschungsstand bezüglich Testautomaten, die ohne
großen Aufwand bei der Implementierung mit erstellt werden können?
Aktuell ist es meistens so:
- Anforderungsanalyse: Testfälle definieren
- Implementierung: Testfälle schreiben
- Abnahme: Anhand der Testfälle
Dies sind alles manuelle Tätigkeiten.
Im DWH-Umfeld wird viel mit SQL gearbeitet. Schön wäre es, hierzu
Testautomaten zu bekommen, ähnlich wie in der Java/Eclipse Welt.
“
„ (Kommentar eines Teilnehmers, Online-Umfrage „BI Testing“, 2013, ID 92)
50 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Fragen & Diskussion 3.
Text
Text
Text
Text
Text
(Quellenangabe:)
Text
51 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II
Robert Krawatzeck, Prof. Dr. Peter Gluchowski
Referenten
Kontaktinformationen Text
Text
Text
Text
Text
(Quellenangabe:)
Text
Dipl.-Inf. Robert Krawatzeck
Reichenhainer Straße 70, Raum D316B
D-09126 Chemnitz
Telefon: +49 (371) 531-39428
E-Mail: robert.krawatzeck@wirtschaft.tu-chemnitz.de
Prof. Dr. Peter Gluchowski
Thüringer Weg 7, Raum 225
D-09126 Chemnitz
Telefon: +49 (371) 531-35575
E-Mail: peter.gluchowski@wirtschaft.tu-chemnitz.de