Test Automation: panacea or placebo (CZ)
-
Upload
petr-neugebauer -
Category
Presentations & Public Speaking
-
view
75 -
download
2
Transcript of Test Automation: panacea or placebo (CZ)
![Page 1: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/1.jpg)
GAJAH ANNUAL REPORT 2015 | 1
AUTOMATIZACE TESTOVÁNÍ
VŠELÉK NEBO PLACEBO?PETR NEUGEBAUER, MARCEL VESELKA
itSMF 2017NÁVRAT DO
BUDOUCNOSTI
19. leden 2017
#proTest
![Page 2: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/2.jpg)
itSMF CZECH REPUBLIC 2017 | 2
[pro]TEST! Heroes
MARCELVESELKA
ZKUŠENOSTI(2000) VÝVOJÁŘ(2004) TESTER
(2007) TEST MANAGER(2013) VÝKONNÝ ŘEDITEL
ZÁLIBYNOVÉ NÁPADY
STOPAR.SK[pro]TEST!
řada ONLINE PROJEKTŮ
tesena | SMART TESTING
PETRNEUGEBAUER
ZKUŠENOSTI(1999) VÝVOJÁŘ(2002) TESTER
(2006) TEST MANAGER(2015) KONZULTANT
ZÁLIBYVZDĚLÁVÁNÍ
CZECH AND SLOVAK TESTING BOARD
[pro]TEST! MORAVA
YES4Q | PASSION FOR QUALITY
![Page 3: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/3.jpg)
AGENDA
02(DE)MOTIVACE PRO
MANAGERY, AJŤÁKY A ZÁKAZNÍKA
01ÚVOD
DO AUTOMATIZACE TESTOVÁNÍ
03JAK USPĚT PŘI AUTOMATIZACI
AUTOMATIZACE TESTOVÁNÍ
![Page 4: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/4.jpg)
itSMF CZECH REPUBLIC 2017 | 4
TESTOVÁNÍVÝZVY
1DOBA DODÁVKY
SE ZKRACUJE
5
ZÁKAZNÍKOČEKÁVÁ VYSOKOU KVALITU
3
INTERAKCE MEZI SYSTÉMYROSTE
6
VARIABILITA ZAŘÍZENÍA PLATFOREM ROSTE
2
SLOŽITOST SYSTÉMŮSE ZVYŠUJE
4
ZMĚNOVÁ ŘÍZENÍJSOU BĚŽNÁ
![Page 5: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/5.jpg)
itSMF CZECH REPUBLIC 2017 | 5
PERSPEKTIVYKVALITY
PRODUKT
UŽIVATELSKÉ POTŘEBY
PROCESY
POCIT
HODNOTAZÁKAZNÍK
VÝVOJÁŘ
TESTER
TECHNIK
MANAGER
![Page 6: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/6.jpg)
itSMF CZECH REPUBLIC 2017 | 6
CÍLE SPOLEČNOSTI
STRATEGIE ZVÝŠENÍ PRODUKTIVITY O 10%
SNÍŽENÍ NÁKLADŮ O 5%
DODÁNÍ 2 NOVÝCH PRODUKTŮ NA TRH KAŽDÉ 3 ROKY
ZVÝŠENÍ PODÍLU NA TRHU O 3%
SNÍŽENÍ DEFEKTŮ Z PRODUKCE
O 10%
SPOUŠTĚNÍ TESTŮ EXTERNÍ FIRMOU
![Page 7: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/7.jpg)
itSMF CZECH REPUBLIC 2017 | 7
VYSOKÉ PROCENTO AUTOMATIZAČNÍCH PROCESŮ SELŽE NEBO NESPLNÍ
OČEKÁVÁNÍ OHLEDNĚ ROI.
ÚROVEŇ AUTOMATIZACE
TESTŮ
AUTOMATIZACEAKTUÁLNÍ STAV A TRENDY
Top priorita 2016:ZLEPŠIT AUTOMATIZACE TESTŮ
(pro 58% společností)
2014 2015 2016
28% 45% 29%
Quality Report 2015-2016 / 2016-2017
![Page 8: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/8.jpg)
itSMF CZECH REPUBLIC 2017 | 8
VÝHODYVĚTŠÍ MNOŽSTVÍ TESTŮ
ČASTĚJŠÍ BĚH TESTŮ
PŘESNOST A BEZCHYBNOST
RYCHLOST
AUTOMATIZACE TESTOVÁNÍ
NEVÝHODYCENA (POČÁTEČNÍ INVESTICE)
ZNALOSTI A DOVEDNOSTI
TECHNOLOGIE (NÁSTROJE)
ÚDRŽBA (AKTUÁLNOST)
![Page 9: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/9.jpg)
itSMF CZECH REPUBLIC 2017 | 9
AUTOMATIZACE TESTOVÁNÍ
VÝHODY vs NEVÝHODY
MOŽNOST ČASTĚJŠÍHO BĚHU TESTŮ
MENŠÍ NÁCHYLNOST NA CHYBY (LIDSKÉ)
MOŽNOST SLOŽITĚJŠÍCH A TĚŽCE SPUSTITELNÝCH MANUÁLNÍCH TESTŮ
RYCHLOST TESTŮ A VČASNÁ ZPĚTNÁ VAZBA
EFEKTIVNOST A EFEKTIVITA VYUŽITÍ LIDSKÝCH ZDROJŮ
KONZISTENTNOST A STABILITA
POČÁTEČNÍ NÁKLADY
VYŽADUJE TECHNOLOGIE
VYŽADUJE DALŠÍ SCHOPNOSTI A DOVEDNOSTI TESTERŮ
NÁKLADY NA ÚDRŽBU
VÝVOJ AUTOMATICKÝCH TESTŮ NAÚKOR TESTOVÁNÍ
NÁCHYLNOST NA ZMĚNY
LIMITACE AUTOMATIZACE TESTŮVŠECHNY TESTY NELZE AUTOMATIZOVAT
AUTOMATIZOVANÉ TESTY NETESTUJÍ, POUZE KONTROLUJÍ OČEKÁVANÉ VÝSLEDKY
NENAHRAZUJE MANUÁLNÍ TESTY (ET)
![Page 10: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/10.jpg)
itSMF CZECH REPUBLIC 2017 | 10
MÝTUS #1Automatizace řeší VŠECHNO
MÝTUS #3Automatizace snižuje nároky na MNOŽSTVÍ TESTERŮ
MÝTUS #5Automatizace je o simulaci webového rozhraní
AUTOMATIZACE MÝTY A POVĚRY
AUTOMATIZACE NENACHÁZÍ CHYBY,
CHYBY NACHÁZÍ TESTY.
AUTOMATIZACE SE NETÝKÁ VÝHRADNĚ FUNKCIONALITY
MÝTUS #2Automatizovat může KAŽDÝ
MÝTUS #4Automatizací vždy ušetříme, aneb automatizace je LEVNÁ
MÝTUS #6Automatizace je record-and-play aktivita
![Page 11: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/11.jpg)
itSMF CZECH REPUBLIC 2017 | 11
NÁVRATNOST INVESTICE DO AUTOMATIZACE TESTOVÁNÍ
ROZHODUJE SKUTEČNĚ POUZE ROI?
ROI
![Page 12: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/12.jpg)
itSMF CZECH REPUBLIC 2017 | 12
AUTOMATIZACE TESTOVÁNÍ
MOTIVACE
![Page 13: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/13.jpg)
itSMF CZECH REPUBLIC 2017 | 13
MANAGER AJŤÁK ZÁKAZNÍK
AUTOMATIZACE(DE)MOTIVACE
![Page 14: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/14.jpg)
itSMF CZECH REPUBLIC 2017 | 15
MOTIVACECENARYCHLOSTKVALITATRANSPARENTNOST
DEMOTIVACETLAK ZHORANESPRÁVNÉ OČEKÁVÁNÍPROČ TO DĚLAT KDY TO DĚLAT
(DE)MOTIVACEMANAGER
SPRÁVNÁ OČEKÁVÁNÍMOTIVACE
![Page 15: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/15.jpg)
itSMF CZECH REPUBLIC 2017 | 16
MOTIVACENOVÉ “HRAČKY”RYCHLÁ ZPĚTNÁ VAZBAUŽ NEJSEM “KLIKAČ”NIŽŠÍ PRACNOST
DEMOTIVACEÚDRŽBATESTOVÁNÍ TESTŮTESTOVACÍ DATAKVALITA PRODUKTU
(DE)MOTIVACEAJŤÁK
NOVÝ VÝVOJ VS ÚDRŽBAKARIÉRA
![Page 16: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/16.jpg)
itSMF CZECH REPUBLIC 2017 | 17
MOTIVACEPROFITABILITA / ÚSPĚCH PRODUKTUČAS DODÁNÍ NA TRH (Time to market)RYCHLEJŠÍ REAKCE NA KONKURENCIKVALITA
DEMOTIVACEPOČÁTEČNÍ INVESTICEŠPATNÉ POROZUMĚNÍ (KDO - schopnosti týmu)POROZUMĚNÍ TECHNICKÝM DETAILŮM
(DE)MOTIVACEZÁKAZNÍK
HODNOTAMOŽNOST ZPĚTNÉ VAZBY
![Page 17: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/17.jpg)
itSMF CZECH REPUBLIC 2017 | 18
• METRIKY A KPI
• POKRYTÍ
• PRIORITY
• ZMĚNY
• ZDROJE
• ROLE
SPOLUPRÁCE
![Page 18: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/18.jpg)
itSMF CZECH REPUBLIC 2017 | 19
Zdroj: The Unexpected Truth About UI Test Automation Pilot Projects, telerik
Na průzkum odpovědelo 239 testerů a 604 vývojářů
JAK USPĚT PŘI AUTOMATIZACI
![Page 19: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/19.jpg)
itSMF CZECH REPUBLIC 2017 | 20
Zapojení DEV týmu do automatizace
Realistická očekávání
managementu
Efektivní komunikace mezi managementem a
lídrem automatizace
JAK USPĚT
![Page 20: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/20.jpg)
itSMF CZECH REPUBLIC 2017 | 21
Zapojení DEV týmu do automatizace
Zvolené testovací nástroje jsou neefektivní
anebo se težko s nimi pracuje
Tým nemá zkušenosti
v automatizaci testů
ČEMU SE VYVAROVAT
![Page 21: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/21.jpg)
itSMF CZECH REPUBLIC 2017 | 22
AUTOMATIZACEJAK USPĚT • Automatizace je vývoj SW
• Testy ladíme s vývojem• Open source vs komerční nástroje? (svoboda)
Technologie (nástroje, prostředí,
data, . . .)
• Myslete na automatizaci už při startu = automatizovatelnost jako součást business zádání
• Smoke > Regresní testy• Testovací data• Nefunkční požadavky (výkon, kompatibilita, stabilita)
Testovaná aplikace
• Skvělý tester z bankovní pobočky není vývojář, rozumí business problematice, ale ne programování
• Ideální automatizér je vývojář, tester, architekt a business specialista
Tým Kdo?
![Page 22: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/22.jpg)
itSMF CZECH REPUBLIC 2017 | 23
MANUÁLNÍPYRAMIDAAUTOMATIZACE TESTŮ
10% GUI
30% ROZHRANÍ / API
60% KOMPONENTY / MODULY
![Page 23: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/23.jpg)
itSMF CZECH REPUBLIC 2017 | 24
JASNÁ KOMUNIKACE
ŠKOLENÍ
AKTUALIZACE TESTŮ
BUDGET
JAK USPĚTSTRATEGIE
PŘÍSTUPYNÁSTROJE
DEFINICEVIZECÍLŮ
PRIORIT
POCHOPENÍSPOLEČNOSTIZÁKAZNÍKAOČEKÁVÁNÍ
VYHODNOCENÍ
PILOTZLEPŠOVÁNÍ
![Page 24: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/24.jpg)
itSMF CZECH REPUBLIC 2017 | 25
AUTOMATIZACE: ANO ČI NE?
VŠELÉK NEBO PLACEBO?
JAK AUTOMATIZOVAT?
SHRNUTÍ
AUTOMATIZACE TESTOVÁNÍ
VŠELÉK NEBO PLACEBO?
![Page 25: Test Automation: panacea or placebo (CZ)](https://reader035.fdocument.pub/reader035/viewer/2022081520/58a3e3aa1a28ab7f0b8b66fd/html5/thumbnails/25.jpg)
itSMF CZECH REPUBLIC 2017 | 26
AUTOMATIZACE TESTOVÁNÍVŠELÉK NEBO PLACEBO?
MARCELVESELKA
tesena | SMART TESTING
PETRNEUGEBAUERYES4Q | PASSION FOR
m
https://www.linked.com/in/petrneugebauer https://www.linked.com/in/marcelveselka