Testprocesser og målinger i test

Jesper Schultz, Nykredit

19. november 2009

Agenda

”TMM måling og vores arbejde med

at måle kvaliteten af den test der

køres i projekter i Nykredit”

• TMMi 2009

– Baggrund

– Resultater

– Indsatsområder

– Eksempler

• Indsatsområder

• Værktøjer

• Måledata og tal

3

TMMi 2009…why bother?

• Høj modenhed = færre fejl

• Kilde: Erik van Veenendaal, Eurostar 2008, ISTQB VP og TMMi Vice-chair(KLOC = Kilo Lines Of Code)

(FP = Function Points)

(ISTQB = International Software Testing Qualifications Board)

4

TMMi 2009Baggrund

• TMMi (Test Maturity Model integration)

• Komplementær til CMMi (Capability Maturity Model integration)

• CMMi er en procesforbedringsmodel for industrien, herunder også softwareudvikling.;

men har ikke specielt fokus på testområdet

• TMMi er testmiljøets model for hvordan man specifikt forbedrer testarbejdet i sw.industrien

5

TMMi 2009TMM-assessment 2005 - modellen

Level 1: Initial

Level 2: Structured test processes

Level 3: Integration

Level 4: Management & Measure

Level 5: Optimization & Quality

6

TMMi 2009TMM-assessment 2005 - resultatet

Delområder

0

10

20

30

40

50

60

70

80

90

100

Mål

Planer

Testtekn

ikker

Testmiljø

Konfig.s

tyr

Fejlrapporte

r

Org

anisation

Uddannelse

Inte

gratio

n

Egenskaber

Opfø

lgning

Værk

tøje

r

Reviews

Risikoanalyse

Målin

ger

Testbarh

ed

Udvikling

Optim

ering

Vidensdelin

g

Kvalitets

kontro

l

Årsagsa

nalyse

Færre

rep.

Pro

cen

t

83 80

52

26

0

10

20

30

40

50

60

70

80

90

100

Niveau 2 –

Struktureret

forløb

Niveau 3 –

Integration

Niveau 4 –

Styring og

måling

Niveau 5 –

Optimerende,

præventiv test

7

TMMi 2009TMMi 2009 – hele modellen

8

TMMi 2009Eksempel: Level 2 formelt

• TMMi level 2 Managed

• Test Policy and Strategy

• Officiel og godkendt overordnet model der udstikker rammerne for testarbejde og kvalitetssikring i

koncernens udviklingsaktiviteter. (Nykredits Testmodel i NUK).

• Test Planning

• Teststrategien, risikobaseret test med bla. funktionelle, arkitekturmæssige, non-funktionelle

(brugervenlighed, effektivitet, vedligeholdesvenlighed, pålidelighed) og forandringsmæssige

(regression-) risici.

• Estimering og opfølgning på planer, ressourcer mv.

• Test Monitoring and Control

• Etabler mål for selve testarbejdet, accepttest for selve testen og følg op på begge mål-typer og

foretag nødvendige planlægningsmæssige korrektioner for at opfylde mål og accepttestkriterier. (hhv.

Teststrategi og Quality Center).

• Test Design and Execution

• Identificer testcases og tilhørende testdata ud fra kravstillelsen.

• Prioriter testcases, lav specifik testplan og gennemfør testfasen med opfølgning på testresultater og

korrigerende handlinger og gen-test.

• Test Environment

• Etabler og vedligehold tilstrækkelige og robuste testmiljøer, incl. opdaterede testdata.

• Administrer og koordiner brug og tilgængelighed af miljøerne ift. brugerne (projekter).

(Udviklingsmiljøer og IT-infrastruktur).

9

TMMi 2009Eksempel: Level 2 oversat

• TMMi level 2 Managed

• Test er en specifik proces som er noget andet end debugging.

• Testfasen opfattes af mange interessenter fortsat som en fase der kommer efter kodefasen.

• Testarbejdet er baseret på en risikovurdering.

• Der arbejdes ud fra veldefinerede testplaner.

• Testarbejde behandles som en projektdisciplin med opfølgning og korrigerende tiltag ift. testplaner og -mål.

• Resultater og status fra testarbejdet er tilgængelige for projekt- og ledelsesrapportering.

• Der findes velbeskrevne procedurer for at komme fra kravspecificering til testcases.

• Test er delt op i Modul-, Integrations-, System- og Accepttest, med klare mål for hver testfase.

• Testmiljøer er tilgængelige, robuste og opdaterede.

10

TMMi 2009Eksempel: Level 3 formelt

• TMMi level 3 Defined• Test Organization

• Testorganisation med egen ledelse og budget.

• Fastlagte opgaver, ansvar og kompetencer for testere og testledere (managers, red.).

• Test Training Program

• Der er et uddannelsesprogram i test.

• Der er mål for uddannelsen og evaluering af uddannelsen.

• Test Life Cycle and Integration

• Test er integreret i udviklingsforløbet.

• Der er reelt samarbejde mellem testere og udviklere.

• Non-Functional Testing

• Der anvendes en standard for beskrivelse af egenskaber, fx ISO 9126.

• Den enkelte egenskabs relevans i testforløbet vurderes.

• Der bruges teknikker til test af hver egenskab.

• Egenskabernes endelige niveau måles og der afrapporteres på egenskabstestens resultater.

• Peer Reviews

• ...

11

TMMi 2009Eksempel: Level 3 oversat

• TMMi level 3 Defined (tidligere Integration)

• Test er ikke længere noget der blot ligger efter kodning; men er fuldt integreret ind i udviklingsdisciplinerne.

• Testplanlægning startes i de tidlige projektfaser i form af en 'master test plan’.

• Der foregår en løbende videreudvikling og kvalitetssikring af testmodel og –processer.

• Der findes en specifik Testorganisation og test-uddannelse(r).

• Test opfattes som en profession

• Testcases håndteres og forvaltes i et centralt værktøj.

• Der er værktøjer til at understøtte testaktiviterne.

• Formelle reviewprocesser er implementeret; men opfattes endnu ikke som en integreret del af

testprocessen.

• 'Test professionals' er med til at review'e kravspecifikationer.

• Fokus udvides fra rent funktionel test (level 2) til også at inkludere non-funktonel test (brugervenlighed

og/eller pålidelighed/robusthed).

• Udviklings- og testakviteter følger guidelines og procedurer nøje (i modsætning til level 2).

• Peer reviews ? (Spørgsmål om uddybelse sendt til TMMi-foundation og Softwaretest 10. marts 09)

12

TMMi 2009Eksempel: Level 4 formelt

• TMMi level 4 Management and Measurement

• Test Measurement

• Test er en gennem-defineret, grundlæggende og målbar proces.

• Organisation og projekter fastlægger kvantitative mål for kvalitet og proces-effektivitet og bruger disse

mål til at styre efter.

• Product Quality Evaluations

• Mål for produktkvalitet og proceseffektivitet findes i målbare termer.

• Der samles løbende op på disse mål og de indgår i organisationens ’fact based’ decision making.

• Advanced Peer Reviews

• Review og peer inspektion betragtes som et naturligt element i Testarbejdet og bruges til at måle

dokument-kvalitet.

• Reviews anvendes til i praksis at sikre bestemte forud definerede kvalitetsniveauer.

• Produkter/Software/Løsninger reviewes efter kvantificerbare kvalitets-kriterier, f.eks. stabilitet,

usability, vedligeholdelsedgrad.

• Test består af alle livscyklus-aktiviteter der drejer sig om at kontrollere/evaluere produkter og

tilhørende work products.

13

TMMi 2009Eksempel: Level 5 formelt

• TMMi level 5 Optimization

• Defect prevention

• Fra at Test var en metode til at finde fejl, er Test nu en metode til at undgå fejl.

• Test Process Optimization

• Statistiske målinger driver forbedringer af testmodellen (Test process). Der opsamles ’hårde data’ på

f.eks. konfidensniveauer, troværdighed, pålidelighed (confidense levels, trustworthiness, reliability).

• Værktøjer understøtter Test mest muligt: Testdesign og –planlægning, Testudførsel, Regressionstest,

Testcasemanagement, Defectshåndtering mv.

• Quality Control

• QC er en selvstændig del af Testmodellen og metodeapparatet og forfiner Level 4’s opsamling af

’hårde’ data fra projekterne og processen/modellen.

14

TMMi 2009TMMi 2009 – resultatet

V

V

V

V

X

V

V

V

X

V

X

X

X

X

X

X

15

TMMi 2009Hvad nu?

• Vi har udfordringer på følgende områder:

1. Projekterne oplever stadig problemer med Testmiljøerne

2. Vi har ikke tilstrækkeligt fokus på test af non-funktionelle krav

3. Hvor meget Modul/Unittests gennemføres og dokumenteres vides ikke i tilstrækkelig grad

• Hvad gør vi?

1. Udviklingsmiljøer og IT-infrastruktur har pr. januar 2009 overtaget det fulde ansvar for testmiljøerne inklusive

indhold (data), forvaltning, opsætning, forretningsgange og administration.

Der er allerede iværksat en række tiltag, og flere er planlagt.

2. TestKompetenceCentret er i færd med at opdatere metodeapparatet med de nødvendige beskrivelser af

processer, værktøjer og eksempler mht. test af non-funktionelle krav.

Herefter vil viden om test af non-funktionelle krav blive udbredt i ITU i løbet af 2009 og -10.

3. Modultest udføres allerede – det er opfølgning og styrbarhed, der skal forbedres.

Det er primært en holdningsændring der skal til, og TKC har påbegyndt dette arbejde maj -09 og forventer et

tilfredsstillende metodeapparat med tilhørende processer inkl. uddannelse og udbredelse i løbet af 2009-10.

4. Vi ønsker at forstærke arbejdet med udvalgte områder fra niveau 4/5 i TMMi-modellen.

I første omgang fokuserer vi på ’Peer review/Advanced peer review’

16

TMMi 2009…lidt af hvert

• En smule:

• Metodeapparat, generelt

• Metodeapparat, specifikt

• Advanced peer review – planer og tiltag

• Hvordan holder vi styr på projekterne og data?

• Hvilke data får vi ind?

• Hvordan ser resultaterne ud, og hvad er tendenserne?

• …og er vi så færdige?

TMMi 2009Eksempler - metodeapparat

18

TMMi 2009Eksempler - metodeapparat, test af non.funk. krav

SLUT

TMMi 2009 Eksempler: Kvalitetssikringskonceptet (adv. peer review)

Behandling af reviewresultatet

IA review:

- Formelle krav

overholdt

- ’De 10 bud’ /

IT-strategi /

Rammepapir /

Koncernovervejelser

- Plan og leverancer

- Services

Teststrategi

review

- Formelle krav

overholdt

- Testplan og

testindhold

PI-review

- Formelle krav

overholdt

- Services

- Arkitektur, løs-

ning og interface

Optionelle reviews (eks.):

- Begrebsmodel - Testcases - Usecases

- Arkitektur/infrastruktur - Kodereview

PU-review

- Formelle krav

overholdt

- Services

- Dokumentation

SA – screening:

- KUDV-involve-

ring/allokering

- Tidlig eskale-

ring

Kvalitetsplan

Projekt-specifikt-review

TMMi 2009 Eksempler: Opfølgning og indhentning af data

TMMi 2009 Eksempler: Kvalitet - Rå-data fra projekterne

TMMi 2009 Eksempler: Kvalitet – Resultater (og tendenser)

TMMi 2009

• Spørgsmål?

TMMi 2009

• Slut…