Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må...

40
1 DANMARKS EVALUERINGSINSTITUT Nøgler til forandring om skoleudvikling der integrerer evaluering -

Transcript of Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må...

Page 1: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

1

DANMARKSEVALUERINGSINSTITUT

Nøgler til forandring

om skoleudvikling der integrerer evaluering-

Metode 25.10.01 til tryk 21.11.01 16:41 Side 1

Page 2: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

2ISBN 87-7958-025-4

MetodeudgivelseNøgler til forandring

© 2001 Danmarks Evalueringsinstitut

TekstKaren Leth Nielsen

Camilla Laursen

LayoutKühnel Design AS

TrykDe Facto AS

Eftertryk med kildeangivelse er tilladt

Bestilles hosStatens Information

PublikationsafdelingenKigkurren 10

Postboks 13002300 København S

T 33 37 92 28F 33 37 92 80

E [email protected] www.si.dk

Kr. 30,- inkl. moms

ISBN 87-7958-025-4

Metode 25.10.01 til tryk 21.11.01 16:41 Side 2

Page 3: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

DANMARKSEVALUERINGSINSTITUT

Metodeudgivelse

2001

Metode 25.10.01 til tryk 21.11.01 16:42 Side 3

Page 4: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

4

Indhold

ForordSide 3

SelvevalueringSide 5

ElevcaféSide 21

SpørgeskemaerSide 29

Med andre øjneSide 35

Metode 25.10.01 til tryk 21.11.01 16:42 Side 4

Page 5: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Forord1

gængelige og brugbare for folkeskolens egneaktører og kvalitetsudviklere. Det er tanken atpublikationen kan fungere som idéoplæg tillærere, pædagoger, skoleledere eller andre derenten vil vide mere om evalueringsmetoder,eller som står over for at skulle igangsætte ud-viklingsprojekter i folkeskolen. Publikationenindeholder ikke færdige evalueringskoncepter.I de kommende år vil andre evalueringer pågrundskoleområdet give nye grundlag for ud-viklingen af metoder. Men EVA giver alleredenu et bud på hvordan man på skoler og i kom-muner kan begynde at arbejde med bådeintern og ekstern evaluering.

I denne publikation finder I metoder til selv-evaluering og forslag til arbejdet med café-modellen. Desuden kan I læse om de to spør-geskemaundersøgelser blandt forældre ogmedarbejdere og hente vejledning til hvordanen sådan undersøgelse gennemføres, og hvadden kan bruges til. Endelig videregiver EVAsine foreløbige erfaringer med ekstern evalue-ring og skitserer hvordan et eksternt element ievalueringen kan gøres frugtbart.

God arbejdslyst.

Christian ThuneDirektør

I sommeren 2001 offentliggjorde DanmarksEvalueringsinstitut, EVA, resultatet af piloteva-lueringen af skolevæsenerne i Middelfart ogHirtshals. Dermed tog EVA sine første skridt pågrundskoleområdet. Det har krævet nytænk-ning, og pilotevalueringen har derfor haft etdobbelt formål; dels skulle EVA bidrage til in-tern kvalitetsudvikling i de to skolevæsener, delsskulle evalueringen bruges til at udvikle ogafprøve metoder til brug for kommende evalu-eringer i folkeskolen. Samarbejdet med to fag-lige evalueringsgrupper og ikke mindst de toskolevæseners store hjælp og velvilje har bety-det at begge formål er blevet opfyldt.

EVA har nu begyndt sit arbejde med at udviklegode metoder til evaluering af grundskolen,men vi har allerede nu oplevet en meget storinteresse for de metoder der er blevet brugt ipilotevalueringen. Mange har været interesse-rede i hvilke overvejelser der ligger bag, og ikkemindst i hvordan eksempelvis disse evaluerings-metoder fremover kan indgå som redskaber ifolkeskolens værktøjskasse. Vi har derfor be-sluttet at bearbejde erfaringerne med piloteva-lueringens metoder og håber dermed at imøde-komme folkeskolens ønske om at få inspirationtil fortsat kvalitetsudvikling. Formålet med den-ne publikation er at gøre EVA’s første erfarin-ger med evalueringer på folkeskoleområdet til-

5

Metode 25.10.01 til tryk 21.11.01 16:42 Side 5

Page 6: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 6

Page 7: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

7

2 Selvevaluering

Modellen kanbelyse hvordan skolens praksis skabes gen-nem såvel “skrevne” som “uskrevne regler”legitimere at der sættes spørgsmålstegn vedaktuel praksis og fremme argumentation fornytænkningskabe rum for at man som medarbejder kanbeskrive sine ønsker for skolens fremtid sikre en åben dialog om de “uskrevne regler”så der kan arbejdes med deres betydningfremme fælles forståelse og fælles billederog skabe fundamentet for ny praksis.

Hvem har nøglenSelvevalueringen kan være den nøgle der åbnerfor nye forståelser og nye billeder af en ønsketfremtid. Men selvevaluering er ikke et mål i sigselv. Det centrale er de beslutninger og isærden praksis der iværksættes efter evalueringen.De medarbejdere og ledere der indgår i en selv-evalueringsproces, må sikre at dialog og åben-hed præger arbejdet. De spiller en vigtig rollei udviklingen af ny praksis.

Fra tanke til handling Når jeres skole står over for at skulle ændrepraksis på et område, kan selvevaluering bi-drage til at skabe kvalitet i forandringsarbejdet.Men netop fordi selvevalueringen kun er en delaf et sammenhængende forløb, er det vigtigtat hele forløbet – og baggrunden for det – erkendt af alle involverede.

Som en integreret del af pilotevalueringen harEVA givet sig i kast med at tænke og udvikleen ny måde at selvevaluere på i folkeskolen.Det er målet med selvevalueringen

at den skal tilvejebringe en grundig ogsystematisk viden om den skole eller dettema der evalueres

at den skal sætte en proces i gang der stimulerer selvrefleksion og skoleudvikling.

Model for selvevalueringDen model EVA præsenterer her, er blevet tilpå basis af et samarbejde med ca. 200 medar-bejdere og ledere i skolevæsenerne i Hirtshalsog Middelfart. De har arbejdet med en modeludformet af EVA og givet værdifuld respons tilrevision af modellen.

Modellen har to formål:

At sætte fokus på praksis og stimuleredialogen ved at spørge

“Hvorfor gør vi som vi gør?”

At skabe ny praksis ved at spørge

“Hvad kan vi ændre, hvad vil vi ændre og hvordan gør vi det så?”

Metode 25.10.01 til tryk 21.11.01 16:42 Side 7

Page 8: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

8

Forberedende fase

Selvevaluering

Opfølgning

Handlefase

Før I går i gang, skal I derfor have taget stilling til

spørgsmålene:

Hvem skal være med i de enkelte faser?

Hvorfor er det netop dem?

Hvem har hvilke opgaver i faserne?

Hvilke milepæle er der i processen?

Hvilke deadlines er der for den skriftlige afrapportering, og

hvem er målgruppen?

Hvornår går handlefasen i gang?

8

Metode 25.10.01 til tryk 21.11.01 16:42 Side 8

Page 9: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

9

Selvevaluering

Den forberedende fase

Der nedsættes en mindre gruppe – herefterkaldet styregruppe – som har ansvaret for forbe-redelse af og opfølgning på selvevalueringen.Gruppen sammensættes således at dens med-lemmer ser med forskellige briller på det om-råde der er genstand for forandringsarbejdet.

Fokus og nøglefaktorerDet er ikke muligt at rumme al skoleudviklingi én proces selv om tingene i praksis hængersammen og meget er vigtigt. Hvis selvevalue-ringen skal blive overkommelig og bidrage kon-struktivt, er det nødvendigt at have et fokus.Styregruppens primære opgave er derfor at væl-ge dette fokus og fastlægge hvilke nøglefak-torer der skal behandles i selvevalueringen. Etsådant fokus kunne være Samarbejdet mellemskole og SFO.

Nøglefaktorer valgt inden for dette fokus kunneda blive– formål med undervisningsarbejdet– formål med SFO-aktiviteterne– hvad indeholder børnenes hverdag, og

hvordan er den struktureret– hvad samarbejder lærerne og pædagogerne

om, og hvordan.

Mål og rammerStyregruppen skitserer også de overordnederammer i form af lovgrundlag, nationale og lo-

kale mål og rammer samt relevante pædago-giske eller faglige oplæg. Herigennem synliggø-res muligheder og begrænsninger. Det bliver påden måde synligt om I allerede har fyldt handle-rummet ud, eller om der faktisk er en række ud-viklingsmuligheder inden for de givne rammer.

Hvis temaet for selvevalueringen fx er team-samarbejde, vil den overordnede ramme væredefineret i § 5, 13.5 og 18 i Folkeskoleloven.Denne suppleres af F2000-programmets fokus-punkt 2 og “En skole på vej-bilaget”, kommu-nale mål og rammer samt skolebestyrelsensprincipper. En sådan afgrænsning kan hjælpeselvevalueringsgruppen til at blive på sporetog holde fast i hvad der er et must, og hvilkethandlerum der er.

Endelig er det vigtigt at kravene til form ogindhold i selvevalueringens skriftlige resultat,selvevalueringsrapporten, afklares og beskrivesaf styregruppen.

SelvevalueringsgrupperHerefter forholder styregruppen sig til sam-mensætningen af selvevalueringsgrupper. Skalgrupperne være homogene? Eller skal de sam-mensættes så forskellige kompetencer er repræ-senteret? Hvordan indgår ledelsesrepræsentan-ter? Læs mere herom under afsnittet EVA´serfaringer, side 18.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 9

Page 10: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

10

Hvis kolleger, andre faggrupper, forældre ellerbeslutningstagere skal kunne forstå og bakkeop om disse ændringer – uanset om det erkvantespring eller små skridt – må de haveindsigt i de tanker der har ført frem til det nye.Og det kan de netop få gennem selvevalue-ringsrapporten.

Et andet aspekt ved selvevalueringsrapportener at den giver forskellige grupper på skolenmulighed for at tegne deres billede af skolen – og på den måde kan den bidrage til at denenkelte ser skolen med andre briller og får enstørre forståelse for helheden.

Selvevalueringsrapporten giver desuden et sta-tusbillede af situationen på det evalueredeområde. Den udvikling der sættes i gang, ogde resultater der opnås, kan så senere holdesop mod dette billede netop fordi det er fast-holdt på skrift.

Selvevaluering

Den forberedende fase

Skriftlighed gør en forskelNår EVA evaluerer, fungerer selvevaluerings-rapporten som dokumentation. Den eksterneevalueringsgruppe formulerer sine anbefalin-ger til skolen om hvordan den skal kvalitets-udvikle, bl.a. på basis af det billede skolen selvtegner i disse rapporter.

Når I evaluerer uden ekstern bistand, er detvigtigt at I selv på basis af selvevalueringen nårfrem til en række “anbefalinger” som I skriverind i selvevalueringsrapporten, og som I gernevil være med til at gennemføre.

En selvevalueringsgruppe der har arbejdet medteamsamarbejde, kunne fx anbefale:

at skolen skaber sammenhæng mellem team-dannelsen og principper for fagfordelingat alle team kombinerer dialogen i teametmed skriftlighed at den skriftlige del af arbejdet også funge-rer som et redskab til at synliggøre teametsarbejde i forhold til elever, forældre og le-delse.

Nogle selvevalueringer afdækker en overras-kende praksis og hidtil ukendte vinkler og ideersom fører til ønske om at tage et kvantespring.Andre danner baggrund for at tage større ellermindre skridt i en allerede igangsat udvikling.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 10

Page 11: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Små skridt eller kvantespring?

Udviklingsprocesser i organisationer

– og dermed også skoler – kan have vidt

forskellig karakter afhængig af samspillet

med omverdenen og organisationens

egen kultur.

En organisation der har et kontinuerligt

samspil med sin omverden og definerer

kvalitet i samarbejde med sin omverden, vil

ofte være på forkant med de forventninger

omverdenen har, og løbende være inde i

en udvikling. En sådan organisation vil hele

tiden tage større eller mindre skridt. Kun

når omgivelserne ændrer sig dramatisk, er

der behov for at tage et kvantespring.

En organisation der lever sit eget indre liv

med fokus på kvalitet defineret som en

høj grad af professionalisme, og som har

et mindre dynamisk samspil med sin om-

verden, vil i perioder være nødt til at tage

et stort skridt for ikke at komme helt ud af

trit med omverdenen. Sådanne kvantespring

kan være meget ressourcekrævende og

konfliktfyldte, men hvis de lykkes, kan de

også give nyt liv til organisationen.

En manglende bevidsthed om sådanne

faktorer kan have stor betydning for hvor-

dan også skoler oplever forandringskrav.

11

Selvevaluering

Den forberedende fase

Metode 25.10.01 til tryk 21.11.01 16:42 Side 11

Page 12: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 12

Page 13: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

13

Fase AA1Her svarer I på spørgsmålet: Hvordan gør vilige nu?

Det fører frem til en beskrivelse af den praksisI har lige nu sådan som I oplever den. Det er vig-tigt at I forholder jer systematisk til de nøgle-faktorer som styregruppen har fastlagt forevalueringen, jf. Den forberedende fase.

A2Her svarer I på spørgsmålet: Hvad er der be-sluttet for temaet – på skolen og på andreniveauer?

Det indebærer at I beskriver hovedelementer-ne i de nedskrevne mål, rammer og regler derer besluttet for det tema I evaluerer. Hvis I haret formuleret og nedskrevet værdigrundlag forskolen, inddrages det også her.

A3Her svarer I på spørgsmålet: Hvilke uskrevneregler og holdninger påvirker praksis?

Det er den vanskeligste opgave fordi den ikkedrejer sig om facts, men om noget som erknyttet til et pædagogisk syn, en holdning tiljobbet, personlige værdier mv. Det tager oftelængere tid og kræver mere af jer, men det er

Metode 25.10.01 til tryk 21.11.01 16:42 Side 13

Page 14: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

14

Selvevaluering

Model for selvevaluering

en vigtig del af selvevalueringen. I skal foku-sere på rutiner og forestillinger om hvad der ervigtigt i skolen – og især de forestillinger ogrutiner I mener har indflydelse på den praksis Inetop har beskrevet. Det kan fx være argumen-ter der ofte bruges i de pædagogiske debatter,eller traditioner som ingen stiller spørgsmålved, men som I faktisk mener betyder nogetfor temaet. Endelig kan det være helt person-lige holdninger og forståelser af skolens opgavesom I mener spiller en rolle som fremmere ellerhæmmere når noget nyt skal udvikles – igenkun inden for det tema I er i gang med at eva-luere.

Før I går videre til fase B, er det vigtigt at I harskrevet de ting I har forholdt jer til under faseA ind i selvevalueringsrapporten, jf. afsnittetSkriftlighed gør en forskel.

Fase BB1Første del af analysen fokuserer på hvorforpraksis udvikler sig som den gør.

Dette afklarer I gennem arbejdet med følgen-de tre spørgsmål:

Hvilke dele af praksis afspejler det nedskrevne?

Hvilke dele af praksis afspejler det uskrevne?

Hvad har haft størst betydning for den be-skrevne praksis som helhed?

Anden del af analysen fokuserer på hvad I me-ner om den del af skolens praksis I har be-skrevet under A1. Her arbejder I dels med tohovedspørgsmål og dels med at begrunde jeressvar.

Hvilke styrker ser I i den beskrevne praksis?

Hvilke svagheder ser I i den beskrevne praksis?

Redegørelsen skal rumme både jeres svar påspørgsmålene og jeres begrundelser for at Ivurderer noget som styrker og noget andet somsvagheder.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 14

Page 15: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

15

Selvevaluering

Model for selvevaluering

Her slutter den beskrivende og analyserendedel af opgaven som primært har haft fokusrettet mod nuet og givet jer et fælles billede afhvor I er lige nu.

Opmærksomheden vendes nu mod fremtiden.

B2Her svarer I på spørgsmålet: Hvordan ser denfremtid ud som I gerne vil være med til atskabe – hvis alt var muligt?

Det indebærer at I beskriver visionen på en så-dan måde at læseren kan danne sig et billedeaf jeres forestillinger om en anden praksis. Be-skrivelsen skal som minimum rumme jeresforestillinger om hvordan de nøglefaktorer derindgår i beskrivelsen af “praksis lige nu” (A1),ser ud i visionen.

Når I er færdige med at beskrive jeres refleksio-ner og visioner i fase B, har I et analyseresultatog en vision på skrift. Disse danner grundlagfor en proces hvor I beslutter jer for hvilke kon-sekvenser I synes jeres selvevaluering bør få forskolens praksis.

Det er disse konsekvenser der skal være gen-stand for opmærksomheden i fase C.

Fase CC1Hvordan gør vi i en fremtidig praksis?, er detcentrale spørgsmål i fase C.

Det billede af en fremtidig praksis som tegnesher, kan rumme elementer både fra analysenaf gældende praksis og fra visionen.

Beskrivelsen bygger således på en række valgog vurderinger af hvad det er muligt at reali-sere inden for den periode der er til rådighedfor implementeringen.

I skal som minimum beskrive: hvordan I ser nøglefaktorerne realiseret iden nye praksis de tegn der skal kunne ses i den ændredepraksis for at I kan sige det er lykkedes.

Hvis denne beskrevne fremtidige praksis skalrealiseres, er det nødvendigt at gruppen somafslutning på sit skriftlige arbejde forholder sigtil C2 og C3.

C2Hvilke nedskrevne mål, rammer osv. skal revi-deres i forhold til den fremtidige praksis?

Her går I tilbage til A2 og ser på hvilke mål ogrammer der skal ændres for at disse kan un-

Metode 25.10.01 til tryk 21.11.01 16:42 Side 15

Page 16: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

16

derstøtte jeres nye praksis. I skal ikke nyformu-lere disse, blot pege på hvilke det drejer sig om.

C3Hvilke uskrevne regler og normer er det nød-vendigt at arbejde med for at realisere denfremtidige praksis?

Her går I tilbage til A3 og ser på hvilke “uskrev-ne regler” og normer I tillagde en betydningsom fremmere eller hæmmere. Her skriver I såhvilke af disse faktorer I mener hele skolen børfokusere på når I går i gang med at gennem-føre den ændrede praksis – enten fordi I trorde vil kunne hjælpe jer på vej, eller fordi I seren modkultur som kan hindre gennemførel-sen.

Og hvad nuDet skriftlige resultat af jeres selvevaluering ind-går nu i skolens samlede materiale der beståraf en række selvevalueringsrapporter som sty-regruppen må arbejde med i opfølgningsfasender er beskrevet i næste afsnit.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 16

Page 17: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

1717

Selvevaluering

Model for selvevaluering

Metode 25.10.01 til tryk 21.11.01 16:42 Side 17

Page 18: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

1818

Selvevaluering

Model for selvevaluering

OpfølgningsfasenDenne publikation beskæftiger sig ikke medhvordan den enkelte skole bør tackle den be-slutningsproces der skal sikre at selvevaluerin-gens resultat bliver omsat til en ønsket praksis.Men det er vigtigt at pege på at styregruppenhar nogle centrale opgaver i den opfølgnings-fase der skal koble selvevaluering og handling.

Styregruppen skal sikre:at målgruppen og alle involverede får detsamlede skriftlige resultat af evalueringen at der på basis af selvevalueringerne formu-leres et fælles billede af den ændrede prak-sis skolen nu arbejder på at implementere at ansvar, handlepligt og milepæle i hand-lefasen bliver aftalt og synlige for alle.

Styregruppen afslutter vigtigst af alt sitarbejde med – inden for de givne rammer– at fastlægge succeskriterier og tidspunktfor evalueringen af den nye praksis.

Skoleudvikling – en uendelig historieSkoleudvikling er både en bevidst og en ube-vidst proces der foregår hele tiden. Filosofienbag den beskrevne selvevaluering er at delta-gerne gennem dialogen og den fælles reflek-sion kan opnå større indsigt i egen og andrespraksis. Denne indsigt gør det muligt at se nyevinkler i den pædagogiske praksis og væremedskaber af fremtidig praksis.

Skoler befinder sig på forskellige stadier i deresudviklingsproces. Nogle har kun få erfaringermed at arbejde systematisk med skoleudviklingog fælles refleksion. Andre har års erfaring medat arbejde med mål, succeskriterier og evalue-ring på forskellig vis.

EVA’s selvevalueringsmodel har noget at bidragemed uanset hvilket erfaringsgrundlag skolenhar. Om jeres skole skal begynde ved spiralensbegyndelse, eller I har gået et stykke af vejen,må I selv afgøre. Er I på vej, kan det være en godidé at begynde ved 2. evaluering hvor “praksislige nu” spejles i det I faktisk havde besluttet Iville. Når selvevaluering er blevet integreret ijeres skoleudviklingsarbejde, vil det være sådanat den faktisk realiserede praksis spejles i eva-lueringens billede af “fremtidig praksis”. Derforer det vigtigt ved processens afslutning at havesvaret på spørgsmålet:

“Hvilke forhold i vores fremtidige praksis skal være realiseret for at vi har nået det viville?”

Har I – når I evaluerer det I har sat i gang – ikkenået det I ville, er det måske fordi kontekstener ændret, og I har været fleksible og tilpassetjer omverdenens forventninger .....men det kanogså være fordi I ikke reelt har arbejdet på atgøre det I besluttede I ville.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 18

Page 19: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

4. evalueringsforløb

Praksis som vi ser den nu

Analyse og vision

Praksis som vi vil udvikle

Den praksis vi ville udvikle

Den praksis vi ville udvikle

Praksis som den blev

1. evalueringsforløb

2. evalueringsforløb

3. evalueringsforløb

Praksis som vi vil udvikle

Praksis som vi vil udvikle

Analyse og vision

Analyse og vision

Praksis som den blev

19

Selvevaluering

Skoleudvikling – en uendelig historie

Metode 25.10.01 til tryk 21.11.01 16:42 Side 19

Page 20: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

2018

Den vejledning til og model for selvevalueringder blev anvendt i pilotprojekterne, havde somformål at få skolens medarbejdere og ledere tilat reflektere over samspillet mellem regel- ogværdigrundlag, kultur og praksis, at vurdereegen praksis og at skabe et fremtidigt hverdags-billede.

Respons fra deltagerneI en opfølgende dialog med deltagerne fik EVAen konstruktiv kritik på såvel vejledning sommodel. Det stod klart at modellens tankegangog idégrundlag havde ramt noget centralt iskolens kultur – gav skolen et positivt samtale-og refleksionsgrundlag. Men det stod lige såklart at såvel vejledning som model var så kom-pleks at den generelt var vanskelig at gå til.Samtidig har deltagerne dog formuleret sig po-sitivt om hvad modellen har givet dem.

De fremhæver:at den har medvirket til at strukturere møderneat den har bidraget til at skabe et fællessprog og et fælles billede af skolenat den har skabt rum for relevante pædagogiske diskussioner.

Sammensætning af grupperSelvevalueringen foregik i grupper der entenvar sammensat med udgangspunkt i professio-nerne eller på tværs af disse. Begge former har

deres styrke. Erfaringen er at de rene professi-onsgrupper har deres styrke i at de kommer idybden med at beskrive praksis fordi de opleverden rimeligt ens inden for gruppen. Til gengældkan fire grupper på en skole i deres selvevalue-ringsrapporter tegne fire forskellige billeder afdet samme. Det har vist sig at være en øjen-åbner og at provokere til en dialog som skolenikke kan lade ligge. De blandede grupper harhaft et mere problematiserende og diskuteren-de arbejde i selve gruppen, men de forskelligebilleder af skolen bliver ikke på samme mådetydelige for alle og således heller ikke på sam-me måde et afsæt for dannelsen af et fællesbillede af skolens virksomhed.

En intens procesSelvevalueringsgrupperne havde to måneder tilat forstå opgaven, gennemføre drøftelserneog skrive en selvevalueringsrapport. Det blevaf alle deltagere oplevet som en stressfaktor,men også vurderet som et positivt aspekt. Ne-top intensiteten i arbejdet var med til at skabedet fælles rum for pædagogiske diskussionersom er kommet til at stå som et værdsat resul-tat af selvevalueringen.

FokuseringPilotevalueringerne fik gennem en dialog medde to kommuner et meget vedkommende, menogså et meget bredt fokus. I opsamlingen påselvevalueringsprocessen blev det meget tyde-

Selvevaluering

EVA’s erfaringer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 20

Page 21: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Hvorfor fokus på

“uskrevne regler”?

Alle organisationer sætter mål,

skaber strukturer og foretager

planlægning af deres aktiviteter

for at nå målene – sådan som

skolen også gør det. Ofte ser

man imidlertid at det der reelt

finder sted, afviger fra vedtagne

mål og retningslinjer. For at

forstå dette må man interessere

sig for hvad der styrer menne-

skers handlinger – også når de

indgår i en organisation.

Kulturteori forklarer fæno-

menet med at menneskers

handlinger i vid udstrækning

er styret af normer, værdier,

vaner, identitet og følelser. Ud

fra et sådant perspektiv bliver

arbejdet med at skabe en fæl-

les forståelse, fælles billeder

og et fælles sprog vigtige

faktorer i en organisations

udvikling.

Problemet er ikke at normer

og værdier er uskrevne, men

at organisationer ikke anvender

denne viden om styring i sine

udviklingsprocesser i samme

grad som den anvender for-

melle regler og beslutninger.

21

ligt for alle involverede at afgrænsning er enafgørende faktor både når det gælder formålog indhold. En selvevaluering må have et fokusog nogle få centrale indholdspunkter – ellersstopper selvevalueringen ved analysefasen ogbliver ikke det afsæt for ændringer i praksis somer hensigten.

Vores indtryk af den betydning selvevaluerin-gen har haft, kan ikke udtrykkes bedre endTom Tiller1 gør det i anden sammenhæng: "Engrundig og profesjonelt utført selvvurderinggir oss makt gjennem at vi får ord på hendel-ser, virksomheder og situasjoner. Vi styrker detgode argument gjennom en bevisst, systema-tisk og langsigtig selvvurdering. Det gjør ostryggere og dristigere i diskusjoner med an-dre. Selvvurderingen øker vår professjonalitetog styrker vår selvfølelse".

Inspiration og værktøjerHar I fået lyst til at gå i gang med denne selv-evalueringsmodel som et led i skolens ud-viklingsarbejde, håber vi at have givet jer etbrugbart værktøj. Modellerne findes somplancher på www.eva.dk, suppleret med ska-beloner til selvevalueringsrapporter. Her liggerogså de modeller og vejledninger der blevanvendt i pilotevalueringerne.

Selvevaluering

EVA’s erfaringer

1Tom Tiller er professor ved universitetet i Tromsø.Citatet stammer fra et inspirationsmateriale der er udar-bejdet sammen med Skolverket i Sverige.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 21

Page 22: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 22

Page 23: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

23

Der var brug for at tænke nyt da EVA for før-ste gang skulle inddrage folkeskoleelever i enevaluering. Erfaringer fra studerende ved devideregående uddannelser skulle kobles medintentionen om at finde frem til en selvevalue-ringsmetode der tager højde for børn og ungesmåde at tænke og formulere sig på.

På samme tid var det målet at afprøve og ud-vikle en dialogform der i fremtiden kan anven-des i en evalueringspraksis i klassen, i elevrådeteller i lærernes arbejde med evaluering og kva-litetsudvikling.

Her præsenterer EVA en model der bygger påerfaringer fra gennemførelsen af to elevcaféer,kaldet Café EVA. Ideen er at give inspiration tilhvordan man på skoler og i kommuner kanbruge cafémetoden som redskab til kvalitets-sikring og -udvikling.

Hvad er en caféEn café er et sted:

hvor man kan præsentere og videreudvikleideerog hvor man sammen kan blive klogere på

spørgsmål der ikke har endegyldige svar somfx “hvad er en god skole?”, “hvordan kanundervisningen blive bedre?” og “hvordankan vi udvikle kammeratskabet?”

Cafémetoden appellerer til fantasien og krea-tiviteten og virker gensidigt inspirerende pådeltagerne. Dialogen er i centrum, og en af tan-kerne bag metoden er at muligheder og løs-ninger findes, defineres og accepteres i fælles-skab. Cafémetoden skaber ingen sandheder,men er et procesredskab der kan bruges til atstrukturere og sætte rammer for dialogen.

Drejebog og værtsrolleForud for cafeen udarbejder værten en dreje-bog. Den beskriver tidsplanen, hvordan cafeener bygget op, hvilke aktiviteter der vil være, oghvilke temaer der vil blive diskuteret. Værtensrolle er som procesvejleder at sætte dialogen igang, at give deltagerne en deadline for densnak de er i gang med, at stille supplerendespørgsmål – men aldrig at give svar. Desudener det værtens rolle at overholde drejebogensinstruktioner, men også at kunne afvige fradem hvis det skulle blive nødvendigt.

Elevcafé3

Metode 25.10.01 til tryk 21.11.01 16:42 Side 23

Page 24: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Eksempler på temaer1) Den bedste skoleoplevelse2) Forældre og skole3) Skolens ude- og indeforhold

Eksempler på temaer 4) Elevernes medbestemmelse5) Arbejdet i klassen6) Lærernes teamsamarbejde

Bord X Bord Y

PauseSkiftbord

12

3

4 5

6

24

StatusfasenSæt jer ved et bord hvor I ingen kender. Drøft tema1 i 15 min.StopDrøft tema 2 i 15 min. og skriv den/de vigtigste tingpå A5-kort – en ting på hvert.StopDrøft tema 3 i 20 min. og skriv igen den/de vigtigsteting på A5-kort – en ting på hvert.

24

Status

Aflever alle gruppens kort til caféværten, og find etnyt bord hvor der ikke er nogen fra dit gamle bord.Processen gentages ved det nye bord, blot med nyetemaer – og kan gentages endnu engang.

Temaerne kan være understøttet af spørgsmål hvisdet er nødvendigt, men de må for at tilgodesecaféens grundidé være åbne.

Undervejs i arbejdet kan deltagerne forsyne sigmed mad og drikke som de henter i caféens disk.Efter 2-3 timer er statusarbejdet færdigt.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 24

Page 25: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Vision for et fokusområdei billede, ord og fortælling

Visionen for“Den gode skole”

Eksempler på fokusområdera) Hvem bestemmer i den gode skole?b) Hvordan arbejder børnene og de

voksne i den gode skole?c) Hvordan er den gode skole indrettet?

Fremlægvisionen

ab

c

aVælgfokus

Elevcafé

Model for elevcafé

VisionsfasenCaféværten fordeler kortene i fokusområder dergår på tværs af temaerne. Det kan fx være a)"hvembestemmer i den gode skole?”, b) "hvordan arbej-der børnene og de voksne i den gode skole?" ogc)"hvordan er den gode skole indrettet?" Der vil oftevære flere fokusområder.

Kortene fordeles i stjernen der er tegnet eller tapetpå gulvet. Cafédeltagerne går rundt om stjernen, serpå kortene i de forskellige rum og vælger et fokus-område.

25

Vision

De nye grupper tager kortene fra stjernen og arbej-der ca. 1 time med at skabe den gode skole indenfor deres fokusområde. De kan arbejde med bille-der, ord og fortælling.

Hver visionsgruppe har to minutter til at fremlæggederes vision i plenum.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 25

Page 26: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

26

Elevcafé

Andre måderI den beskrevne café splittes temaet den godeskole op i en række undertemaer, og alle skiftergruppe flere gange. På den måde kommer man-ge ideer og udsagn på bordet, og caféværtensikrer sammenhængen og visionen gennem sinstjerne og opstilling af fokusområder.

I andre cafémodeller arbejder man med ét gen-nemgående tema og et stambord med egenvært. Herfra går cafédeltagerne på besøg iandre caféer, henter inspiration og vender til-bage til stamcaféen med nye ideer. I den formsamles mange ideer ved stambordet, og stam-bordsværten er garant for opsamling og per-spektivering.

Begge metoder tilgodeser cafémodellens grund-idé om at få manges viden og udsagn kombi-neret gennem dialog – som basis for at skabeny indsigt.

Pilotprojektets Café EVACafé EVA blev gennemført i samarbejde medskoleleder Keld Rask der har erfaring i at af-holde “cafeer” for skoleelever. Sammen medto lærere stod han for arrangementet med prak-tisk støtte fra konsulenter fra EVA.

For at undgå for stor aldersspredning deltog toelever pr. årgang i 5.- 8. klasse – i alt omkring

50 elever. I de fire timer cafeen varede, skulle desammen dele deres oplevelser og billeder afskolehverdagen og give deres bud på hvordanskolerne kan blive endnu bedre.

Allerede i invitationen til cafeen blev eleverneopfordret til i stikord at komme med forslag tilhvad der kunne forbedre skoledagen. Elever-nes stikord blev sendt til caféværterne. På dagenkunne eleverne genfinde sig selv og deres ideerder var ophængt på opslagstavler i cafeen.

To lys på et bordRummet har stor betydning for at cafeen bliveren succes. Det er vigtigt at deltagerne føler sigbåde velkomne og værdsatte. Cafeen var ind-rettet i et rart lokale hvor deltagerne kunne slap-pe af og føle sig godt tilpas. Lokalets størrelsevar tilpasset antallet af deltagere så der var enhyggelig og god stemning.

Der sad fire-fem elever ved hvert bord, og dervar én stol til hver – hverken mere eller min-dre. På de runde caféborde var der papirdugesom eleverne kunne tegne eller notere deresiagttagelser på, skriveredskaber, levende lys ogen enkelt blomst, og i baggrunden blev derspillet dæmpet musik. Desuden var der et ma-terialebord med karton, sakse, lim, farver etc.og et bord hvor der blev serveret sodavand,frugt, chips og slik.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 26

Page 27: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

27

Elevcafé

ter, lyttede til andres ideer og fik udveksletsynspunkter med flere af de andre elever, ogdermed blev cafeens mange forskellige dialo-ger flettet sammen. Undervejs gav caféværtengrupperne nye emner og spørgsmål at diskute-re. I visionsfasen blev eleverne bedt om at givederes bud på hvordan deres drømmeskole serud, og at skrive de fem vigtigste ting ned.

DokumentationLigesom eleverne undervejs noterede hvad deblev enige om, og hvad de var uenige om, vardet også caféværternes rolle at gå rundt mel-lem bordene, lytte, suge til sig og skrive nedhvad der foregik i de mange grupper. Elever-nes diskussioner, tanker og ideer blev gennemdialogen undervejs præsenteret for kammera-terne, tegnet på dugene og skrevet på kortsom blev indsamlet af caféværterne. Disse kortdannede udgangspunkt for visionsfasen hvorden gode skole blev skabt i ord og billeder. Tilslut formidlede de enkelte grupper ved hjælpaf plancher og fortælling deres visioner omden gode skole til alle cafédeltagerne. Café-værterne stod for at samle dagens dokumen-tationsmateriale. Det blev udgivet i en caféavisder rummede tekster, forslag og billeder fradagen. Deltagerne fik hver især udleveret encaféavis som de kunne tage med hjem efter enhelt anderledes skoledag.

Dialogens udgangspunktI samarbejde med Keld Rask havde konsulen-terne udvalgt emner som de mente eleverneville have mulighed for at forholde sig kon-struktivt til, og som havde så tætte relationertil evalueringernes fokus som muligt.

Følgende seks temaer var afsæt for elevernesdialog:– Arbejdet i klassen– Teamsamarbejde– Elevråd – medbestemmelse– Skole/hjemsamarbejde– Skolens fysiske rammer– Skoleledelse.

Som ledetråd for diskussionerne var hvert temaforsynet med underspørgsmål som fx “hvadsamarbejder jeres lærere om?”, “hvad laver enskoleleder på en helt almindelig dag?” og “hvadskal der til hvis undervisningen skal blive end-nu bedre?”

Fra hverdag til visionFørste del af dagen brugte eleverne til i smågrupper på fire-fem personer at debattere ogskabe et statusbillede af deres hverdag, mensden sidste del af dagen handlede om at tænkestort og sætte ord på visioner for skolen. Medplanlagte mellemrum blev eleverne bedt om atskifte bord. På den måde mødte de nye ansig-

Metode 25.10.01 til tryk 21.11.01 16:42 Side 27

Page 28: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

28

Cafémodellen er for første gang blevet anvendtsom metode til selvevaluering – og overvejen-de med et positivt resultat. EVA fik to væsent-lige metodiske erfaringer i forbindelse med elev-caféerne. Vi fik afprøvet

en selvevalueringsmetode til elever i folke-skolen

en dialogform som kan bruges i folkeskolensinterne evalueringspraksis.

Når elever selvevaluererTemaerne for de to pilotevalueringer i Hirtshalsog Middelfart skolevæsener var generelt for ab-strakte for elever i 10-15 års alderen. Det be-tød at dokumentationen fra elevcafeen ikke iforventet omfang kunne bruges i EVA’s evalue-ring af skolevæsenerne. Men den overordnedekonklusion var også at det var et gab mellemevalueringens kompleksitet og elevernes ver-densbillede der begrænsede succesen – ikkeform eller metode. Det er derfor også voresvurdering at elevers bidrag kan bruges kon-struktivt i både intern og ekstern evaluerings-praksis hvis de stilles overfor en opgave somrelaterer til den faglige og sociale verden debevæger sig i.

DialogSom dialogform fungerede metoden rigtig godt

i forhold til at få eleverne til at formulere sigom deres skolegang. De var gode til sammenat reflektere over deres hverdag, og de var godetil at formulere ønsker, være kreative og udpegeproblemfelter. Eleverne formåede med andreord at blive klogere og udvikle sig i fællesskab.

Både for børn og voksneMetoden kan helt eller delvist benyttes i mangeforskellige sammenhænge. Man kunne fx brugecafémodellen på en visionsdag for skolens elev-råd, til at lade klassen diskutere både fagligeog sociale aspekter af skoledagen ligesom mankunne benytte dialogformen på tværs af sko-lens klasser. Men cafémodellen kan også bru-ges til at organisere medarbejderes eller foræl-dres debatter om bl.a. pædagogik, samarbejdeog organisation.

Model og drejebog kan justeres efter formåletligesom caféværten kan være intern eller eks-tern efter ønske og behov.

Fra vision til praksis Cafémetodens force er dens klare fokus på denåbne, kreative og udviklende samtale. Men me-toden kan også bruges som element i forløbeller udviklingsprojekter der skal resultere i kon-krete handlingsplaner. Det kræver dog at ca-feens dialog- og idéfaser suppleres med enopfølgningsfase der fokuserer på hvordan

Elevcafé

EVA's erfaringer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 28

Page 29: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Filosofien bag

Cafémetoden bygger på seks

grundantagelser som alle del-

tagere indledningsvist bliver

fortalt om.

De lyder:

– Dialog forandrer

– Mennesker kan tale sammen

– Helheden er præsenteret i

delene

– Gode løsninger er gode nok

– Mennesker har evner for

selvorganisering

– Klogskaben finder vi i fælles-

skab.

I udgangspunktet fokuseres

der på refleksion – og ikke på

handling.

Metoden bygger på at delta-

gerne gennem dialog og sam-

tale kan opnå ny erkendelse og

på den baggrund skabe foran-

dring og udvikling. Dens primære

styrke er at den kan skabe forud-

sætninger for konstruktiv sam-

tale. At deltage i et forløb hvor

facit ikke er givet og sandheden

ikke findes, kan bidrage til at

udvide deltagernes verdensbillede

– at åbne nye døre.

man kan omsætte caféens tanker til praksis iskolens hverdag. Det betyder at deltagerneskal indgå aftaler om hvilke konkrete initiativercafeen skal afføde, og hvilke opgaver de invol-verede får i den forbindelse. For at fastholdebåde intentionen om forandring og fokus påhvem der har handlepligten, anbefaler EVA ataftalerne skrives ned. Derved bliver det også let-tere at orientere eller inddrage andre og atspejle den nye praksis i det aftalte.

Kilde til inspiration Hvad enten cafémetoden bruges alene ellersom delelement i større projekter, håber EVAhermed at have givet lyst og inspiration tilfremtidige cafeer i folkeskolen. I finder invitatio-ner, elevaviser og afrapporteringer fra cafeer-ne på EVA’s hjemmeside www.eva.dk. Og iartiklen “Dialog gør os klogere”, EVAluering,juni 2001 fortæller Keld Rask selv om sine er-faringer med at arbejde med cafémetoden.

29

Elevcafé

EVA's erfaringer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 29

Page 30: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 30

Page 31: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

31

Spørgeskemaer4

Skoler og kommuner får nu mulighed for atbruge EVA's designede og testede brugerun-dersøgelser i deres egen kvalitetssikring og -udvikling. EVA har nemlig i forbindelse meddenne publikation valgt at revidere og offent-liggøre de spørgeskemaer der blev brugt tilpilotevalueringen af folkeskolerne i Hirtshalsog Middelfart. Til rådighed er således spørgeske-maer til en undersøgelse blandt forældre og tilen undersøgelse blandt medarbejdere.

MedarbejderundersøgelsenFormålet med medarbejderundersøgelsen erat tegne et billede af skolens virksomhed somden ser ud med såvel medarbejderes som lede-res øjne. Undersøgelsen fokuserer på:

kommunikation samarbejdeskoleudvikling.

Spørgsmålene sætter bl.a. spot på hvordanskolens mange kommunikationskanaler bruges,og hvordan medarbejdere og ledere vurdererforskellige samarbejdsrelationer. Derudover kanundersøgelsen bidrage til at afdække hvordandet lokale og kommunale arbejde med skoleud-vikling opleves, og hvilke ideer og holdningerder præger dette arbejde.

Hvad kan jeres skole bruge den tilMedarbejderundersøgelsen beskæftiger sig pri-

mært med de strukturer der er med til at tegneskolen. Konkret kan I bruge undersøgelsen tilat identificere stærke og svage sider ved bl.a.jeres teamarbejde, jeres arbejde med mål ogværdier, jeres praksis i forhold til evaluering,hvordan I deler viden, og hvordan relationernemellem ledere og medarbejdere er.

ForældreundersøgelsenFormålet med undersøgelsen er at få elevernesforældre til at svare på to hovedspørgsmål:

Er skole/hjemsamarbejde en informations-eller en samarbejdsopgave? Er der overensstemmelse mellem forældre-nes oplevelser, forventninger og ønske omat bidrage?

Hvad kan jeres skole bruge den tilUndersøgelsen kan bruges til at blive klogerepå hvordan elevernes forældre oplever samar-bejdet mellem skolen og hjemmet, og hvilkeønsker og krav de har til skolen.

Der bliver spurgt ind til skole/hjemsamarbejdetpå tre niveauer. Ved at bruge undersøgelsenvil I få noget at vide om skole/hjemsamarbejdeti forhold til:– den enkelte elev– klassen– skolen.

–––

Metode 25.10.01 til tryk 21.11.01 16:42 Side 31

Page 32: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

32

Et udsnit af virkelighedenKvantitative undersøgelser er hverken værreeller bedre til at beskrive virkeligheden end kva-litative. Men kvantitative og kvalitative meto-der har hver deres forcer og kan bruges tilnoget forskelligt. De kvantitative metoder kantælle og systematisere manges holdninger, til-fredshed og ønsker. Spørgeskemaundersøgelserer derfor gode til at beskrive et udsnit af virke-ligheden.

Signaler til eftertankeNår EVA evaluerer, står resultaterne af spørge-skemaundersøgelser aldrig alene, men indgårpå lige fod med selvevalueringer og interviewi det samlede dokumentationsmateriale. Under-søgelserne supplerer analysen med en kvanti-tativ vinkel. Jeres evalueringer af skolens akti-viteter vil sjældent have samme omfang. Der-for vil en spørgeskemaundersøgelse heller ikkealtid indgå i evalueringen. Men det er vigtigt atoverveje muligheden for at undersøge en akti-vitet via en spørgeskemaundersøgelse – og af-gørende at resultaterne placeres i en sammen-hæng. Tal og procenter er ikke sandhedsvidner,men signaler til eftertanke.

Redskab til indsigtAt gennemføre brugerundersøgelser er ikke et

mål i sig selv. De kvantitative metoder kan nem-lig ikke forklare hvorfor virkeligheden ser ud somden gør. For at analysere os frem til årsager ogforklaringer har vi brug for kvalitative meto-der. Resultaterne af kvantitative undersøgelserskal derfor betragtes som et redskab til at op-nå indsigt.

På rette sporOfte har vi på forhånd en række formodningerom hvordan de adspurgte vil svare. Og ofte vilresultaterne af spørgeskemaundersøgelsernebekræfte nogle af disse formodninger. Menmindst lige så interessant er det at finde desteder hvor svarene afviger fra det vi troede.Spørgeskemaundersøgelsen kan altså kaste lysover forhold vi ikke kender, og holdninger viikke er opmærksomme på. Og de kan vække osaf formodningsdøsen.

Et afsæt for skoleudviklingBåde ved at be- og afkræfte det vi tror, erspørgeskemaundersøgelsen med til at pege påtemaets interessante problemfelter. Spørgeske-maundersøgelserne er ikke leveringsdygtige iløsninger. Deres primære force er at de tegnerbilleder af hverdagen i folkeskolen der kan fun-gere som pejlemærker for hvad der skal arbej-des videre med i skoleudviklingen.

Spørgeskemaer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 32

Page 33: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Bør udvikles

Lille Nogen Stor

Kan afvikles

Betydning for skolen

Praksis

Fungerer ikke godt

Fungerer meget godt

Fungerer godt

33

Udvikling og afviklingDet kan være en vigtig øvel-se at sammenholde med-arbejderes og forældres vur-deringer af praksis medhvad de synes er vigtigt. Påden måde kan man fx bliveopmærksom på arbejds-gange og aktiviteter i sko-lehverdagen som ikke fun-gerer i praksis, men somalle involverede eller blotén part vurderer har storbetydning for skolen. Såhar I et eksempel på et om-råde hvor praksis i frem-tiden bør udvikles så denmatcher forventningerne.På samme måde giver øvelsen mulighed for at lo-kalisere områder der i prak-sis prioriteres højt, og sommåske fungerer udmærket.Men hvis netop disse vur-deres at være mindre vigti-ge, vil der være et oplagtgrundlag for at afvikle ele-menter som med tiden harmistet deres værdi.

Spørgeskemaer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 33

Page 34: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

34

Kan der være kvalitet i kvantitetMed udgangspunkt i spørgeskemaundersøgel-sen bliver det muligt at identificere både ud-viklings- og afviklingsområder. I det perspektivkan den kvantitative metode bidrage til at kva-lificere og begrunde skoleudvikling ligesom derer banet vej for at realisere ideen om at udvik-ling kræver afvikling.

VærktøjetDe reviderede udgaver af spørgeskemaernefindes på EVA’s hjemmeside. Herfra kan I fritprinte skemaerne med skolens egne data.

For at gøre det realistisk for skoler og kommu-ner at gennemføre undersøgelserne arbejderEVA på en elektronisk løsning hvor samtligesvar kan indtastes. Programmet vil få en ind-bygget printerfunktion der giver jer svarene itabelformat. Denne løsning forventes at væreklar til brug pr. 1. januar 2002.

Disse værktøjer finder I på www.eva.dk hvorI også finder figuren som planche med tilhø-rende prioriteringsskemaer.

Spørgeskemaer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 34

Page 35: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

35

Om tolkning af data

At læse og analysere talmateriale er en svær disciplin. Derfor

følger her nogle råd om hvad man skal være opmærksom på

når resultaterne af en spørgeskemaundersøgelse tolkes og

præsenteres for omverdenen.

Hvis man vælger at gennemføre en stikprøveundersøgelse

fx blandt forældrene, skal man sikre sig at undersøgelses-

resultaterne ikke bygger på tilfældigheder. Det sker gennem

udregning af signifikans. Gennemføres derimod en total-

undersøgelse, fx blandt alle medarbejdere, kan man se bort

fra statistisk usikkerhed.

Når data foreligger, vil man ofte fokusere på svarprocenten.

Der findes dog ingen faste kriterier for hvor høj svarprocen-

ten skal være for at undersøgelsen giver et dækkende billede.

Derimod er det vigtigt at se på hvem der har svaret. Hvis fx

køn, alder og uddannelse i blandt dem der har afgivet svar,

ikke modsvarer gruppen af adspurgte, må man være op-

mærksom på at svarene ikke nødvendigvis er dækkende. Et

andet usikkerhedsmoment kommer ind hvis hele grupper

af adspurgte fx af principielle eller andre grunde har undladt

at svare.

En anden kilde til fejltolkning kan ligge i udregning af gen-

nemsnit. Når fx tallene 1 til 5 som svarmuligheder er udtryk

for forskellige værdier, vil det være statistisk ukorrekt at

udregne gennemsnit. I stedet kan man enten se på vægten

af positive og negative svar, se på procenterne for hver svar-

kategori, angive de absolutte tal eller udregne medianen.

Spørgeskemaer

Metode 25.10.01 til tryk 21.11.01 16:42 Side 35

Page 36: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 36

Page 37: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

37

Med andre øjne5

At få andre øjne til at se på det man arbejdermed, kan være værdifuldt. Mange har prøvetat komme til en anden skole og undre sig overhvor forskelligt praksis udfolder sig. Den ople-velse kan i nogen grad relateres til værdien idet eksterne element i en evaluering. Når EVAevaluerer, er der altid tale om en ekstern eva-luering, men med metoder der tilgodeser detinterne element. Når en skole beslutter sig forat selvevaluere, har evalueringen automatiskintern karakter. Hvis I ser en værdi i at andrebidrager til udviklingen af jeres praksis, kan Ipå forskellig vis inddrage det eksterne elementi jeres evalueringsproces.

Erfaringer og ideerI EVA´s pilotevalueringer har evalueringsgrup-pen2 været det eksterne element. Samspilletmellem de evaluerede og denne gruppe harkastet nyt lys over en velkendt verden – forbegge parter. Dermed har det eksterne ele-ment bidraget til at andre facetter end demder lå lige for, blev taget op. I den dialog vi harhaft med skolefolk på møder og konferencerlandet over, er der opstået en række ideer tilfremme af det eksterne element som EVA harvalgt at præsentere her.

Eksterne bidrag Udenforstående kan give deres bidrag til re-fleksion og udvikling ved at undre sig, stille

spørgsmål til og kommentere det arbejde derforegår i en selvevalueringsgruppe. Det kanske som en dialog undervejs i forløbet ellerved møder hvor selvevalueringsrapportengøres til genstand for dialog. Ideen er at“andre øjne” kan være med til at få flere vink-ler frem og gennem dialog og fælles refleksionåbne for nye muligheder. Både grupper og en-keltpersoner kan give deres bidrag på denmåde. En væsentlig forudsætning for at indgåsom ekstern part er at man ikke giver råd,men netop gennem at stille spørgsmål frem-mer den evalueredes egen refleksion. Derud-over kræver det også at man har interesse ogindsigt i det evaluerede område.

Grupper kan fx bestå af: – kolleger fra samme skole– kolleger fra andre skoler i eller uden for

kommunen– andre faggrupper– forældre.

I Middelfartevalueringen har EVA afprøvet enmodel med sparringsgrupper sammensat påtværs af faggrupper og med forældredeltagel-se. En anden mulighed ville være at inddrage

2 En evalueringsgruppe består af personer med indsigti og erfaring på det evaluerede område, fx lærere ogledere fra folkeskolen og undervisere fra det pæda-gogiske felt.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 37

Page 38: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

38

konsulenter eller forskere med særlig indsigt idet evaluerede område eller særlig erfaring iden professionelle dialog. I kunne også over-veje at udvikle en model ud fra jeres censor-samarbejde.

Der sker noget ...Når andre undres over ens praksis, og manskal begrunde sine valg, sker der noget. Nårman over for udenforstående skal forklare detman betragter som en selvfølge, sker der ogsånoget. I første omgang bliver man måske pro-vokeret og griber til forsvar. Hvis man lytter tilde andres undren, kan det ske at man får skub-bet til sine forestillinger om hvad der er muligt.

Mødet mellem de eksterne og de interne ervigtigt og kan være vanskeligt. Derfor må detvære veltilrettelagt og præget af gensidig re-spekt og en forståelse for at ingen af parternesidder med det endegyldige facit, men beggeparter sidder med nøglen til forandring.

Kilde til inspiration Med den megen fokus der er på omverdenensønske om at kigge ind af skolens vinduer, erder et behov for at udvikle metoder der med-tænker det eksterne element i en model somden enkelte skole kan bruge. Hvis I som afsætfor en sådan udvikling har lyst til at læse mere

Med andre øjne

om evalueringsgrupper og sparringsgrupper,finder I materialer på www.eva.dk i EVA’s lov-grundlag, selvevalueringsvejledningen for Mid-delfart og de to rapporter om pilotevalueringen.

Metode 25.10.01 til tryk 21.11.01 16:42 Side 38

Page 39: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

Metode 25.10.01 til tryk 21.11.01 16:42 Side 39

Page 40: Nøgler til forandring - Danmarks Evalueringsinstitut til...kvantespring eller små skridt – må de have indsigt i de tanker der har ført frem til det nye. Og det kan de netop få

40

DANMARKSEVALUERINGSINSTITUT

Østbanegade 55.3DK 2100 København Ø

T 35 55 01 01F 35 55 10 11E [email protected]

www.eva.dk

Metode 25.10.01 til tryk 21.11.01 16:42 Side 40