Så svarar du på frågan: Och vad ledde detta till då?!
description
Transcript of Så svarar du på frågan: Och vad ledde detta till då?!
Så svarar du på frågan: Och vad ledde detta till då?!
Om att mäta resultaten av jämställdhetsarbetet
ESF Jämts avslutningskonferens, Örebro 24 april 2013Göran Hallin
Inledning
• Göran har 20 års erfarenhet som forskare, chef i analysmyndigheter och konsult
• Lång erfarenhet av utvärdering av komplexa program och processer – har bl.a. följt EU:s strukturfonder sen 1995
• Kontigo arbetar med analyser, utvärderingar och strategiskt processtöd inom bla regional utveckling, tillväxt, kompetensförsörjning och social hållbarhet.
• Vi har lång erfarenhet av att arbeta med insatser kring socialt utanförskap, likabehandling och jämställdhet
• Den här presentationen grundar sig på olika underlag, bl.a:• Utvärderingar av Social och regionalfonden
på programnivån• Utvärdering av jämställdhet och
tillgänglighet i Socialfonden• En analys av sambanden mellan
jämställdhet och tillväxt• En studie av hur man kan mäta effekter av
likabehandling i projekt• Ett flertal lärande utvärderingar för projekt
finansierade genom Socialfonden
Göran & Kontigo
Vi delar våra kunders engagemang för samhällsutveckling
• En relativt omfattande verksamhet• Sverige tilldelades cirka 6,2 mdr från EU via Socialfonden• Till detta kommer ungefär lika mycket i nationell medfinansiering• Sammanlagt investerar vi ca 1, 75 mdr/år. • Det motsvarar all kommunal verksamhet i en medelstor svensk
kommun som t.ex. Katrineholm (ca 32 000 inv).• Socialfonden ”främjar kompetensutveckling och motverkar
utanförskap”.• Målen är inte helt enkla att uttyda, men handlar om att:
• Deltagande individer har fått eller kan ta sig an nya arbetsuppgifter• Deltagande arbetsplatser har fått kunnigare arbetskraft, bredare
verksamhet, ökad kunskap om hur man kan motverka diskrivminering och främja likabehandling eller står bättre rustade för att möta långtidssjukskrivningar
• Deltagande individer skall i högre grad än i ordinarie åtgärder få jobb. • Deltagarna skall uppleva att deras möjlighet att få arbete har ökat
• Socialfonden skall också vara en ”experimentverkstad” genom insatser för ”innovativ verksamhet, lärande miljöer, strategisk påverkan och samverkan”.
• Slutligen skall Socialfonden bidra till ökad tillgänglighet och jämställdhet genom att alla projekt skall verka för detta – det finns dock inga särskilda mål för vad detta skall leda till
Socialfonden i Sverige – Som Katrineholms kommun
1. Syftar till1. Lyfta fram betydelsen av att kunna
visa på resultaten av vårt arbete – särskilt med fokus på jämställdhetsarbetet inom Socialfonden
2. Visa hur man skapar förutsättningar för att kunna svara på frågan: Och vad ledde detta till då?!
2. Presentationen är indelad i1. Varför så viktigt? 2. Resultat, måluppfyllelse, effekt,
nytta – vad betyder begreppen och är det viktigt?
3. Att mäta måluppfyllelse, resultat, effekter och nytta av jämställdhetsprojekt
Denna presentation
Därför är det viktigt att kunna svara på frågan – Och vad ledde detta till då?!
• Politik är att välja – att prioritera• Prioriteringar handlar om att väga insatser mot andra
insatser, att genomföra insatser eller inte genomföra insatser
• Prioriteringar handlar om att värdera sådant som går att mäta och sådant som inte går att mäta
• Prioriteringar handlar om att värdera sådant som kan räknas i kronor och sådant som inte kan räknas i kronor
• Demokratin vilar på en legitimitet som bottnar i att vi kan redogöra för våra prioriteringar
• Det vi gör inom Socialfonden hade vi kunnat använda till ”ännu ett Katrineholm”.
• Insatserna för jämställdhet hade kunnat användas för kanske ett Sorsele
• Därför är det viktigt att vi talar om vad de lett till – vi bör glädja oss åt frågan!
Därför bör vi kunna svara på frågan: Och vad ledde detta till då?!
Resultat, måluppfyllelse, effekt och nytta – några begrepp
• Mål: Något som man vill påverka (ändra/bevara). Skälet till insatsen• Resultat: Det omedelbara resultatet av den insats man genomför.• Aktiviteter: Det man konkret gör• Resurser: Det som krävs för att genomföra aktiviteterna
En insatslogik beskriver vad man vill uppnå och hur man vill göra det
Måluppfyllelse, effekt och nyttaMåluppfyllelse – Har man nått den påverkan på målet som man önskade?
Effekt – Hur stor del av måluppfyllelsen beror på insatsen?
Nytta – Värdet av effekten
Vikten av att sätta olika typer av mål
Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteterResultat – Omedelbart utfall av aktivitetMål – Mål för förändring/bevarande av det förhållande som motiverar insatsen. Effekt – Mål för vilken förändring som själva insatsen skall åstadkomma – jämställdheten i organisationen skall öka med x som en följd av insatsenNytta – Mål för värdet av insatsens effekt – värdet av den ökade jämställdheten
Resurser
•2 mkr i budget
Aktivitet
• Alla chefer skall genomgå jämställdhetsutbildning
Resultat
•Cheferna skall ha ökat sin kunskap om strategier för ökad jämställdhet
Målpåverkan
• Mer jämställd organisation
Behöver preciseras:
t.ex. vad ökat, hur mycket,
vad strategier. :
Hur mäta: upplevd
jämställdhet (index)?
Faktiska mått: löneskillnader,
skillnad i rekrytering,
etc.:
Att mäta resultat, måluppfyllelse, effekt och nytta
PortföljutvärderingSkall svara på frågorna:
• Har avsatta resurser använts?• Har resurserna använts till de aktiviteter som de var avsedda
för?
ProcessutvärderingSkall svara på frågorna:
• Har aktiviteterna genomförts enligt plan?• Har målen för aktiviteterna nåtts? (Har alla chefer verkligen
genomgått jämställdhetsutbildningen)
ResultatutvärderingSkall svara på frågorna:• Har målen för vad aktivisterna skall leda till uppnåtts?• Har chefernas kunskap ökat?
Måluppfyllelse, effekt och nyttaMåluppfyllelse – Har man nått den påverkan på målet som man önskade?• Har organisationen blivit mer jämställd?Effekt – Hur stor del av måluppfyllelsen beror på insatsen?• Har organisationen blivit mer jämställd än det skulle ha blivit
utan insatsen?Nytta – Värdet av effekten
• I de flesta projekt påverkas målet (det man vill åtgärda) av många andra saker förutom insatsen
• Effekten: Den skillnad som insatsen gjort när det gäller påverkan på det övergripande målet
• Jämföra mellan faktiskt läge och ett ”teoretiskt” om-inte-läge
• Utmaningen är att ”hitta” ett om-inte att jämföra med. Den enda skillnaden mellan faktiskt läge och om-inte-läget skall vara just insatsen.
• Man kan när man utformar insatser söka ”skapa en kontrollgrupp” – en experimentsituation. T.ex. en annan organisation som liknar denna som man följer trots att man inte genomför ett projekt.
• Man kan också ”i efterhand” söka identifiera kontrollgrupper – identifiera liknande organisation, organisationer. Statistik för att avgöra att målgruppen och kontrollgruppen är lika.
• Sen kan man ”fuska lite” – det viktigaste är tanken på vad en effekt faktiskt är
Att utvärdera effekterna av en jämställdhetsinsats i en organisation
• Jo, vi satte målet att vår organisation skulle bli mer jämställd – t.ex. löneskillnaderna mellan män och kvinnor skulle försvinna. Vi har nu inte riktigt nått ända fram, men skillnaderna har minskat med X procentenheter. (Måluppfyllelse)
• Vi satsade på att öka chefernas kunskap. När vi utvärderat detta före och efter insatsen ser vi att kunskapen har ökat med xx enheter på vårt index. (Resultat)
• En framgångsfaktor kan vara att hela 98 procent av cheferna faktiskt har deltagit fullt ut i utbildningsinsatserna. (Genomförande)
• Vilken skillnad gjorde då projektet? Vi har jämfört utvecklingen av löneskillnaderna i vår organisation under den här perioden med:• Hur skillnaderna i en organisation som liknar vår men som inte
genomfört någon liknande insats har utvecklats• Hur skillnaderna i hela vår bransch har utvecklats• Hur skillnaderna utvecklats i organisationen tidigareDå ser vi att skillnaderna minskat med x procentenheter mera i vår organisation än i jämförbara organisationer. Vi menar att detta är en indikator på projektets effekt. (Effekt)
• Vi menar att den effekten har ett stort värde för vår organisation, och för våra anställda – Värdet överstiger kostnaden (Nytta)
Så – Vad ledde detta till då?
Tack för uppmärksamheten!
Insatslogik för jämställdhetsprojektInom Socialfonden ser vi att det finns två huvudsakliga sätt att utforma jämställdhetsinsatserna – jämställdhet som mål eller jämställdhet som medel. Insatserna har således helt olika mål.
Jämställdhets-insats Ökad kunskap Ökad
jämställdhet
Jämställdhets-insats
Ökad jämställdhet
Minskad sjukfrånvaro
Jämställdhet som medel
Jämställdhet som mål
Aktivitet Resultat Målpåverkan
Bakgrund• I företag X är 70% av de anställda män. Stora
skillnader finns också när det gäller vilka typer av jobb som männen respektive kvinnorna har i organisationen.
• En medarbetarundersökning visar att både män och kvinnor är missnöjda med hur de bemöts av chefer och ledning i vissa situationer.
• Företaget har svårt att rekrytera yngre utbildade, i synnerhet kvinnor.
Uppdrag• Utveckla jämställdheten i företaget
Case: Ökad jämställdhet i företag x
After Work?
Insatslogik metodutveckling Jämställdhet
Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteterResultat – Omedelbart utfall av aktivitetMål – Mål för förändring/bevarande av det förhållande som motiverar insatsen.
Resurser
•Budget•Jämförbara förutsättningar för metodutveckling
Aktivitet
• Utformning och test av ny metod i jämförelse med traditionell
Resultat
• Skillnader mellan metoder
• Ny metod kan introduceras
Målpåverkan
• Mer jämställd organisation
Befintlig metod
Utveckling ny metod
Befintlig metod
Test av metoder
Ny metod introduceras
Bakgrund• XX kommuns långtidssjukskrivningar kostar
kommunen 10 mkr varje år• I XX kommun visar det sig att kvinnor är i högre
utsträckning än män långtidssjukskrivna• I XX kommun får männen större del av både de
friskvårds- och rehabiliteringsresurser som kommunen investerar
• Forskning visar att personligt anpassad friskvård och rehabilitering effektivt motverkar långtidssjukskrivningar
Uppdrag• Utveckla nya metoder för minskade
långtidssjukskrivningar i kommunen• Ökad jämställdhet skall vara ett medel i metoden
Case: Jämställdhetsintegrera arbetet för att motverka långtidsjukskrivna i XX kommun