Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que...
Transcript of Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que...
![Page 1: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/1.jpg)
www.povertyactionlab.org
Teoria da Mudança, Indicadores e Mensuração de Impacto
Naercio Menezes Filho
Insper & University of São Paulo
Abdul Latif Jameel Poverty Action Lab
![Page 2: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/2.jpg)
1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?
2. Teoria da Mudança, indicadores e medição de impacto
3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência
Programa do curso
![Page 3: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/3.jpg)
1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?
2. Teoria da Mudança, indicadores e medição de impacto
3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência
Programa do curso
![Page 4: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/4.jpg)
1. A avaliação de impacto requer um conhecimento PROFUNDO do funcionamento e objetivos do programa
2. A TEORIA DA MUDANÇA facilita a avaliação e medição de um programa
– Articula objetivos de insumos, produtos, resultados e impactos
– Simplifica a definição da hipótese de investigação
– Facilita a construção de indicadores para diferentes metas do programa
Objetivos da apresentação
4
![Page 5: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/5.jpg)
1. Teoria da Mudança
2. Resultados e indicadores
3. Noções básicas de medição de impacto
Programa da apresentação
5
![Page 6: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/6.jpg)
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Programa da apresentação
6
![Page 7: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/7.jpg)
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Programa da apresentação
7
![Page 8: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/8.jpg)
• Representa visualmente o mecanismo (cadeia) CAUSAL entre:
– Necessidades/Objetivos
– Insumos
– Produtos
– Resultados intermediários
– Impactos (esperados e não esperados/desejados)
• Facilita a definição da hipótese a ser verificada
Teoria da Mudança
![Page 9: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/9.jpg)
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da apresentação
9
![Page 10: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/10.jpg)
Cadeia de causalidade
Objetivos Insumos Produtos Resultados
Intermediários Impactos
![Page 11: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/11.jpg)
Cadeia de causalidade
Objetivos Insumos Produtos Resultados
Intermediários Impactos
Melhoram a compreensão do programa Reforçam conclusões Facilitam a aprendizagem de lições
![Page 12: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/12.jpg)
Cadeia de causalidade
OBJETIVOS 1. Respondem a uma necessidade 2. Especificam uma população-alvo 3. São passíveis de mensuração
![Page 13: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/13.jpg)
Cadeia de causalidade
INSUMOS 1. O que posso fazer para alcançar o
objetivo? 2. Factíveis
![Page 14: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/14.jpg)
Cadeia de causalidade
PRODUTOS 1. Consequência direta da minha atuação/
intervenção 2. São passíveis de mensuração 3. Representam o primeiro “resultado”
observável da minha intervenção
![Page 15: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/15.jpg)
Cadeia de causalidade
RESULTADOS INTERMEDIÁRIOS 1. São os fatores de transição que conectam
os produtos com os impactos 2. São passíveis de mensuração
![Page 16: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/16.jpg)
Cadeia de causalidade
IMPACTOS 1. O que quero modificar com o programa 2. Diretamente relacionados com os
objetivos 3. São passíveis de mensuração
![Page 17: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/17.jpg)
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da exposição
17
![Page 18: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/18.jpg)
Exemplo: Informação antes das eleições locais
18
![Page 19: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/19.jpg)
• Hipótese: informação ajuda votantes a escolher melhor os políticos -> melhores políticos melhoram bem-estar
• Exemplo: testar impacto da informação sobre o voto
• Distribuição aleatória de informação sobre corrupção (Auditoria Superior da Federação) em municípios uma semana antes da eleição
• Verificar efeito da informação sobre os resultados de eleições
Exemplo: Informação antes das eleições locais
19
![Page 20: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/20.jpg)
• Quais são as possíveis cadeias de causalidade no caso dos folhetos de informação?
• Quais são as etapas necessárias para obter impactos finais?
• Quais são os possíveis impactos finais?
Teoria da Mudança dos folhetos de informação
20
![Page 21: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/21.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
? ?
?
?
?
?
21
Teoria da Mudança dos folhetos de informação
![Page 22: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/22.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
?
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
O que faço para alcançar meu objetivo
22
Teoria da Mudança dos folhetos de informação
![Page 23: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/23.jpg)
Tratamento 1
![Page 24: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/24.jpg)
Tratamento 2
![Page 25: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/25.jpg)
Tratamento 3
![Page 26: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/26.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a
longo prazo
Informação pública
relevante para os
votantes não é utilizada. Os
governos locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos
serviços públicos
?
?
26
Teoria da Mudança dos folhetos de informação nivel local y mejora
Consequência direta da minha atuação
![Page 27: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/27.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos serviços
públicos
Votantes tornam-se mais conscientes do
desempenho de seus
representantes municipais.
?
?
27
Teoria da Mudança dos folhetos de Informação
Fatores que conectam o produto com o impacto
![Page 28: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/28.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública
relevante para os votantes
não é utilizada. Os governos
locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos serviços
públicos
Votantes tornam-se
mais conscientes do desempenho
de seus representantes municipais.
Mais votantes trocam de partido
para votar na oposição no caso
de mais corrupção (vota –se menos
por partido e mais por gestão)
?
28
Teoria da Mudança das quotas
Aquilo que eu quero afetar diretamente, com relação ao objetivo => HIPÓTESE-CHAVE
![Page 29: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/29.jpg)
Defina as hipóteses-chave antes do início do experimento
• Suponhamos que você reúna dados de 20 indicadores de impacto diferentes
– Encontra um que é muito positivo
– Encontra um que é muito negativo
– Encontra que para 18, os resultados são muito similares e não são significativamente diferentes
• O que você pode concluir?
29
Vários possíveis impactos
![Page 30: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/30.jpg)
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a
longo prazo
Informação pública
relevante para os votantes
não é utilizada. Os governos
locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação prévia
às eleições municipais focadas nos responsáveis
de fornecer certos serviços públicos
Votantes tornam-se
mais conscientes do desempenho
de seus representantes
municipais.
Mais votantes trocam de
partido para votar na oposição
no caso de mais corrupção
(Vota–se menos por partido e
mais por gestão)
Candidatos e/ou
partidos com melhor rendimento
ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
30
Teoria da Mudança das quotas
![Page 31: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/31.jpg)
1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição do impacto
Programa da apresentação
31
![Page 32: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/32.jpg)
• Descreve o âmbito no qual se realiza a intervenção/ o experimento
• Quantifica insumos na intervenção
• Permite avaliar a implementação da intervenção
• Quantifica os resultados e impactos
• Registra as percepções da intervenção
Mensuração…
32
![Page 33: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/33.jpg)
• Descreve o âmbito no qual se realiza a intervenção/ o experimento
• Quantifica insumos na intervenção (se for o caso)
• Permite avaliar a implementação da intervenção
• Quantifica os resultados e impactos
• Registra as percepções da intervenção
Mensuração…
33 É FEITA ATRAVÉS DE INDICADORES
![Page 34: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/34.jpg)
• Variáveis quantitativas ou qualitativas que nos permitem de forma simples e confiável:
– Detectar necessidades
– Medir insumos
– Caracterizar implementação/processos
– Quantificar resultados/impactos
– Registrar percepções
Indicadores são…
![Page 35: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/35.jpg)
Conselhos sobre levantamento de indicadores
Medição da pressão arterial em Udaipur, Índia
![Page 36: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/36.jpg)
• C (laros): precisos e sem ambigüidade
• R (elevantes): apropriados para a medição em
questão
• E (conômicos): fáceis de medir e recolher
• A (dequados): suficientes para detectar impactos em hipóteses-chave
CREA: Características de bons indicadores (Kusek & Rist 2004)
![Page 37: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/37.jpg)
Necessidades Insumo Produto Resultado
Intermediário Impacto Objetivo a
longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos:de informação
prévio às eleições
municipais
Votantes tornam-se
mais conscientes
sobre o desempenho
de seus representantes
municipais.
Mais votantes trocam de
partido para votar na oposição no caso de mais
corrupção
(Vota–se menos por partido e
mais por gestão)
Candidatos e/ou
partidos com melhor rendimento
ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
INDICADORES:
? ? 37
Modelo lógico com indicadores
?
![Page 38: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/38.jpg)
Necessidades
Insumo Produto Resultado
Intermediário
Impacto Objetivo a
longo
prazo
Informação pública relevante para os
votantes não é utilizada. Os
governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos de informação
prévio às eleições
municipais
Votantes tornam-se
mais conscientes
do desempenho
de seus representantes municipais.
Mais votantes trocam de partido
para votar na oposição no caso
de mais corrupção
(Vota–se menos por partido e mais
por gestão)
Candidatos e/ou
partidos com melhor
rendimento ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
INDICADORES:
Mais pessoas
leram as
informações
sobre
corrupção
Mais votos
recebidos por
políticos de
oposição nos
casos de mais
corrupção
38
Modelo lógico com indicadores
Quantidade e tipo de
gastos municipais
Nº de serviços públicos
disponíveis
Uso e percepção
de serviços municipais
![Page 39: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/39.jpg)
1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação sobre desempenho
municipal no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da apresentação
39
![Page 40: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/40.jpg)
• O que teria acontecido sem o programa para aqueles que participaram?
• Diferença entre
O que aconteceu (com o programa) – O que teria acontecido (sem o programa) = IMPACTO do programa
40
Como medir o impacto?
![Page 41: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/41.jpg)
Impacto: O que é?
Tempo
Imp
acto
Impacto
Intervenção
![Page 42: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/42.jpg)
• Contrafatual: O que teria acontecido sem o programa para aqueles que participaram?
• Não posso observar uma pessoa que participa e
não participa no programa ao mesmo tempo.
• Objetivo fundamental de todos os métodos de avaliação de impacto é construir ou “replicar” o contrafatual. • Escolhendo um grupo não afetado pelo programa,
um grupo de comparação (ou “grupo de controle”)
Impacto e o contrafatual
![Page 43: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/43.jpg)
• Experimental: – Se baseia na aleatorização do programa para criar
um grupo de controle que imite o contrafatual.
• Não experimental: – Argumenta que um certo grupo excluído é uma
réplica do contrafatual.
43
Construindo o contrafatual
![Page 44: Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las? 2. Teoria da Mudança, indicadores e medição de impacto](https://reader034.fdocument.pub/reader034/viewer/2022051803/5b08658e7f8b9a56408e75b4/html5/thumbnails/44.jpg)
1. Avaliação de impacto requer um PROFUNDO conhecimento sobre o funcionamento e objetivos do programa
2. TEORIA DA MUDANÇA facilita a avaliação e medição de um programa
– Articula objetivos insumos, produtos, resultados e impactos
– Simplifica definição de hipóteses de pesquisa
– Facilita construção de indicadores para diferentes metas do programa
– Ajuda a pensar em um cenário contrafatual
Conclusão
44