Métodos Quase-Experimentais I
description
Transcript of Métodos Quase-Experimentais I
![Page 1: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/1.jpg)
Global Workshop onDevelopment Impact Evaluation
in Finance and Private SectorRio de Janeiro, June 6-10, 2011
MétodosQuase-Experimentais I
Abdoulaye Sy
![Page 2: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/2.jpg)
O que sabemos
Objetivo: Nós queremos isolar o efeito causal de nossas intervenções sobre alguns resultados de interesse Usar métodos de avaliação rigorosos para
responder às nossas perguntas operacionais Randomizar a designação do tratamento é a
metodologia “padrão de ouro” (simples, precisa)
E se não pudermos usá-los? ➤ Nós paramos de medir o efeito da irrigação
porque não podemos randomizar a alocação?
![Page 3: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/3.jpg)
Conseguimos encontrar um contrafatual plausível? Experiência natural?
Métodos não-experimentais estão associados a um conjunto de premissas Quanto maior o número de premissas,
menos válida será a medida do efeito de causalidade
É importante questionar as nossas premissas
▪ Utilize o senso-comum!
Quando é que faz sentido?
![Page 4: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/4.jpg)
Objetivo Principal▪ Aumentar a produtividade e vendas da
empresa Intervenção
▪ Distribuição de subsídios▪ Seleção de participantes não-aleatória
Grupo alvo▪ PMEs entre 1 e 10 empregados
Principal indicador▪ Vendas
4
Exemplo: Programa de Subsídios (Matching Grant)
![Page 5: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/5.jpg)
5
(+) Impacto do programa
(+) Impacto de fatores externos
Ilustração: Programa de Subsídios (Matching Grant) (1)
![Page 6: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/6.jpg)
6
(+) Medida ENVIESADA do impacto do programa
Ilustração: Programa de Subsídios (Matching Grant) (2)
“Antes-e-Depois” não gera resultadosem que possamos acreditar!
![Page 7: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/7.jpg)
7
Ilustração: Programa de Subsídios (Matching Grant) (3)
Diferençafinal (« depois ») entreparticipantes e não participantes
Diferençainicial (« antes ») entreparticipantes e não participantes
>> Qual é o impacto da nossa intervenção?
![Page 8: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/8.jpg)
Estratégia de Identificação Diferenca na Diferença (1)
Contrafatual: 2 Opções1.Vendas de não participantes depois da
intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos)
2.Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos)
1 e 2 são equivalentes8
![Page 9: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/9.jpg)
Estratégia de Identificação Diferenca na Diferença (2)
Premissa subjacente:Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência)
>> Gráfico intuitivo a caminho....
![Page 10: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/10.jpg)
Dados – Exempl0 1
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.3 1.9 0.6
Não-participantes (NP)
0.6 1.4 0.8
Diferença (P-NP) 0.7 0.5 -0.2
10
![Page 11: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/11.jpg)
Dados – Exempl0 1
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.3 1.9 0.6
Não-participantes (NP)
0.6 1.4 0.8
Diferença (P-NP) 0.7 0.5 -0.2
11
![Page 12: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/12.jpg)
12
NP2008-NP2007=0.8
Impacto = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.8 = -0.2
P2008-P2007=0.6
![Page 13: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/13.jpg)
13
P-NP2008=0.5
Impacto = (P-NP)2008-(P-NP)2007= 0.5 -
0.7 = -0.2
P-NP2007=0.7
![Page 14: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/14.jpg)
Presunção de mesma tendência: Implicação gráfica
Impacto=-0.2
![Page 15: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/15.jpg)
Conclusão
Impacto negativo: Muito contra-intuitivo: O aumento do
financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta!
Presumir a mesma tendência é muito forte Os 2 grupos estavam em 2007 a produzir a
níveis muito diferentes Questione a presunção de mesma tendência!
Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores
![Page 16: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/16.jpg)
2006 2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Questionando a premissa de mesma tendência: Dados pré-programa
Rejeite a premissa contrafatual da mesma tendência!
![Page 17: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/17.jpg)
Dados – Exemplo 2
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.5 2.1 0.6
Não-participantes (NP)
0.5 0.7 0.2
Diferença (P-NP) 1.0 1.4 0.4
17
![Page 18: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/18.jpg)
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
P08-P07=0.6
18
NP08-NP07=0.2
Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
![Page 19: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/19.jpg)
Presunção de mesma tendência: Implicação Gráfica
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Impacto = +0.4
![Page 20: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/20.jpg)
Conclusão
Impacto Positivo: Mais intuitivo
Sera que presumir a mesma tendência é razoável? ➤Ainda precisamos de questionar a
presunção contrafatual de mesma tendência!➤Utilizemos dados de anos anteriores
![Page 21: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/21.jpg)
Questionando a premissa de mesma tendência: Dados pré-programa
Parece razoável aceitar a premissa conceitual de mesma tendência!2006 2007 2008
0
0.5
1
1.5
2
2.5
participantsnon-participants
![Page 22: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/22.jpg)
Atenção (1) Assumir a mesma tendência é normalmente
problemático Quando não existem dados para testar a mesma
tendência histórica E mesmo se as tendências forem semelhantes no
ano anterior…▪ Foram as tendências sempre semelhantes (ou
tivemos sorte)?▪ Mais importante, serão essas tendências sempre
semelhantes?▪ Exemplo: Outro projeto intervem nas nossas empresas não
participantes…
![Page 23: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/23.jpg)
Atenção (2) Que fazemos então?
>> Temos de ser descritivos! Verificar as semelhanças em características
observáveis▪ Se não são semelhantes ao nível das características
observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível
>> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)
![Page 24: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/24.jpg)
Métodos de Combinação + Diferença das diferenças
Agrupe participantes e não participantes com base em características observáveis
Contrafatual: Grupo de comparação com semelhanças
em características observáveis: Procura-se para cada participante do programa
um ou mais pares de não participante(s) com base nas características observáveis
>>Em média, participantes e não participantes partilham as mesmas características observáveis (por construção)
Estimar o efeito da nossa intervenção utilizando diferença das diferenças
24
![Page 25: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/25.jpg)
Métodos Combinação (2)
Premissas subjacentes Não há diferenças entre os participantes e
não participantes em termos de características não observáveis
E/OU Características não observáveis não
afetam a designação para o tratamento e/ou resultado
![Page 26: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/26.jpg)
Como se faz?
Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes Temos de escolher com cuidado as variáveis para
agrupar os participantes com o grupo de controle De forma a que fiquemos apenas com
▪ Grupo de tratamento: Participantes que conseguiram obter um par
▪ Grupo de controle: não-participantes parecidos com os participantes
>> Em resultado deste processo, eliminamos uma parte do nosso grupo de tratamento!
![Page 27: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/27.jpg)
Implicações
Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes Precisamos de perceber quem fica de fora
Exemplo
Pontuação
não-participantesParticipantes
Partecombinada
Riqueza
Parte do grupode tratamento excluída
![Page 28: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/28.jpg)
Conclusão (1)
Vantagens do metodo de combinação: Não precisa de randomização
28
![Page 29: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/29.jpg)
Conclusão (2)
Desvantagens: A premissa subjacente ao contrafatual
não é plausível em todos os contextos, dificil de testar▪ Utilize o senso comum
Necessita dados de muita qualidade▪ Necessário controlar todos os fatores que
influenciam o a alocação ao programa / resultado em análise
Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação
não se consegue sempre encontrar pares para todos...
29
![Page 30: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/30.jpg)
Em resumo
A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)
Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas Mais intensivo em termos de dados Nem sempre testavel
Seja criativo: Misture-e-combine os métodos! Responda as perguntas relevantes com os
métodos apropriados30
![Page 31: Métodos Quase-Experimentais I](https://reader036.fdocument.pub/reader036/viewer/2022062302/568166e7550346895ddb278b/html5/thumbnails/31.jpg)
Obrigado
Agradecendo o apoio financiero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally &
Socially Sustainable Development (TFESSD), is gratefully acknowledged.