Métodos Quase-Experimentais I
description
Transcript of Métodos Quase-Experimentais I
Global Workshop onDevelopment Impact Evaluation
in Finance and Private SectorRio de Janeiro, June 6-10, 2011
MétodosQuase-Experimentais I
Abdoulaye Sy
O que sabemos
Objetivo: Nós queremos isolar o efeito causal de nossas intervenções sobre alguns resultados de interesse Usar métodos de avaliação rigorosos para
responder às nossas perguntas operacionais Randomizar a designação do tratamento é a
metodologia “padrão de ouro” (simples, precisa)
E se não pudermos usá-los? ➤ Nós paramos de medir o efeito da irrigação
porque não podemos randomizar a alocação?
Conseguimos encontrar um contrafatual plausível? Experiência natural?
Métodos não-experimentais estão associados a um conjunto de premissas Quanto maior o número de premissas,
menos válida será a medida do efeito de causalidade
É importante questionar as nossas premissas
▪ Utilize o senso-comum!
Quando é que faz sentido?
Objetivo Principal▪ Aumentar a produtividade e vendas da
empresa Intervenção
▪ Distribuição de subsídios▪ Seleção de participantes não-aleatória
Grupo alvo▪ PMEs entre 1 e 10 empregados
Principal indicador▪ Vendas
4
Exemplo: Programa de Subsídios (Matching Grant)
5
(+) Impacto do programa
(+) Impacto de fatores externos
Ilustração: Programa de Subsídios (Matching Grant) (1)
6
(+) Medida ENVIESADA do impacto do programa
Ilustração: Programa de Subsídios (Matching Grant) (2)
“Antes-e-Depois” não gera resultadosem que possamos acreditar!
7
Ilustração: Programa de Subsídios (Matching Grant) (3)
Diferençafinal (« depois ») entreparticipantes e não participantes
Diferençainicial (« antes ») entreparticipantes e não participantes
>> Qual é o impacto da nossa intervenção?
Estratégia de Identificação Diferenca na Diferença (1)
Contrafatual: 2 Opções1.Vendas de não participantes depois da
intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos)
2.Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos)
1 e 2 são equivalentes8
Estratégia de Identificação Diferenca na Diferença (2)
Premissa subjacente:Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência)
>> Gráfico intuitivo a caminho....
Dados – Exempl0 1
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.3 1.9 0.6
Não-participantes (NP)
0.6 1.4 0.8
Diferença (P-NP) 0.7 0.5 -0.2
10
Dados – Exempl0 1
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.3 1.9 0.6
Não-participantes (NP)
0.6 1.4 0.8
Diferença (P-NP) 0.7 0.5 -0.2
11
12
NP2008-NP2007=0.8
Impacto = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.8 = -0.2
P2008-P2007=0.6
13
P-NP2008=0.5
Impacto = (P-NP)2008-(P-NP)2007= 0.5 -
0.7 = -0.2
P-NP2007=0.7
Presunção de mesma tendência: Implicação gráfica
Impacto=-0.2
Conclusão
Impacto negativo: Muito contra-intuitivo: O aumento do
financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta!
Presumir a mesma tendência é muito forte Os 2 grupos estavam em 2007 a produzir a
níveis muito diferentes Questione a presunção de mesma tendência!
Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores
2006 2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Questionando a premissa de mesma tendência: Dados pré-programa
Rejeite a premissa contrafatual da mesma tendência!
Dados – Exemplo 2
Média de Vendas(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.5 2.1 0.6
Não-participantes (NP)
0.5 0.7 0.2
Diferença (P-NP) 1.0 1.4 0.4
17
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
P08-P07=0.6
18
NP08-NP07=0.2
Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
Presunção de mesma tendência: Implicação Gráfica
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Impacto = +0.4
Conclusão
Impacto Positivo: Mais intuitivo
Sera que presumir a mesma tendência é razoável? ➤Ainda precisamos de questionar a
presunção contrafatual de mesma tendência!➤Utilizemos dados de anos anteriores
Questionando a premissa de mesma tendência: Dados pré-programa
Parece razoável aceitar a premissa conceitual de mesma tendência!2006 2007 2008
0
0.5
1
1.5
2
2.5
participantsnon-participants
Atenção (1) Assumir a mesma tendência é normalmente
problemático Quando não existem dados para testar a mesma
tendência histórica E mesmo se as tendências forem semelhantes no
ano anterior…▪ Foram as tendências sempre semelhantes (ou
tivemos sorte)?▪ Mais importante, serão essas tendências sempre
semelhantes?▪ Exemplo: Outro projeto intervem nas nossas empresas não
participantes…
Atenção (2) Que fazemos então?
>> Temos de ser descritivos! Verificar as semelhanças em características
observáveis▪ Se não são semelhantes ao nível das características
observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível
>> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)
Métodos de Combinação + Diferença das diferenças
Agrupe participantes e não participantes com base em características observáveis
Contrafatual: Grupo de comparação com semelhanças
em características observáveis: Procura-se para cada participante do programa
um ou mais pares de não participante(s) com base nas características observáveis
>>Em média, participantes e não participantes partilham as mesmas características observáveis (por construção)
Estimar o efeito da nossa intervenção utilizando diferença das diferenças
24
Métodos Combinação (2)
Premissas subjacentes Não há diferenças entre os participantes e
não participantes em termos de características não observáveis
E/OU Características não observáveis não
afetam a designação para o tratamento e/ou resultado
Como se faz?
Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes Temos de escolher com cuidado as variáveis para
agrupar os participantes com o grupo de controle De forma a que fiquemos apenas com
▪ Grupo de tratamento: Participantes que conseguiram obter um par
▪ Grupo de controle: não-participantes parecidos com os participantes
>> Em resultado deste processo, eliminamos uma parte do nosso grupo de tratamento!
Implicações
Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes Precisamos de perceber quem fica de fora
Exemplo
Pontuação
não-participantesParticipantes
Partecombinada
Riqueza
Parte do grupode tratamento excluída
Conclusão (1)
Vantagens do metodo de combinação: Não precisa de randomização
28
Conclusão (2)
Desvantagens: A premissa subjacente ao contrafatual
não é plausível em todos os contextos, dificil de testar▪ Utilize o senso comum
Necessita dados de muita qualidade▪ Necessário controlar todos os fatores que
influenciam o a alocação ao programa / resultado em análise
Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação
não se consegue sempre encontrar pares para todos...
29
Em resumo
A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)
Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas Mais intensivo em termos de dados Nem sempre testavel
Seja criativo: Misture-e-combine os métodos! Responda as perguntas relevantes com os
métodos apropriados30
Obrigado
Agradecendo o apoio financiero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally &
Socially Sustainable Development (TFESSD), is gratefully acknowledged.