PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento
-
Upload
undp-policy-centre -
Category
Government & Nonprofit
-
view
294 -
download
0
Transcript of PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento
![Page 1: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/1.jpg)
Apresentação para o grupo consultivo do PAA África
26 de fevereiro de 2016
Autores: Mario Gyoeri, Claudia Mayara Tufani e Fabio Veras Soares
International Policy Centre for Inclusive Growth, Brasilia
PAA Africa – Monitoramento e AvaliaçãoRelatório de Acompanhamento
![Page 2: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/2.jpg)
EstruturaA.) Monitoramento
1. Sistema de Monitoramento do PAA África2. Exemplo de análise dos dados do monitoramento: Etiópia3. Conclusões da análise preliminar do monitoramento: boas práticas, aprendizados e
recomendações
B.) Avaliação4. Contexto da avaliação do PAA África5. Questões propostas pela avaliação6. Métodos de avaliação
C.) Recomendações para a ampliação do PAA África (M&E)
![Page 3: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/3.jpg)
1.) Sistema de Monitoramento do PAA África
Perguntas de pesquisa a serem exploradas:• Em qual estágio está a implementação do PAA África nos cinco países que fazem
parte do projeto? Em que medida as atividades planejadas foram implementadas e os resultados esperados foram atingidos?
• Quais são os resultados positivos e boas práticas do programa em cada pais que podem ser compartilhadas com outros países? Quais são as dificuldades/gargalos do programa e como eles podem ser solucionados?
• Quais foram as lições aprendidas que podem auxiliar o aperfeiçoamento do programa no futuro?
![Page 4: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/4.jpg)
1.) Sistema de Monitoramento do PAA África
Seleção dos Indicadores de Monitoramento:• Quais são os pontos de referência do monitoramento?
• Documento Guarda-Chuva da 2ª Fase (Umbrella document): objetivos e atividades do PAA África como um todo (5 países)
• Projeto País (Country Project): objetivos e atividades programadas para cada país, levando-se em consideração o contexto particular de cada um.
• Veja Instrumentos de coleta de dados pelo monitoramento
![Page 5: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/5.jpg)
1.) Sistema de Monitoramento do PAA África
Fluxo dos dados de Monitoramento:• O Monitoramento deve basear-se na coleta de dados continua promovida pela
FAO e pelos escritórios nacionais do WFP.
IPC
-IGE
quip
e
Consultores para o Trabalho de Campo PAA Africa
WFPEscritórios Nacionais
Escolas
Cooperativas de Agricultores (dados sobre aquisição de
alimentos)
Governos Regionais / Nacionais
FAOEscritórios Nacionais
Cooperativas de Agricultores (dados sobre insumos e
treinamento)
Governos Regionais / Nacionais
Níger, Etiópia, Moçambique
(2015): Consultores FAO
Senegal, Malawi (2016):
Pesquisadores IPC-IG
![Page 6: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/6.jpg)
1.) Entrega de Produtos e Acompanhamento - Monitoramento5 Relatórios Intermediários de Monitoramento: Objetivo: Informar aos participantes do projeto e aos parceiros para sua execução sobre o progresso da implementação do programaAndamento:
• Níger: Concluído• Etiópia: Primeira versão concluída, aguardando dados dos escritórios nacionais• Moçambique: Coleta de dados concluída; primeira versão a ser finalizada até 14 de março• Senegal: Coleta de dados concluída; primeira versão a ser finalizada até metade de abril• Malawi: Coleta de dados programada para realizar-se de 7 a 18 de março de 2016
1 Relatório Final de Monitoramento• Abrange todos os 5 países e promove a análise do programa como um todo• A ser elaborado após a finalização da fase de consolidação do PAA África, em junho de 2016• Cronograma previsto: versão provisória: 30 julho de 2016; versão final: 30 de setembro de 2016.
![Page 7: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/7.jpg)
2.) Breve Introdução do PAA na Etiópia
• O PAA aconteceu na Região dos Povos e Nações do Sul (Southern Nations, Nationalities and People’s Regions)
• A região é a Terceira maior da Etiópia em termos de população – cerca de 15M pessoas vivem nela
• A capital da Região é Awassa/Hawassa – ela fica situada no nordeste da Região
![Page 8: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/8.jpg)
2.) Breve Introdução do PAA na Etiópia
Estrutura Administrativa no País:
• A Etiópia é dividida em 9 regiões• Cada região é composta de Zonas• Cada Zona é composta de Woredas• Cada Woreda é composta de Kebeles (as kebeles são as menores
unidades administrativas, normalmente compostas por cerca de 3500-4000 pessoas)
![Page 9: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/9.jpg)
2.) Breve Introdução do PAA na Etiópia
Kebeles
Woredas
Zona
Região SNNPR
Sidama
Boricha
?
Dara
?
Siltie
Lanfuro
?
Guraghe
Mareko
?
![Page 10: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/10.jpg)
2) Análise Quantitativa dos Dados Coletados e Ramificações do Projeto
2.A) Apoio à Produção: Suporte aos pequenos agricultores (componente FAO)
2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)
2.C) Desafios para o Monitoramento: O Link Entre os Dois Componentes do Programa
![Page 11: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/11.jpg)
2.A) Apoio à Produção: Suporte aos agricultores rurais (FAO)
Número de agricultores beneficiados: 2815 (gol: 1800)• Inputs: sementes melhoradas (milho, trigo e feijão)• Cada agricultor recebe 25kg de semente para 0.25 hectares de plantação• Boricha: milho e feijão• Lanfuro e Mareko: trigo• Treinamento
![Page 12: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/12.jpg)
2.A) Apoio à Produção: Suporte aos agricultores rurais (FAO)Quantificando PAA na Etiópia – Fase 2: Domicílios Beneficiados por Gênero e Woreda
![Page 13: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/13.jpg)
2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)
• Os alunos recebem uma refeição pela manhã, composta de uma mistura de feijão, trigo e milho.
• Número de Escolas Participando no Programa: 7 escolas (em 2 woredas)
Dara Woreda: 4 escolas (Adame Teso, Wata Dara, Safa and Machischo)Boricha Woreda: 3 escolas ( Hanja Chefa, Gassera Kube, Shelo Abore)Número médio de alunos por escola: 1385 estudantesNúmero de estudantes que se beneficiaram do programa: quase 9700 (gol
9274)
• Total de alimentos entregues: 333.45 MT (gol: 355 MT) [1MT=1000kg]
![Page 14: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/14.jpg)
2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA)Quantificando o PAA na Etiópia – Fase 2: Cobertura do Programa como Percentagem de todos Programas de Alimentação Escolar na Região
![Page 15: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/15.jpg)
2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA) Quantificando o PAA na Etiópia – Fase 2: Alimentos Contratados Por Escola e Tipo
![Page 16: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/16.jpg)
2.B) Programa de Aquisição Local de Alimentos e Suporte para Alimentação Escolar (componente PMA) Quantificando o PAA na Etiópia – Fase 2: Gênero dos Alunos Beneficiados
![Page 17: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/17.jpg)
2.C) Desafios para o Monitoramento: Contexto - O link entre o pequeno agricultor e a união cooperativa
![Page 18: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/18.jpg)
2.C) Desafios para o Monitoramento: O Link Entre os Dois Componentes do Programa
![Page 19: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/19.jpg)
3.) Melhores Práticas, Lições Aprendidas e Recomendações
• Em termos gerais, o apoio produtivo e as compras institucionais ocorreram como planejado
• No entanto foram observados diversos desafios na implementação nos países, relacionados particularmente a limitações nas capacidades locais e aos procedimentos internos e regulamentos das agências implementadoras. Alguns exemplos incluem:
Desafios para adquirir e distribuir equipamentos e insumos em tempo hábilNecesidade de adaptar procedimentos de compra de alimentos que reflitam melhor o
calendário agrícola e o contexto de vulnerabilidade dos agricultores familiaresEm alguns paises: dificuldade de cumprir com compromissos contratuais com os
agricultores
![Page 20: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/20.jpg)
3.) Melhores Práticas, Lições Aprendidas e Recomendações
• Sólidas parcerias com os governos nacionais: Etiópia e Senegal
• Etiópia: O governo regional é responsável pela distribuição dos insumos e pelo treinamento de pequenos produtores, bem como pela aquisição de alimentos para o programa de alimentação escolar.
• Senegal: PAA África está previsto para ser ampliado como uma iniciativa do governo, com o suporte técnico da FAO e do WFP. O primeiro ministro validou o programa e o mesmo foi incluído no documento “Plan triennale d’investissement prioritaire” para o período de 2017 a 2019 com um investimento previsto de 44 milhões de dólares estadunidenses.
Passos importantes para alcançar a sustentabilidade do programa
![Page 21: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/21.jpg)
3.) Melhores Práticas, Lições Aprendidas e Recomendações
• Potencial para fortalecer a coordenação e integração de diferentes componentes do programa: Etiópia e Níger
• Etiópia• O monitoramento apontou que houve falhas na coordenação entre: a.) o componente de apoio à produção
agrícola (feito pela FAO) e b.) o componente de compras institucionais (feito pelo WFP);• Não há registro documentado que indique em que medida os agricultores que foram beneficiados com
insumos e treinamentos também tenha participado no programa de compras institucionais. Sendo assim, há dúvidas sobre a real medida da sobreposição das intervenções da FAO e do PMA (apoio em insumos e treinamentos e compras locais) no que diz respeito aos agricultores e cooperativas beneficiadas.
• Níger• A FAO assinou acordos com 10 federações/cooperativas de agricultores para prover insumos e treinamentos,
das quais nem todas foram contempladas pelas compras locais do PMA. O PMA, por sua vez, também adquiriu alimentos de outras federações não apoiadas pela FAO.
• Recomendações: promover a coordenação dos diferentes componentes do programa, fortalecer a sinergia do programa entre os agricultores/produtores & fortalecer o diálogo entre todos os parceiros que implementam o programa.
![Page 22: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/22.jpg)
3.) Melhores Práticas, Lições Aprendidas e Recomendações
• Potencial para o fortalecimento da diversidade nutricional:
• Etiópia:• O programa vem empreendendo esforços para promover maior diversidade nutricional:
promoção do cultivo do feijão através de treinamentos e provisão de insumos. • Contudo, apenas 7.5% do valor total das aquisições foram destinados ao feijão vermelho
(e 3.5% a feijão-fava), enquanto aproximadamente 80% das aquisições foram voltadas a cereais.
• Senegal: até então apenas o cultivo de arroz é promovido pelo programa• Moçambique: modalidade piloto para a produção e compra de hortícolas
Recomendação: considerar mais alternativas para incrementar a diversidade nutricional do programa nos países participantes, levando em consideração as causas estruturais que possam representar obstáculos à diversificação
![Page 23: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/23.jpg)
3.) Melhores Práticas, Lições Aprendidas e Recomendações
• Desafios do Sistema de Monitoramento:
• Foi possível coletar dados para a maioria dos indicadores propostos. No entanto, parte dos indicadores listados nos projetos dos países não foram possíveis de coleta
• Ausência de metas pré-definidas dificultam o monitoramento do programa• Recomendação: desenvolver um sistema de monitoramento que atenda as
especificidades do programa é essencial para uma coleta de dados e informações eficaz para o monitoramento efetivo do programa.
![Page 24: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/24.jpg)
B.) Avaliação
1. Avaliação do PAA África: contexto2. Questões propostas pela avaliação3. Métodos de avaliação
![Page 25: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/25.jpg)
1. Avaliação do PAA África: Contexto • Decisões estratégicas da Coordenação do PAA África:
• PAA África será avaliado em dois dos cinco países participantes do programa: Malaui e Senegal
• Caráter da avaliação: avaliação de processo/resultado• Deverá ser conduzida por uma instituição africana• IPC-IG irá apoiar a Coordenação do PAA África na formulação do Termo de
Referência
• O Planejamento da avaliação começou após o início da implementação do programa Não há uma linha base (baseline) disponível
![Page 26: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/26.jpg)
2. Questões propostas pela avaliação - ExemplosRelevância:
• Os distritos que passam pela intervenção são caracterizados a partir do nível de insegurança alimentar?• Qual era a situação socioeconômica dos agricultores engajados no programa antes da intervenção?
Eficácia:• A iniciativa está estruturada para prover regularmente alimentação escolar para as crianças de escolas
beneficiárias? • A intervenção está bem estruturada para alcançar agricultores familiares, homens e mulheres, e
proporcionar um mercado estável para seus produtos?
Eficiência:• Qual é o custo anual para prover uma refeição por dia para um aluno de uma escola que participe do
PAA África (por beneficiário)?• Quais são os custos anuais para aumentar a produtividade de diferentes cultivos (US dólares
necessários para aumentar a produção em 1 ton/ha?) • De que maneira a eficiência promovida pelo programa se compara com outros programas de
alimentação escolar/ programas de demanda institucional
![Page 27: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/27.jpg)
Sustentabilidade:
• Os governos do Senegal e Malaui estão preparados para manter o programa de alimentação escolar de acordo com as modalidades propostas pelo PAA África, em especial após o final das contribuições de doadores externos?
Resultados:• De que maneira o PAA África impactou as escolas beneficiárias em termos de…
• Matrícula • Frequência• Rendimento escolar
• De que maneira o PAA África impactou os agricultores beneficiários em termos de …• Status socioeconômico• Capacidade produtiva
2. Questões propostas pela avaliação - Exemplos
![Page 28: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/28.jpg)
3. Métodos de AvaliaçãoCombinação de métodos qualitativos e quantitativos:
Métodos Qualitativos:• Discussões em grupos focais em distritos participantes e não-participantes do PAA África :
• Alunos (levando-se em consideração o gênero)• Professoras(es)• Responsáveis pelas crianças (levando-se em consideração o gênero)• Agricultores (levando-se em consideração o gênero)• Habitantes das comunidades onde o PAA está sendo implementado que não
participam do programa
![Page 29: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/29.jpg)
3. Métodos de AvaliaçãoCombinação de métodos qualitativos e quantitativos:
• Entrevistas com atores-chave:• Diretoras(es) de escola• No nível da escola: responsáveis pela área de aquisição de alimentos; coordenador do comitê
de compra de alimentos; coordenador do comitê de alimentação.• Líderes de cooperativas de agricultores• Equipe da FAO responsável pelo treinamento em hortas escolares; Coordenador do comitê de
hortas escolares.• Funcionários do governo envolvidos na coordenação do projeto• Representantes dos governos locais (responsáveis por transferir os recursos para a aquisição de
alimentos para escolas)• Equipe do WFP e da FAO envolvida no gerenciamento do projeto nas áreas de intervenção• Representantes da Sociedade Civil envolvidos no projeto
![Page 30: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/30.jpg)
3. Métodos de Avaliação
Análise Quantitativa
• Dificultada pela falta de uma linha base não há previsão de coleta de dados primários atualmente
• Alternativa: Análise de dados administrativos já existentes, Metodologia de diferenças-em-diferenças (difference in difference)
![Page 31: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/31.jpg)
3. Método de avaliação : Diferenças em diferenças
Taxa de Frequência
Tempo
Grupo de Tratamento
2012 2016
A
B
C
Grupo de Controle
Contrafactual
Efeito do PAA África
![Page 32: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/32.jpg)
C.) Recomendações para a ampliação do PAA África• Monitoramento:
• Definir metas claras (quantitativas) para todas as atividades do programa antes da sua implementação
• Definir indicadores de monitoramento antes do início das intervenções, para que sejam coletados regularmente
• Estabelecer responsabilidades: quem é responsável pela coleta de dados para o monitoramento?
• Avaliação:• Ampliação = oportunidade única para avaliar o impacto do PAA África• Neste contexto: essencial realizar uma pesquisa de linha base (baseline survey) antes da ampliação
do programa• No caso de uma ampliação gradual: considerar uma seleção aleatória dos distritos que receberão a
intervenção primeiro, desde que localizados em áreas prioritárias rigorosa avaliação dos resultados
![Page 33: PAA África - Monitoramento e Avaliação: Relatório de Acompanhamento](https://reader035.fdocument.pub/reader035/viewer/2022062901/58f1d4291a28ab73258b45ab/html5/thumbnails/33.jpg)
Obrigado!