AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Maria Margareth Mainhardt Carpes
Aula 11
Apresentar o conceito de
Teoria do Programa
Apresentar os elementos da
Teoria como formas para a
avaliação
Objetivos
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Coleta sistemática de informações sobre ações,
características e os resultados de um programa,
definição de padrões de qualidade e
identificação [...] de critérios,
passíveis de serem defendidos publicamente, para determinar o
valor (mérito e relevância), a qualidade, utilidade, efetividade
ou importância do programa sendo avaliado em relação aos
critérios estabelecidos,
gerando recomendações para melhorar o
programa e as informações para prestar contas
aos públicos interno e externo.
Chianca et al (2001, p. 16), a partir de Worthen et al (1997)
1.1 Considerações sobre a AVALIAÇÃO
1. Revisão Conceito AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
2.1 Qualitativa, quantitativa (KENDALL, KNAPP e FORDER, 2006) e mista
2. Revisão Tipos
Qualitativa Quantitativa
Análise
Instrumentos
Critérios
Metodologias construtivistas e
participativas
Subjetivos
Racional
Ferramentas e conceitos modelados nas
ciências naturais de tradição positivista
Especificados e objetivos
Subjetiva
MÉTODOS MISTOS:
“a integração inteligente de ambos os
métodos [...] num único estudo avaliatório
tem agora a aceitação tão grande que parece
que o debate perdeu o sentido. [...] a maioria
dos estudiosos de avaliação acha que usar
ambos [...] faz com que esta (avaliação) se
torne mais completa”
WORTHEN, SANDERS e FITZPATRICK (2004)
ABORDAGENS MULTICRITÉRIO
(QUANTI E QUALITATIVOS)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Melhoria
2.2 Avaliação formativa x avaliação somativa (SCRIVEN, 1967)
2. Revisão Tipos
Fornece à equipe informações
visando à estruturação/melhoria do
programa, a partir de FEEDBACKs a
alimentar um ciclo virtuoso de
aperfeiçoamento)
Avaliação formativa Avaliação somativa
Fornece aos decisores e consumidores
julgamentos de valor/mérito do
programa em relação a critérios, visando
à decisão de continuidade/suspensão do
programa, a partir de MEDIÇÕES
Uso
Público
Quem faz
Foco
Medidas
Freq Coleta Dados
Amostra
Decisores e equipe
Avaliadores internos (apoio ext.)
Informações
Podem ser subjetivas
Frequente
Em geral pequena
Continuidade ou adoção/escolha (consumid.)
Decisores
Avaliadores externos (apoio int.)
Evidências
Objetivas
Não frequente
Em geral grande
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
2.3 Avaliação interna x avaliação externa (SCRIVEN, 1967)
2. Revisão Tipos
Realizada por
avaliador INTERNO ao
programa/organização
Avaliação interna Avaliação externa
Quem realiza
Vantagens
Desvantagens
Maior conhecimento do programa
Visão distorcida ou viciada
Dependência adm.-financeira
Tendenciosidade das informações
Pessoa externa ao ambiente
Visão imparcial
Independência adm.-financeira do progr.
Menor conhecimento do programa
Pessoa interna ao ambiente
Realizada por
avaliador EXTERNO ao
programa/organização
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
2.4 Combinação dos papéis da avaliação (SCRIVEN, 1967)
2. Revisão Tipos
1
FORMATIVA
interna
3
SOMATIVA interna
2
FORMATIVA
externa
4
SOMATIVA externa F
orm
ati
va
Som
ati
va
Interna Externa
Mais comuns
Legenda:
MELHORIA DECISÃO
FORMATIVA SOMATIVA
Avaliador
interno
conhece
melhor o
processo
Porém!
Pelo
entusiasmo
ou interesses
diversos,
pode ser
tendencioso!
Avaliador
externo
tende a
ignorar
influências
diversas na
avaliação
Porém!
não
conhece
tão bem
processo
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3.1 Contextualização
3. Revisão Serv/Impacto
A gestão de resultados na ação pública pode ser feita por dois critérios:
a) Serviços oferecidos mais fácil de se compreender
a) Impactos sobre o usuário Aprecia a mudança social trazida
pela ação empreendida pelo programa.
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Serviços prestados:
todos os bens e serviços produzidos pelo governo
(ou por outras organizações em seu nome)
a indivíduos ou organizações externas
3.2 Serviços Prestados
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
Checklist para identificar
serviços prestados: a. Deve ser prestado a clientes
externos
b. Deve ser identificado e descrito
c. Deve ser definido em termos de ações
d. Deve ajudar na realização de impactos
e. Deve haver controle ou influência pelas autoridades responsáveis
3.2 Serviços Prestados
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
f. Deve fornecer informações que auxiliam as decisões do governo
g. Deve ser comparável aos serviços prestados por outros prestadores
3.2 Serviços Prestados
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
3.3 Impactos
Impactos:
Mudanças “duradouras e sustentáveis” produzidas nos
beneficiários por meio de ações sociais tecnicamente
consistentes, realizadas com envolvimento dessas pessoas.
(Armani, 2006)
Mudanças significativas nas vidas das pessoas, ocasionadas por uma
ação ou série de ações
(Oxfam apud Roche, 2002)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
4.1 Impactos
Análise sistemática das
mudanças significativas nas vidas das pessoas,
ocasionadas pelas ações
empreendidas. Roche (2002)
Estudo sobre se o programa
atingiu ou não os efeitos pretendidos.
Weiss (1998)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
3.4 Serviços x Impactos
Enquanto os serviços entregues aos participantes de um programa são descritos
simplesmente como “serviços”,
impactos devem ser relacionados aos benefícios
obtidos por esses participantes ao receberem o serviço.
Rossi et al. (2004)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
3. Revisão Serv/Impacto
4.1 Stufflebeam (apud Worthen et al., 2004)
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
O foco da avaliação é definido
discutindo-se com quem solicitou a avaliação
Financiador, cliente, interessados ou público-alvo
o que se pretende fazer na avaliação, os
limites e o contexto da avaliação
Além disso, começa-se a identificar e
selecionar perguntas e critérios de avaliação
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
A coleta de informações segue um
planejamento baseado na determinação de
quais informações podem ser utilizadas para
responder cada uma das perguntas definidas
durante a fase de focalização da avaliação
Diferentes desenhos avaliatórios levarão a diferentes
necessidades de informação.
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
É preciso considerar quais são as fontes
apropriadas de informação, os métodos e
instrumentos mais adequados para a coleta,
bem como definir as condições apropriadas
para a realização dessa atividade.
Quem coleta, como coleta, e quando coleta as informações
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
As etapas de organização, análise e interpretação das
informações são tratadas conjuntamente por Worthen et al.
(2004).
Nessas etapas, é preciso definir as técnicas
de análise de dados, bem como os meios
para realizá-la
A interpretação dos dados deve ser feita de
acordo com as necessidades do
cliente da avaliação, consultando-o
para verificar de que maneira ele os
interpreta
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Na apresentação das informações, é preciso avaliar a forma adequada para apresentar o
relatório, de acordo com o público que utilizará a avaliação
Devem ser apresentadas: informações necessárias para responder as perguntas abordagem de coleta fontes de informação métodos e formas de coleta de dados procedimentos de análise e interpretação de dados e de
redação do relatório.
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Por fim, fazer um
plano de gestão da avaliação O plano de gestão: indicará quem irá gerenciar a equipe servir de ligação com clientes e stakeholders identificar e lidar com influências políticas.
Numa formulação mais completa, o
autor propõe seis atividades:
1. Focar a avaliação
2. Coletar informações
3. Organizar informações
4. Avaliar informações
5. Apresentar informações
6. Administrar a avaliação
4.1 Stufflebeam (apud Worthen et al., 2004)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
A metodologia proposta pelo autor
envolve sete etapas: 1. Decidir o foco da avaliação Quais fatores compõem o processo de avaliação
2. Formar equipe
3. Identificar interessados, perguntas e indicadores
Definir quem tem interesse no programa, quais perguntas orientam a avaliação e quais são os indicadores de resultado
4.2 Marino (2008)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
4. Levantar informações Identificar fontes, escolher métodos e
instrumentos de coleta de informações e
treinar a equipe
5. Analisar fatos e informações
6. Definir relatório e formas de
divulgação dos resultados
7. Definir as formas de utilização dos
resultados
4.2 Marino (2008)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
FOCO
FORMAÇÃO
DA EQUIPE
GRUPOS
INTERESSE
LEVANTAM.
INFO.
ANÁLISE
DE DADOS
RELATÓRIO
E DIVULGAÇÃO
DISSEMINAÇÃO
CONHECIMENTO
Objetivo, tipo de avaliação,
responsável e atribuições
Definição dos avaliadores
Beneficiários, patrocinadores e
outros interessados
Quanti e qualitativamente
Sistematização e análise
(especialista)
Conclusões e
recomendações por grupo
Para potencializar resultados e contribuir
para sua sustentabilidade/ permanência
4.2 Marino (2008)
4. Revisão Metodologia AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
4.3 Atividades (OPERACIONAL) do planejamento da avaliação 1. Definição do tipo de questões que serão perguntadas
2. Definição do prazo de avaliação (curto ou longo)
3. Opção por um estudo qualitativo ou por um quantitativo
4. Definição do design da avaliação
Quais grupos serão estudados, quantos
elementos em cada grupo, como serão
selecionados, intervalos temporais de estudo,
tipos de comparações planejados
5. Opção por um só estudo ou por
diversos em seqüência.
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
4. Revisão Metodologia
1. Aquisições
2. Custo
3. Qualidade
4. Comunicação
5. Recursos humanos
6. Tempo
7. Escopo
8. Integração
9. Riscos
4.3 Atividades (OPERACIONAL) do planejamento da avaliação
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
4. Revisão Metodologia
Elementos concretos que medem o sucesso ou o fracasso da ação em termos dos resultados operados
São observáveis na realidade e
orientam a escolha dos métodos de coleta de dados durante a avaliação
5. Revisão Indicador
5.1 Conceito - Marino (2003)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
1. Operacionais
Indicam se os recursos foram disponibilizados em
quantidades, forma e momentos adequados às
necessidades do programa
2. Desempenho
Sinalizam se os resultados planejados foram alcançados, a
partir dos objetivos definidos
3. Efetividade Indicam efeitos dos resultados da ação sobre os
beneficiários ou usuários, como mudanças na qualidade
de vida, no comportamento e nas atitudes
4. Impacto Definem resultados de prazo mais longo e maior
alcance, em termos de objetivos de políticas sociais de
maior complexidade e abrangência. São normalmente
indicadores indiretos
5. Revisão Indicador
5.2 Tipos – Armani (2006)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
1. Validade Devem ser adequados à dimensão que está
sendo medida
2. Confiabilidade Devem ter objetividade e precisão
3. Significado Devem ter relação com a missão, as metas e
os resultados de um programa
4. Equilíbrio e abrangência Devem incluir todas as dimensões relevantes
de performance (produtos, impactos, satisfação do consumidor, qualidade do serviço), evitando privilegiar um em detrimento do outro
5. Revisão Indicador
5.3 Características – Marino (2003)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
5. Clareza com relação à direção Devem indicar quais os melhores resultados
esperados (foco no objetivo, sempre “no positivo”, p. ex.: uma percentagem maior de analfabetos é um resultado negativo, já uma taxa maior de matrículas, um resultado positivo)
6. Oportunidade e relação com a ação Devem estar disponíveis quando são mais
necessários e estar relacionados com a ação do programa
7. Resistência ao deslocamento Devem ser descritos de modo a evitar que haja
tendência dos gerentes de deslocarem sua atenção para os resultados obtidos pelos indicadores, desprezando os objetivos
8. Custo-efetividade
Devem ser definidos pela equipe de avaliação
em conjunto com gerentes e especialistas de maneira consensual!
5. Revisão Indicador
5.3 Características – Marino (2003)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
CONCEITO VARIÁVEIS INDICADORES
Preparação de profissionais para
trabalhar como técnicos em computação
Aulas de informática
Domínio de conhecimentos
Profissionais formados
% de aulas práticas
Desempenho em testes na área
% de alunos formados no
curso
Propõe transformar os conceitos em indicadores através da definição de variáveis
Exemplo: Preparação de profissionais para trabalhar como técnicos em computação
5. Revisão Indicador
5.4 Construção – Armani (2006)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Indicadores devem ser SMART! Specific (específico) Nada geral ou vago, mas prático e concreto
Measurable (mensurável) Responde às perguntas: quantos, quanto, em que medida?
Achievable (alcançável) Há recursos humanos e materiais suficientes?
Realistic (realista) É viável? É possível fazer?
Time-bound (com prazo determinado) Quais são as datas limite para alcançar os objetivos?
5. Revisão Indicador
5.5 Dica!
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
6. Revisão BSC
6.1 Balanced Scorecard – BSC
Objetivo:
Tradução da visão de futuro da
organização em objetivos estratégicos
correlacionados entre si, abrangidos por
quatro perspectivas:
Financeira
Mercadológica
Interna (processos)
Aprendizado e crescimento
Há o alinhamento de iniciativas com a estratégia da
organização em um processo de feedback e
aprendizado contínuo
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Criado por David Parmenter (2007), para:
auxiliar a tomada de decisão nas
organizações por meio de indicadores que
mensurem aspectos essenciais para o
sucesso da organização e sua
permanência.
São mais importantes do que os
de resultados, pois se referem a
processos e atividades que podem ser
modificadas para atingir o resultado
Perfazem 10% dos indicadores de uma organização!
7. Revisão KPI
7.1 Conceito KPI: key performance indicator
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
1. Não se expressam em
unidades monetárias
2. São calculados com
freqüência, ou seja, em
bases diárias
3. Ações para melhorá-los são
empreendidas pela alta
direção da organização
7. Revisão KPI
7.2 Características KPI: key performance indicator
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
4. Todo o staff da organização deve
compreender o indicador e as
ações necessárias para corrigir
eventuais problemas
5. A responsabilidade pelo indicador
cabe a indivíduos ou equipes
6. Possuem impactos significativos
sobre fatores críticos de sucesso
7. Geram impactos positivos sobre
outras medidas de desempenho
(PARMENTER, 2007).
7. Revisão KPI
7.2 Características KPI: key performance indicator
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Identificar fatores
críticos de sucesso
Para determiná-los, é preciso
definir quais aspectos são
fundamentais para a
sobrevivência de uma
organização,
como o apoio político, a existência de
pessoal capacitado para a prestação de
serviços, a garantia de um fluxo
orçamentário, as relações com a
comunidade, e assim por diante
7. Revisão KPI
7.3 Ponto Chave!
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Gestão orientada por resultados
Estrutura os fluxos de recursos,
as atividades dos programas e o uso da informação não para os processos, como é normal nas atividades governamentais, mas para os resultados
8. Gestão por Resultados
8.1 Wholey (1983)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
OBJETIVOS
9.1 Classificação segundo WORTHEN, SANDERS e FITZPATRICK (2004)
ADMINISTRAÇÃO
ESPECIALISTAS
ADVERSÁRIOS
CONSUMIDORES
PARTICIPANTES
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
Proponentes
Finalidade
Características
Usos no passado
9.2 Abordagem da avaliação centrada em OBJETIVOS
Tyler
Provus
Metfessel e Michael
Hammond
Definir objetivos mensuráveis
Usar instrumentos objetivos para coleta de
dados
Procurar discrepâncias entre objetivos e
desempenho
Determinar o grau em que os objetivos foram
alcançados
Desenvolvimento de programas
Supervisão de resultados
Estimativa de necessidades
OBJETIVOS
Poham
Taba
Bloom
Talmage
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Contribuições à conceituação Critérios para julgar as avaliações
9.2 Abordagem da avaliação centrada em OBJETIVOS
Vantagens Limitações
Fácil de usar
Foco nos resultados
Grande acessibilidade
Obriga à definição dos objetivos
Simplificação exagerada da avaliação e dos
programas
Voltada exclusivamente aos resultados
Reducionista
Mensuração do desempenho antes e depois
Esclarecimento dos objetivos
Uso de testes de objetivos e mensurações
tecnicamente sólidos
Mensurabilidade dos objetivos
Mensuração da confiabilidade e da validade
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Proponentes
Finalidade
Características
Usos no passado
9.3 Abordagem da avaliação centrada em CONSUMIDORES
Scriven
Komosk
Usar listas de verificação de critérios para
analisar produtos
Testar produtos
Informar consumidores
Dar informações sobre produtos
Ajudar na tomada de decisões sobre compras
ou escolhas de serviços
Relatórios ao consumidor
Desenvolvimento de produtos
Seleção de produtos para distribuição
CONSUMIDORES
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
9.3 Abordagem da avaliação centrada em CONSUMIDORES
Contribuições à conceituação Critérios para julgar as avaliações
Vantagens Limitações
Ênfase nas necessidades de informação do
consumidor
Influência sobre os criadores de produtos
Preocupação com a relação custo-benefício e
utilidade
Existência de listas de verificação
Custo e falta de financiamento
Pode suprimir a criatividade ou a inovação
Não é aberta ao debate nem ao exame de
pontos de vista contrários
Listas de critérios para avaliar produtos e
atividades educacionais
Referências a arquivos de estudos finalizados
Papel formativo e somativo da avaliação
Controle da tendenciosidade
Eliminação da tendenciosidade
Solidez técnica
Critérios usados para tirar conclusões e fazer
recomendações
Evidência da necessidade e efetividade
requeridas
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Proponentes
Finalidade
Características
Usos no passado
9.4 Abordagem da avaliação centrada em ESPECIALISTAS
Eisner
Grupos de acreditação
Basear juízos em conhecimentos e
experiência individual
Usar padrões de consenso
Visitas à equipe/localidade
Oferecer julgamentos profissionais de
qualidade
Auto-avaliação
Exame de acreditação feito pelo comitê
Crítica
ESPECIALISTAS
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Contribuições à conceituação Critérios para julgar as avaliações
9.4 Abordagem da avaliação centrada em ESPECIALISTAS
Vantagens Limitações
Cobertura ampla
Eficiência: fácil implementação e
pogramação
Capitaliza o juízo humano
Reprodutibilidade
Vulnerabilidade a preferências pessoais
Escassez de documentação-base para conclusões
Aberta ao conflito de interesses
Visão superficial do contexto
Uso exagerado da intuição
Confiança na qualificação dos ”especialistas”
Legitimação da crítica subjetiva
Auto-avaliação com verificação externa
Padrões
Uso de padrões reconhecidos
Qualificações dos especialistas
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Proponentes
Finalidade
Características
Usos no passado
9.5 Abordagem da avaliação centrada em ADVERSÁRIOS
Wolf
Owens
Levine
Kourilsky
Usar audiências públicas, pontos de vista
contrários
Decisões baseadas em argumentos ouvidos
durante o processo
Oferecer um exame qualificado de todos os
lados de questões controvertidas, sublinhando
tanto seus pontos fortes quanto seus pontos
fracos
Exame de questões ou programas controversos
ADVERSÁRIOS
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Contribuições à conceituação Critérios para julgar as avaliações
9.5 Abordagem da avaliação centrada em ADVERSÁRIOS
Vantagens Limitações
Cobertura ampla
Exame das declarações
Dirigida ao fechamento ou à resolução
Lança luz sobre os diferentes lados das questões
Impacto sobre o público
Uso de grande variedade de informações
Árbitros ou juízes falíveis
Elevados custos potenciais e consumo de tempo
Dependência da capacidade de investigação e
de comunicação dos apresentadores
Irrelevâncias potenciais ou polarização artificial
Limitada às informações que serão apresentadas
Uso de formas forenses e judiciais de
audiências públicas
Reexame completo da evidência
Apresentação integral de múltiplas
perspectivas
Foco nas questões e no seu esclarecimento
Equilíbrio
Equidade
Publicidade
Oportunidade de verificar pontos de vista
contrários
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Proponentes
Finalidade
Características
Usos no passado
9.6 Abordagem da avaliação centrada em PARTICIPANTES
Stake
Patton
Guba e Lincoln
Rippey
Refletir sobre realidades múltiplas
Usar o raciocínio e a conclusão indutivos
Experiência do local em primeira mão
Compreender e retratar as complexidades de
uma atividade programática, respondendo às
necessidades de informação de determinado
público
Exame de inovações ou mudanças sobre as
quais pouco se sabe
Etnografias de programas em curso
MacDonald
Parlett e Hamilton
Cousins e Earl
PARTICIPANTES
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Contribuições à conceituação Critérios para julgar as avaliações
9.6 Abordagem da avaliação centrada em PARTICIPANTES
Vantagens Limitações
Foco na descrição e no julgamento
Interesse pelo contexto
Abertura para desenvolver plano de avaliação
Pluralista
Uso de raciocínio indutivo
Uso de grande variedade de informações
Ênfase na compreensão
Não é diretiva
Tendência a ser atraída pelo bizarro ou atípico
Pode ser intensiva em termos de mão-de-obra
Pode ter custos elevados
Generalização de hipóteses
Risco de não se chegar ao fechamento
Planos de avaliação emergentes
Uso de raciocínio indutivo
Reconhecimento das múltiplas realidades
Importância de estudar o contexto
Critérios para julgar o rigor da investigação
naturalista
Credibilidade
Adequação
Auditabilidade
Confirmabilidade
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Proponentes
Finalidade
Características
Usos no passado
9.7 Abordagem da avaliação centrada em ADMINISTRAÇÃO
Stufflebeam
Alkin
Provus
Ajudar na tomada de decisão racional em
todos os estágios de criação do programa
Dar informações úteis
Ajudar na tomada de decisões
Desenvolvimento de programas
Sistemas administrativos institucionais
Planejamento de programas
Prestação de contas
ADMINISTRAÇÃO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Contribuições à conceituação Critérios para julgar as avaliações
9.7 Abordagem da avaliação centrada em ADMINISTRAÇÃO
Vantagens Limitações
Abrangência
Sensibilidade às necessidades de informação
daqueles que ocupam posições de liderança
Abordagem sistemática ao longo de todo o
processo de desenvolvimento do programa
Bem operacionalizada, com orientações
detalhadas de implementação
Uso de ampla variedade de informações
Ênfase na eficiência operacional e no modelo
de produção
Premissas de ordem e previsibilidade na
tomada de decisões
Pode ser cara para administrar e manter
Foco estreito nas preocupações dos líderes
Identificar e avaliar necessidades e objetivos
Considerar planos alternativos e avaliá-los
Supervisionar a implementação de um programa
Procurar defeitos e explicar resultados
Verificar se necessidades foram reduzidas/elimin.
Meta-avaliação
Orientações para institucionalizar a avaliação
Utilidade
Viabilidade
Propriedade
Solidez técnica
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
9. Revisão Abordag. Aval.
Conjunto de proposições a respeito de
como um programa social se
relaciona com os benefícios
sociais que se espera que
venha a produzir,
bem como a estratégia e as táticas que
o programa adota para alcançar seus
objetivos e metas
10.1 Rossi et al (2004)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
O avaliador constrói um
modelo teórico dos recursos
do programa, de seus
processos e de seu produto,
desenvolve medidas desses
elementos, recolhe e analisa dados
sobre o programa, produzindo uma
avaliação abrangente
10.2 Shadish et al (2004)
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
Cada ação social é construída
por uma ou mais proposições
teóricas de causa e efeito, que
definem o funcionamento do
programa
EXEMPLO:
Um programa de combate ao uso abusivo
do álcool
Trabalha com a suposição de que as pessoas que
freqüentem as sessões de aconselhamento mudarão seu
comportamento e deixarão de beber em demasia.
10.3 Processo de construção – CONCEITO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
Porém, nem sempre essas
suposições, por mais lógicas que
pareçam, são verdadeiras!
É preciso construir uma
teoria válida, o que deve ser
feito a partir de algumas etapas,
descritas a seguir
Estimativa de avaliabilidade
10.4 Processo de construção – PRESSUPOSTO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
1. Produzir uma descrição do
modelo do programa,
definindo seus objetivos e metas
2. Estimar o quanto o programa
está bem definido e pode
ser avaliado
3. Identificar os interesses dos
stakeholders pela avaliação e
pelo uso das descobertas.
10.5 Processo de construção – Estimativa de AVALIABILIDADE
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
1. Teoria do impacto do programa
2. Plano de utilização de serviços
3. Plano organizacional do programa
10.6 Elementos da Teoria do Programa – DESCRIÇÃO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
Descreve uma seqüência
de causa e efeito entre
certas atividades e os
resultados pretendidos,
operacionalizada pelas suas
transações ou meios
Atividades pelas quais um programa produz
os efeitos pretendidos
10.7 Elementos da Teoria do Programa – TEORIA DO IMPACTO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
EXEMPLO:
Um programa de saúde usa
campanhas de mídia
(causa) para aumentar o
conhecimento das pessoas
sobre dietas saudáveis
(meios) para produzir
mudanças de hábitos
alimentares (efeitos)
Campanha
maciça na
mídia
Conhecimento
sobre dietas
Mudança de
hábitos: dietas
saudáveis
Pessoas
desconhecem
hábitos
saudáveis
Pessoas com
dietas não
saudáveis
Focaliza as suposições
críticas sobre como e por
quê a população pretendida
irá se engajar no programa e
obter serviços suficientes para que o processo de mudança
representado na teoria do impacto
seja iniciado
Esse plano descreve as transações do
programa a partir do ponto de vista
da população-alvo e dos locais e
espaços em que ela terá contato com
o programa.
10.8 Elementos da Teoria do Programa – PLANO DE UTILIZAÇÃO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
10.8 Elementos da Teoria do Programa – PLANO DE UTILIZAÇÃO
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
População com
problemas
alimentares
Assiste à campanha
na TV
Visita
nutricionistas
cadastrados
Tem orientação
alimentar
Muda sua dieta
Plano do Programa
Não assiste à
campanha na TV
Não procura
nutricionista
Não tem orientação
alimentar
Não muda sua dieta
Enfatiza atividades que levam a benefícios sociais, sob a perspectiva dos gestores do programa
Abrange as funções e atividades a serem desempenhadas, os recursos humanos, financeiros e físicos exigidos
10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL – exemplo!
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
Recursos
Impactos
Atividades
Prod/Serv
Iniciais Intermediários Longo prazo
Atividades previstas: Inserções na TV são veiculadas Novelas e programas de variedades abordam o tema Folders e folhetos entregues em clínicas e hospitais Nutricionistas fornecem orientações sobre alimentação saudável
Plano organizacional para campanha Recursos definidos: Agência governamental oferece recursos financeiros TVs oferecem espaço na programação Nutricionistas produzem material de divulgação Nutricionistas oferecem assistência e planos de reeducação alimentar Hospitais e clínicas identificam candidatos
10.9 Elementos da Teoria do Programa – PLANO ORGANIZACIONAL – exemplo!
AVALIAÇÃO DE DESEMPENHO: Aula 11: Teoria do Programa
10. Teoria do Programa
Recursos
Impactos
Atividades
Prod/Serv
Iniciais Intermediários Longo prazo
Resultado esperado (produto): Participação de pessoas no programa de reeducação alimentar
Impactos esperados: INICIAL: Pessoas com dietas mais saudáveis INTERMEDIÁRIOS: Redução de peso Melhoria na qualidade de vida LONGO PRAZO: Redução de doenças cardiovasculares