A defasagem entre produção científica e sua concreta tradução na melhoria da qualidade de vida das pessoas é bem conhecida”. (Berghmans & Potvin, 2005)

De que modo as informações produzidas na avaliação podem influenciar* as práticas dos atores e favorecer as melhorias sociais? Como mapear e documentar essas consequências (ou evidências) em diferentes contextos?

…e a Efetividade da Avaliação em P.S.?

*“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um ‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.

Knowledge into action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices.Hartz ZMA; Denis J-L; Santos, EM; Matida A*

PROGRAMAÇÃO E AVALIAÇÃO EM PROMOÇÃO DA SAÚDE. Louise Potvin,L & Silvie Gendron. ( Recife-2006: GEAS/IMIP; ENSP/Fiocruz e ISC/UFB).

Apresentação1- Utilidade e contextos na meta-avaliação: abordagem normativa x reflexiva

2- Modelo ‘traduzido’ das conseqüências da avaliação e circuitos das inovações 3- Da teoria à prática: questões de pesquisa que permitem dar visibilidade sobre as consequências da avaliação

*Health Promotion Evaluation Practice in the Americas: Values and Research (forthcoming). New York: Springer.

Programas

(Inter)Nacional-Local

Meta-avaliação

Avaliação

Contextos

1-Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”), nos “textos” produzidos pelos diversos atores e seus significados.Bezzi, 2006 “Evaluation Pragmatics”

Tempo

A meta-avaliação deve ser um questionamento reflexivo do processo da avaliação, e de seus resultados, enquanto inovações implementadas no “espaço social dos programas” (Potvin et al., 2006), através das operações de tradução/interpretação na aprendizagem política e organizacional.

1.1-Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são apenas textos. O programa e sua lógica... técnicas de todos os tipos; as descobertas da avaliação (sejam tabelas numéricas ou conjuntos de recomendações) estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas. Bezzi,2006

“...o governo central estará interessado em dados

agregados para descobrir tendências e resultados globais... Avaliações que são mais válidas do ponto de vista de governos descentralizados podem ser vistas como sendo de pouco valor em nível central... nem todos os atores entenderão determinada avaliação como igualmente relevante e utilizável. Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interações de atores desempenham um papel não somente na produção de resultados, mas também na geração de procedimentos de aprendizado como conseqüência da avaliação.

Van der Meer&Edelenbos,2006

1.2-Como conciliar as demandas (muitas vezes contraditórias) do (inter)nacional-local-comunitário?

2- Modelo dos estudos de utilidade/influência da avaliação

FontesProcessos

Resultados

IntençãoPrevista

Inesperada

MomentoImediato

Ciclos

Longo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasão

Lideranças

Opiniões

Normas sociais

ColetivoPolíticas

Organizações

Melhorias Sociais

Níveis/mecanismos de Influência- Kirkhart (2000), Henry & Mark(2003)*

F

oco

n

a U

tilid

ad

e -

Pat

ton

,199

7; W

eiss

,CD

C19

99

*A avaliação é análoga a uma intervenção ou um programa... tem consequências que podem ser boas, más neutras...Uma teoria da avaliação deve estar centrada no subconjunto de conseqüências plausíveis de conduzir ou não ao desenvolvimento social.

(como efetuar uma análise sistemática de efetividade da avaliação)

Se a importância da influência das pesquisas nas políticas de saúde…vêm sendo descritas há, pelo menos 20 anos, um quadro geral de sub-utilização é reconhecido (Hanney,2003; Almeida&Boscolo, 2006)

Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras…pontes deveriam ser construidas…mas está sempre faltando conhecimento sobre onde…como, ou por quem. (Trostle, 1999 p.103;112).

“Há muitas razões para pensar que a relação entre tomador de decisões e os investigadores são muito difíceis, freqüentemente conflitadas e, às vezes, impossível...há uma necessidade de um agente, ou uma função, que atue como um mediador entre os dois mundos...eles devem ser capazes de traduzir a pesquisa em decisão, mas também questões dos decisores em pesquisa” Pouvourville (1999, p. 894).

“Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência” Latour 2001

O termo ‘mediação’, em contraste com ‘intermediário’, que é totalmente medido por seus insumos e produtos, sempre excede as condições previsíveis. Isto faz uma grande diferença entre os que identificam conjuntos de ‘práticas’, como meros intermediários, e aqueles que vêem nas mediações verdadeiros autores ou ‘eventos’ (substituindo a noção de ‘descoberta’-qualquer experiência ou ação com conseqüências para a historicidade dos componentes:rede s-t contínua espaço-tempo).

Utilidade e influência da avaliação em Promoção da Saúde(2)

FontesProcessos

Resultados

IntençãoPrevista

Inesperada

MomentoImediato

Ciclos

Longo prazo

IndividualAtitudes

Habilidades

Condutas

InterpessoalPersuasão

Lideranças

Opiniões

Normas sociais

ColetivoPolíticas

Organizações

Melhorias Sociais

Historicidade (Contexto-Tempo)

Teoria da Tradução

Problematiza Mobiliza

Interessa Envolve

F

oco

n

a

Util

ida

de

Latour,2001

Inst

ituci

onal

izaç

ão

Politização

“A ação intencional e a intencionalidade ...não são propriedades de humanos. São propriedades de instituições, de aparatos, daquilo que Foucault chama de dispositivos. Somente pessoas jurídicas estão aptas a observar a proliferação de mediadores, a regular sua expressão, a redistribuir habilidades... a obscurecer-se e fechar-se”.

Instituição refere-se a um lugar, leis, pessoas e costumes que são contínuos no tempo. Em sociologia tradicional o termo ‘institucionalizado’é empregado como uma crítica à baixa qualidade da ciência ‘rotineira’...Aqui o significado é positivo, uma vez que as instituições são vistas como responsáveis pelas mediações necessárias para apoiar os ‘atores’.

Latour, 2001

...“a literatura empírica sobre a influência da avaliação é escassa, sendo limitado o número de pesquisas acerca da influência da avaliação sobre o aprimoramento do programa, da política e dos participantes” (Christie, 2007).

3- Da teoria à prática:

Como fazer uma avaliação “utilizável e utilizada” (Influente) são tópicos familiares e preocupações perenes para os avaliadores em geral (particularmente ligados às avaliacões de tecnologias e cuidados de saúde) mas devemos considerar os desafios e limites desta pretensão se não tentarmos continuamente responder, também como questões de pesquisa avaliativa, às seguintes indagações*:

* “As consequências da avaliação” (Conferência AEA ,2006 -20° aniversário)

•Entre as possíveis consequências da avaliação quais nós estamos buscando, em que contextos, e por quê?

•Quais são os efeitos inesperados (não intencionais) ou “externalidades” de nossos estudos?

• Quais são as consequências das avaliações passadas sobre nossa prática atual e/ou futura de avaliadores?

•Como as consequências das avaliações já concluídas se refletem nas políticas e práticas da promoção da saúde?

As operações de translação/tradução, transformando as questões políticas em questões de técnica e vice-versa, juntamente com a metáfora de um sistema circulatório capaz de “manter vivos os fatos científicos”, permitem repensar e potencializar o uso ou influência da (meta)avaliação como ‘prática científica’ em promoção da saúde,multiplicando os mediadores que a produzem coletivamente e orientar seus projetos de pesquisa

MUITO OBRIGADA

zulmirah@terra.com.br