ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos...

13
215 TEMAS LIVRES FREE THEMES Utilização de pesquisas: Como construir modelos teóricos para avaliação? Research use: how to build a theoretical model of evaluation? 1 Departamento de Ciência Tecnologia/SCTIE/ Ministério da Saúde. Condomínio Verde, Rua Buritis 13, SHIS, 71680-608, Brasília DF. [email protected] 2 Secretaria Municipal de Saúde do Rio de Janeiro, Investigação de Sistemas e Serviços de Saúde, OPAS/ENSP/Fiocruz. Flávia Tavares Silva Elias 1 Maria Aparecida de Assis Patroclo 2 Abstract Many international forums agree that scientific investigations are a subsidy for the deci- sion making process in health. The goal of this ar- ticle is that of making a bibliographical revision which may allow the proposal of a suitable model for evaluating how results of researches are used in the development of health policies. Two au- thors were chosen as a theoretical referential due to their contributions in the contexts of America (Weiss, C.) and Latin-America (Trostle et al.). The following components were included in the theoretical model: research, interaction, commu- nication, players, social pressure and funding. Re- sults were seen according to a specific criteria as to better evaluate each component. A matrix to evaluate how efficient the use of research data may be was developed considering categories as follows: structural, operational, strategic, systemic and specific. For demonstrate the balance of forces involved in the process of linking research to poli- cies, an encouragement-obstacle matrix was de- veloped. Social, economic, political, cultural and managerial dimensions were considered. The set including the model and the matrixes subsidize to select the indicators for evaluating and monitor- ing any program that may base itself on results of researches of the Ministry of Health. Key words Theoretical model of evaluation, In- dicators of the the use of research Resumo Diversos fóruns internacionais consi- deram que investigações podem subsidiar a toma- da de decisão em saúde. O artigo tem como obje- tivo a revisão bibliográfica para propor modelo de avaliação do uso de resultados de pesquisas em políticas de saúde. Dois autores foram seleciona- dos como referencial teórico, pela contribuição no contexto americano (Weiss, C.) e latino-america- no (Trostle et al.). Foram selecionados os seguin- tes componentes como parte do modelo teórico: pesquisa, comunicação, interação, atores, pressão social e financiamento. Nos resultados incluíram- se critérios para avaliar cada componente. Elabo- rou-se matriz de efetividade da utilização de pes- quisa com as categorias de análise: estrutural, operacional, estratégica, sistêmica e específica. Para demonstrar o balanço de forças atuantes no processo pesquisa/política elaborou-se matriz de fatores de promoção e de impedimento. As di- mensões sociais, econômica, política, cultural e gerencial foram selecionadas. O conjunto com- posto pelo modelo teórico e as matrizes subsidiam a seleção de indicadores de monitoramento e ava- liação de um programa de utilização de resulta- dos de pesquisas do Ministério da Saúde. Palavras-chave Modelo teórico de avaliação, Indicadores do uso de pesquisa

Transcript of ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos...

Page 1: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

215

TE

MA

S LIV

RE

S FR

EE

TH

EM

ES

Utilização de pesquisas: Como construir modelos teóricos para avaliação?

Research use: how to build a theoretical model of evaluation?

1 Departamento de Ciência Tecnologia/SCTIE/Ministério da Saúde.Condomínio Verde,Rua Buritis 13, SHIS,71680-608, Brasília [email protected] 2 Secretaria Municipal de Saúde do Rio de Janeiro,Investigação de Sistemas e Serviços de Saúde,OPAS/ENSP/Fiocruz.

Flávia Tavares Silva Elias 1

Maria Aparecida de Assis Patroclo 2

Abstract Many international forums agree thatscientific investigations are a subsidy for the deci-sion making process in health. The goal of this ar-ticle is that of making a bibliographical revisionwhich may allow the proposal of a suitable modelfor evaluating how results of researches are usedin the development of health policies. Two au-thors were chosen as a theoretical referential dueto their contributions in the contexts of America(Weiss, C.) and Latin-America (Trostle et al.).The following components were included in thetheoretical model: research, interaction, commu-nication, players, social pressure and funding. Re-sults were seen according to a specific criteria asto better evaluate each component. A matrix toevaluate how efficient the use of research datamay be was developed considering categories asfollows: structural, operational, strategic, systemicand specific. For demonstrate the balance of forcesinvolved in the process of linking research to poli-cies, an encouragement-obstacle matrix was de-veloped. Social, economic, political, cultural andmanagerial dimensions were considered. The setincluding the model and the matrixes subsidize toselect the indicators for evaluating and monitor-ing any program that may base itself on results ofresearches of the Ministry of Health.Key words Theoretical model of evaluation, In-dicators of the the use of research

Resumo Diversos fóruns internacionais consi-deram que investigações podem subsidiar a toma-da de decisão em saúde. O artigo tem como obje-tivo a revisão bibliográfica para propor modelode avaliação do uso de resultados de pesquisas empolíticas de saúde. Dois autores foram seleciona-dos como referencial teórico, pela contribuição nocontexto americano (Weiss, C.) e latino-america-no (Trostle et al.). Foram selecionados os seguin-tes componentes como parte do modelo teórico:pesquisa, comunicação, interação, atores, pressãosocial e financiamento. Nos resultados incluíram-se critérios para avaliar cada componente. Elabo-rou-se matriz de efetividade da utilização de pes-quisa com as categorias de análise: estrutural,operacional, estratégica, sistêmica e específica.Para demonstrar o balanço de forças atuantes noprocesso pesquisa/política elaborou-se matriz defatores de promoção e de impedimento. As di-mensões sociais, econômica, política, cultural egerencial foram selecionadas. O conjunto com-posto pelo modelo teórico e as matrizes subsidiama seleção de indicadores de monitoramento e ava-liação de um programa de utilização de resulta-dos de pesquisas do Ministério da Saúde.Palavras-chave Modelo teórico de avaliação,Indicadores do uso de pesquisa

Page 2: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

216216216216216216216

Introdução

No contexto internacional, diversos fórunsmundiais e latino-americanos consideram queo uso de informações geradas por investigaçõescientíficas pode subsidiar a alocação de recur-sos, visando ao maior benefício à saúde da po-pulação e integrando uma estratégia global dedesenvolvimento social com eqüidade (WHO/ACHR, 1998, WHO, 1998). Destacam-se as re-comendações do Council on Health Researchfor Development (COHRED), que constituiuum grupo de trabalho para aprimorar as estra-tégias de integração entre pesquisa e ação e, emparticular, pesquisa e política (COHRED, 2000a;OPS, 2000)

Na América Latina e Caribe, fórum regio-nal promovido, em 2000, pela OrganizaçãoPan-Americana da Saúde (OPS), intituladoUsos da Investigação em Reformas do SetorSaúde, foi um marco no sentido de intensificaro subcampo de investigações em sistemas e ser-viços de saúde (OPS, 2000).

Em 2001, na reunião preparatória da Cú-pula das Américas, promovida pela OPS, assu-miu-se que o processo de produção, tradução,utilização e disseminação de conhecimento écomplexo e exige responsabilidade tripartite depesquisadores, gestores e usuários de serviços.

No Brasil, o Sistema Único de Saúde (SUS)tem atribuições voltadas para incrementar odesenvolvimento científico e tecnológico emsaúde e a avaliação do impacto que as tecnolo-gias provocam à saúde (lei 8.080/90). A 1a Con-ferência de Ciência e Tecnologia em Saúde(MS, 1994) foi um marco para promoção dearticulações intersetoriais no sentido de elabo-rar diretrizes para definição de uma política deciência e tecnologia em saúde.

Ao Ministério da Saúde (MS), gestor fede-ral do SUS, compete também formular, avaliar,elaborar normas e participar na execução dapolítica nacional de produção de insumos eequipamentos para a saúde. Para cumprir comas atribuições, em 2001, o Ministério estrutu-rou o Departamento de Ciência e Tecnologia(DECIT) e, em 2003, foi criada a Secretaria deCiência, Tecnologia e Insumos Estratégicos. NoPlano Plurianual estão orçados para 2004 cercade 260 milhões no âmbito do programa deciência, tecnologia e inovação em saúde. Destaforma, o Ministério da Saúde é financiador,usuário e indutor de pesquisa em saúde.

Existem vários estudiosos no campo da uti-lização de resultados de pesquisas, tais como:

D. Donnison (1972), Weiss C. (1975, 1978, 1979,1991); Nathan C. (1975); Weiss J. (1976); Wit-trock B. (1991); Frenk J. (1992); Barthley M.(1992); Pahl J. (1992); Hailey D. M. (1993);Ferguson J. H. (1993); Mckinlay J. (1993); Hai-nes A. (1994); Walt G. (1994); Stocking B.(1995); Porter R. W. (1995); Davis P. et al.(1996); Brownson R. C. et al. (1997, Trostle J.et al. (1999). Neste estudo, entretanto, serãoconsiderados dois teóricos, selecionados porserem referências e por representarem contex-tos culturais distintos: contexto cultural norte-americano (Weiss C.) e contexto cultura lati-no-americano (Trostle J.).

Considerando os múltiplos caminhos pos-síveis para a elaboração de modelos teóricos econstrução de indicadores de avaliação da uti-lização de pesquisas, iremos, a partir da descri-ção e análise de conceitos, destacar questões aserem consideradas em qualquer avaliação des-sa natureza.

Na década de 1970, nos Estados Unidos daAmérica do Norte, estudos realizados por Weiss(1979) referiam que os cientistas sociais esta-vam preocupados sobre como fazer uso de suaspesquisas para formulação de políticas públicase que os gestores manifestavam preocupaçãocom a utilidade das pesquisas financiadas porórgãos governamentais. Havia interesse mútuoem saber se as pesquisas em ciências sociais quepretendiam influenciar políticas eram de fato“usadas”; mas era necessário o entendimentodo que significava “utilização de pesquisa”.

A autora fez uma revisão na literatura, re-velando diferentes significados para o termo“utilização de pesquisa”, analisou como a pes-quisa tem afetado e podia influenciar políticas,e apresentou sete modelos associados ao signi-ficado do conceito.

Na figura 1, representamos graficamente osmodelos elaborados por Weiss (1979) e identi-ficamos questões relevantes a serem considera-das em modelos teóricos de avaliação do uso depesquisas em políticas de saúde.1) Modelo do conhecimento dirigido: é o maisdescrito na literatura e deriva das ciências natu-rais. Assume seqüência linear e o fato de o co-nhecimento existir pressiona o seu desenvolvi-mento e uso (Figura 1).

As questões a serem consideradas nesse mo-delo do conhecimento dirigido são: a) Os resul-tados de pesquisa permitem o desenvolvimentode novas tecnologias? b) O estágio em que se en-contra o conhecimento permite que as novastecnologias sejam desenvolvidas em curto pra-

Page 3: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Figura 1 Representação dos modelos de Weiss (1979) associados ao significado do conceito de uso de pesquisa.

Modelo de conhecimento dirigido

Modelo de resolução de problemas

Modelo interativo

Modelo político

Modelo tático

Modelo iluminador/esclarecedor

Modelo empreendedor

Ciên

cia & Saú

de C

oletiva,10(1):000-000,2004

217

Pesquisa básica

Pesquisa aplicada

Desenvolvimentode tecnologia

Incorporação de novas

tecnologias

V V V

Problemas ou decisãopendentes

definidas pelosatores

Demanda de buscade informação econhecimento

existente

Demanda depesquisa

Solução ou alternativas

de soluçãoencontrada

Tomada de decisão

VV V

V V

Decisão pendente

Busca deinformação econhecimento

em várias fontes

Conexões entreexperiência,

pesquisaproduzida, mídia,etc. estabelecidas

Tomada de decisão

V V V

Obtenção eutilização deresultados depesquisa porideologia ouinteligência

Neutralização de oponentes,convecimento de indecisos,sustentção de

partidários

Acesso aevidênciascientíficas,a todos os

participantes doprocesso político

Advocacia,redução deincertezas,

finalização dedebates

Tomada de decisão

V V V V

Pressão socialPesquisa comorecurso tático

Promessa de açãoa partir dos

resultados depesquisa

Utilização deagências ou

pesquisadores deprestígio

Tentativa de evitarresponsabilizaçãodireta por política

impopular

Legitimação de políticaburocrática

V V V V V

Resultados depesquisa divulgadoscanais em formais

e informais

Suportesadequados/

inadequados

Mudanças deparâmetros

Decisões sensatas/

insensatas

V V V

Questões sociais

Interesses políticos

Empreendimentospara obtenção de

fundos parapesquisa

Existência definanciamento

atrai pessoas paraestudar a questão

Resposta a proble-mas na direção do

pensamento popu-lar ou intelectual

V V V V

Page 4: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

218

zo? c) As novas tecnologias teriam menor oumaior custo? Trariam benefício, efetividade e se-gurança igual ou maior do que as já existentes?2) Modelo de resolução de problema: a con-cepção mais comum de utilização de pesquisa,envolve a aplicação direta de resultados de umestudo específico para a solução de um proble-ma ou para a tomada de decisão pendente. Aexpectativa é que a pesquisa forneça evidênciasempíricas e conclusões para ajudar a resolverum problema. A utilização dos resultados dapesquisa só é possível se os atores principais –formuladores de política – definem com preci-são o problema; se os resultados da pesquisanão são ambíguos, se possuem bases teóricassólida e não são contrários a fortes interessespolíticos e se apontam para uma solução ou al-ternativas de solução que permitam a tomadade decisão (Figura 1).

As questões a serem consideradas no mo-delo resolução de problemas são: a) Os formu-ladores de política solicitaram pesquisas pararesolver problemas ou tomar decisão? b) Oproblema ou decisão pendente estava bem de-finido? d) Os resultados de pesquisa fornece-ram alternativas de solução? Contrariam fortesinteresses políticos?3) Modelo interativo: os formuladores de po-lítica buscam a informação em diferentes fon-tes e consultam diferentes grupos sociais. Sãoutilizadas experiências acumuladas, pressão so-cial, resultado de pesquisa, entre outros insu-mos, e assim se estabelecem conexões para to-mada de decisão. O pesquisador faz parte deum dos grupos de informantes e a pesquisa po-de ser rejeitada, usada parcial ou totalmente,não estando necessariamente representada napolítica adotada (Figura 1).

As questões a serem consideradas no mo-delo interativo são: a) Foram consideradas ex-periências e informações de vários grupos so-ciais para formulação da política? b) Os resul-tados de pesquisa ou opinião de pesquisadoresforam incluídos como categoria mais impor-tante na formulação da política?4) Modelo político: os formuladores de políticautilizam a pesquisa por interesse ideológico oupor inteligência para convencer indecisos, neu-tralizar oponente, sustentar partidários. Há aces-so das evidências científicas sem distorções aosparticipantes do processo decisório e por meioda advocacia há redução de incertezas e finaliza-ção de debates. É o uso estratégico da pesquisano processo decisório. O resultado da pesquisanão estará presente na política final (Figura 1).

As questões a serem consideradas no modelopolítico são: a) Os governantes/formuladores depolíticas utilizaram resultados de pesquisa comque finalidade? b) Os participantes tiveram aces-so às evidências científicas sem distorções?5) Modelo tático: a partir de demandas sociaispor ação, os formuladores de política utilizama necessidade de pesquisa como recurso táticopara conter pressões e prometem ação a partirdo resultado de pesquisa. Serve para evitar aresponsabilização direta se tiverem de implan-tar uma política impopular (Figura 1).

As questões a serem consideradas no mo-delo tático são: a) Existia pressão social poração governamental para resolver o problema?b) Houve promessa dos governantes de agirema partir de resultados de pesquisa? c) Houveencomenda de pesquisa por parte dos gover-nantes dirigida apenas a agências e pesquisado-res com prestígio? d) Houve implantação depolítica impopular baseada ou justificada nosresultados de pesquisa?6) Modelo iluminador/esclarecedor: a difusãode resultados da pesquisa se dá por canais for-mais e informais que têm como possíveis con-seqüências a conversão de problemas em nãoproblemas e vice-versa. Gera a mudança de pa-râmetros sociais baseados em suporte que po-de iluminar ou obscurecer a tomada de decisão(Figura 1).

As questões a serem consideradas no mode-lo iluminador são: a) Os resultados de pesquisaseram contraditórios com os parâmetros da so-ciedade civil? Tiveram divulgação por canais decomunicação formais e informais? b) Os resul-tados de pesquisa podem trazer mudanças deparâmetros, que serão nefastos para um grupomaior do que os que deles podem se beneficiar?7) Modelo empreendedor: a política e a pes-quisa respondem a correntes de pensamento,modas passageiras e fantasias do período; inte-ragem influenciando uma a outra e são influen-ciadas pelo pensamento social. Interesses políti-cos emergem para questões sociais, que condu-zem a empreendimentos para obtenção de fun-dos para pesquisa e somente com a disponibili-dade dos fundos os pesquisadores são atraídospara estudar a questão. Ambos, política e pes-quisa, podem responder consciente ou incons-cientemente a problemas que se movem comrapidez em direção ao pensamento popular ouintelectual. A pesquisa é parte interconectadado empreendimento intelectual (Figura 1).

As questões a serem consideradas no mo-delo empreendedor são: a) A principal motiva-

Page 5: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Ciên

cia & Saú

de C

oletiva,10(1):215-227,2005

219

ção dos pesquisadores foi o financiamento pa-ra o estudo do problema? b) As pesquisas con-sideraram apenas os aspectos oficiais de inte-resse dos governantes/formuladores de políti-ca? c) Os governantes empreenderam esforçospara captarem fundos para as pesquisa? d) Aspolíticas tiveram direcionamento para o pen-samento popular ou intelectual?

No contexto latino-americano, estudo rea-lizado no México por Trostle et al. (1999) ana-lisa os modelos sugeridos por Weiss (1979) e ossintetiza em três abordagens. A primeira, deno-minada racional, reúne o modelo do conheci-mento dirigido e de resolução de problema erepresenta o pensamento tradicional de utili-zação de pesquisa, no qual os acontecimentospossuem seqüência linear. O processo políticoé racional e os formuladores de política usarãoos resultados de pesquisa se estas existirem. Asegunda é a estratégica, que agrega o modelopolítico e tático, em que a pesquisa é útil paraapoiar posições predeterminadas ou validardecisões. A terceira é a esclarecedora ou difuso-ra; agrega os modelos interativo, esclarecedor eempreendedor, nos quais a pesquisa e a toma-da de decisão influenciam uma a outra, e sãoinfluenciadas pelo processo social.

Para Trostle et al. embora esses modelos es-clareçam as razões do uso de pesquisas em polí-ticas, eles esclarecem muito pouco sobre o pro-cesso de formulação de políticas e são bastanteabstratos para facilitarem a comparação entrepesquisa e política. A partir dessas abordagens eda perspectiva de que o processo contingenciao desenvolvimento e implementação de mu-danças no contexto em que a política é desen-volvida, Trostle et al. consideram relevantes ascategorias: conteúdo, atores, processo e contex-to para compreensão da contribuição específicada pesquisa na formulação de políticas.

Torna-se necessário elaborar mapas de ato-res e contexto envolvendo pesquisa e política.O Estado e a sociedade civil têm áreas de inter-secção. Vários grupos de interesse agem parainfluenciar políticas. Os pesquisadores são so-mente um entre esses muitos grupos. Gruposde interesse e formuladores de política exerceminfluências mútuas. Alguns grupos de interessecomo a igreja ou a indústria privada pertenceexclusivamente à sociedade civil. Outros, comoministro da Saúde e legisladores, pertencem aoEstado, assim como pesquisadores de institutosestatais pertencem a ambos.

Os processos de pesquisa e de política sãodinâmicos. Ocorrem usualmente em lugares

independentes, mas podem caminhar juntosem vários momentos. Esses possíveis contatosentre os dois processos são oportunos para queos participantes contribuam um com o outro.A aplicação de pesquisa nas políticas consisteem criar ou reconhecer os momentos de opor-tunidade, e então agir eficientemente para ob-ter vantagens deles.

O processo de pesquisa inclui as fases de ge-ração de idéias, desenho do estudo, coleta dedados, análise e aplicação dos resultados. Os re-sultados de pesquisa criam novas idéias e no-vos projetos de pesquisa; um caminho retornapara os estágios iniciais enquanto outro seguepara a aplicação dos resultados da pesquisa. Aaplicação dos resultados também gera novasidéias e novos desenhos.

O processo de formulação de políticas seinicia quando necessidades ou problemas sur-gem e devem ser resolvidos através de políticas.As informações sobre essas necessidades e pro-blemas são coletadas em diferentes fontes. Gru-pos de interesse exercem pressão em vários es-tágios: na definição do tipo de necessidades queserão reconhecidas e as que serão ignoradas; notipo de decisões que serão tomadas e no tipo depolíticas que emergirão. Como no processo depesquisa, alguns caminhos conduzem a um re-torno para busca de informações antes das po-líticas serem formuladas. Algumas decisões oca-sionam a procura de informações adicionais enovas negociações, enquanto outras decisõesgeram políticas. Novas políticas criam novosgrupos de interesse e novas mudanças políticas.

Com base no referencial anteriormente ci-tado, os autores (Trostle et al.), visando recons-truir o processo pelo qual pesquisas foram usa-das para tomada de decisão e formulação depolíticas, elegeram para avaliação quatro pro-gramas verticais (imunização, DST/Aids, cóle-ra e planejamento familiar) do Ministério daSaúde do México, em que havia necessidade derevisão de normas. Nesses programas existiamalgumas interações entre pesquisa e política.

As opiniões de atores entrevistados demons-traram a existência de fatores de promoção ede impedimento para utilização de resultadosde pesquisa. Esses fatores foram categorizadosem conteúdo, atores, processo e contexto na in-teração pesquisa-política.1) Conteúdo de pesquisa e de políticas (Qua-dro 1): envolve características estruturais depesquisa e de política, ou seja, a abrangência eurgência do tema, inovação, complexidade,qualidade, reprodutilibidade, inteligibilidade,

Page 6: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

220

custo, benefício, beneficiários, requisitos técni-cos e nível de participação popular necessáriopara implementação.

As questões a serem consideradas indicado-res/critérios para avaliação de fatores de pro-moção e de impedimento em relação ao con-teúdo são: a) O tema de pesquisa foi definidocomo prioridade governamental? b) Os resul-tados de pesquisas tiveram recomendaçõesaplicáveis? Foram divulgados em revistas e jor-nais de grande circulação ou Internet? c) Opesquisador titular tinha fama e prestígio nacomunidade científica e/ou no governo? 2) Quanto aos atores (Quadro 2): são indiví-duos ou grupos que atuam na criação ou obs-trução de políticas, caracterizados pela suaidentidade (quem está envolvido no processode formulação de política e de pesquisa) e pelasua qualidade (nível de motivação, liderança,treinamento, acesso ao poder, prestígio). Paraidentificá-los é necessário conhecer que infor-

mações cada um considera relevante, quais in-teressam a cada um deles, como avaliam a in-formação, que motivação possuem para tomardecisões e com quem interagem.

As questões a serem consideradas indicado-res/critérios para avaliação de fatores de pro-moção e de impedimento em relação aos ato-res são: a) Houve participação e consenso dosgovernantes/formuladores de políticas na defi-nição de prioridades de pesquisa? b) A pesqui-sa teve financiamento de agências governa-mentais de saúde ou organizações internacio-nais? c) O formulador de política percebia asinformações científicas como importantes paratomada de decisão? Os pesquisadores fizeramrecomendações capazes de serem compreendi-das pelos formuladores de políticas?3) Processos de formulação política e de pes-quisa (Quadro 3): as variáveis de processo sãoos tipos de canais de comunicação, como elessão usados, como os resultados de pesquisa se

Diferenças entre vocabulários de pesquisadores e de formuladores de política

Diferentes vocabulários em diferentes tipos de pesquisa

Desprezo intelectual mútuo: falta de percepção dos formuladores de políticas da utilidade de pesquisas e falta de percepção dos pesquisadoressobre características das recomendações parainfluenciarem as políticas

Quadro 1Fatores de promoção e de impedimento relativos ao conteúdo de pesquisa e de política.

Fatores de promoção Fatores de impedimento

Qualidade da pesquisa – mensuração: Prestígio dopesquisador, boa relação pesquisador e formuladorde políticas, reputação de jornais e revistas nosquais os resultados de pesquisa são publicados

Maior atenção para os resultados de pesquisasbiomédicas

Especificidade, concretude e custo efetividade dos resultados de pesquisa

Quadro 2Fatores de promoção e de impedimento relativos aos atores envolvidos com a pesquisa e a política.

Fatores de promoção Fatores de impedimento

Participação conjunta de governantes/formuladores de políticas e pesquisadores na definição de problemas prioritários

Suporte financeiro internacional

Pressão exercida por organismos internacionais

Influências dos órgãos oficiais de pesquisa

Baixo background técnico dos formuladores de política e da mídia

Cultura política: decisões baseadas na experiência e em pressões imediatas, falta de percepção de como usar resultados de pesquisa

Agenda política influenciada por interesses de grupos, especialmente os financeiros

Page 7: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Ciên

cia & Saú

de C

oletiva,10(1):215-227,2005

221

centraliza as informações? Houve restrições fi-nanceiras para o tema a ser objeto da política?

Considerando os autores analisados, obser-vamos que resultados de pesquisa podem seraplicados e para Weiss o impacto específico deum estudo específico para uma decisão especí-fica é somente um indicador do uso de resulta-dos de pesquisa, nós teremos de inventar mo-dos mais complexos e mais apropriados paraavaliar esse uso.

Este artigo, com base no desafio dos auto-res, inova ao propor, a partir da revisão biblio-gráfica, modelo teórico e matrizes de indicado-res para avaliação da viabilidade de programahipotético de utilização de resultados de pes-quisas, financiadas por órgãos governamentaisbrasileiros, na formulação de políticas de saúde.

Metodologia

Adotamos os modelos de utilização de pesqui-sa abordados por Weiss (1979) para definir eanalisar principalmente fatores do contexto. Os

movem nas organizações, que oportunidadessurgiram para uso de pesquisa, que tipo deeventos inesperados promovem ou impedem ouso de pesquisa em políticas.

As questões a serem consideradas indicado-res/critérios para avaliação de facilidades e deimpedimento em relação ao processo são: a)Que relações existem entre pesquisadores e for-muladores de política? b) Existem canais de co-municação para disseminação de resultados depesquisas? c) Qual a correlação de forças entreos grupos envolvidos no processo de formula-ção de políticas?4) Contexto político-institucional (Quadro4): refere-se aos cenários políticos e institucio-nais em que ocorre a construção da pesquisa eda política.

As questões a serem consideradas indicado-res/critérios para avaliação de facilidades e deimpedimento em relação ao contexto são: a) Oproblema de saúde pesquisado era urgente? Ha-via estabilidade política no governo? Houveconsenso e coesão da comunidade científica emrelação ao tema pesquisado? b) O governante

Quadro 3 Fatores de promoção e de impedimento relativos aos processos de formulação de pesquisa e de política.

Fatores de promoção Fatores de impedimento

Comunicação informal, relações informais,relações pessoais

Equilíbrio entre os interesses de grupos

Desenvolvimento e uso de canais formais de comunicação

Comunicação de resultados de pesquisa apenas em revistas científicas

Desinteresse dos pesquisadores em comunicarem os resultados de pesquisa aos formuladores de políticas

Excessiva centralização do poder

Gerenciamento hierárquico da informação

Descontinuidade administrativa

Restrições financeiras

Estabilidade política

Pesquisadores com cargos de formuladores de políticas

Tamanho e homogeneidade da comunidadecientífica

Urgência do problema

Quadro 4 Fatores de promoção e impedimento relativos ao contexto político-institucional em que ocorre a pesquisa e a política.

Fatores de promoção Fatores de impedimento

Page 8: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

222

res de contexto e de efetivação de utilização depesquisa.

Resultados e conclusões

O modelo teórico de avaliação de um progra-ma hipotético de fomento de pesquisas emsaúde para utilização de resultados na formu-lação de políticas de saúde proposto pelas au-toras é formado pelos seguintes componentes:a) Conteúdo de pesquisa; b) Comunicação; c)Interação; d) Atores; e) Pressão social e f ) Fi-nanciamento (Figura 2).

Consideramos objetivo relevante no com-ponente conteúdo de pesquisa a existência deum problema a ser solucionado com subsídiosprovenientes de evidências científicas; entre-tanto, faz-se necessária a clareza das conclusõese recomendações científicas para que os resul-tados possam ser disseminados e possam in-fluenciar os tomadores de decisão.

No modelo, o resultado do conteúdo dapesquisa integra-se com o componente comu-nicação, já que neste, o elemento principal é adivulgação de informações científicas não ape-nas em canais formais de acesso restrito a pes-quisadores, mas também, através de meios decomunicação informais que alcance atores comexpressão política. Espera-se como resultado aformação de um conjunto de forças capazes depressionar os tomadores de decisão a utiliza-rem subsídios científicos.

No componente interação é redimensiona-do o papel dos diferentes atores que devemparticipar de todo o processo, ou seja, desde adefinição de problemas e seleção de temasprioritários, sendo que esta estratégia deve ga-rantir demanda destes mesmos atores por aces-so aos resultados obtidos em pesquisas.

Quanto maior for o equilíbrio de interes-ses, maior será a interatividade entre os atores.Quanto melhor for a compreensão pelos atoresdos resultados de pesquisas, maior será a ga-rantia de valorização de sua utilização.

A pressão social por políticas decorrentesdos componentes anteriores do modelo acarre-taria a necessidade de transparência no proces-so de contratação de instituições e/ou pesqui-sadores que executem estudos de interesse pú-blico, o que contribuiria para a legitimação dasdecisões políticas subsidiadas por pesquisas.

Os componentes – conteúdo de pesquisa,comunicação, interação, atores e pressão social– determinam que o financiamento seja volta-

resultados de Trostle et al. (1999) nos orienta-ram na definição de critérios para identificaros fatores promotores e de impedimento douso de pesquisa na política considerando a rea-lidade brasileira.

Os conceitos de pesquisa e política estabe-lecidos por Trostle et al. foram empregados nonosso estudo. Pesquisa foi definida como umprocesso estruturado de coleta, análise-síntesee interpretação exploratória ou descritiva dedados para responder uma questão teórica ouprática não visível nos dados existentes. Políti-ca foi considerada um guideline governamentalou organizacional que define princípios e prio-ridades para alocação de recursos.

Sintetizamos em um modelo lógico aspec-tos que consideramos relevantes da definiçãode componentes essenciais para utilização depesquisa. Para Hartz (1999), um modelo teóri-co, também chamado de modelo lógico, procu-ra identificar elos causais entre o que é feito noprograma e os objetivos do mesmo.

Um modelo lógico descreve a seqüência deeventos, por meio de uma síntese dos compo-nentes essenciais desenhados em um fluxo, de-monstrando como o modelo teoricamente podeser utilizado. Possui, como vantagem, a capaci-dade para resumir o funcionamento de um pro-grama, ligando o processo aos resultados, a inte-ração dos efeitos de seus componentes como im-pacto (Cosendy, 2000). Os elementos que com-põem um modelo teórico podem variar, mas demodo geral incluem insumos (inputs), as ativi-dades, os produtos (outputs) e os efeitos de cur-to, médio e longo prazo (Hartz et al. 1997).

Consideramos que o modelo teórico de uti-lização de pesquisa em políticas tentará incor-porar elementos amplos e conexos que auxilia-rão na resposta de perguntas-chave: quais as-pectos do contexto explicam a utilização depesquisa em políticas de saúde pública e quaisfatores interferem na efetiva utilização de pes-quisa em política?

Adotamos como elementos do modelo teó-rico: a) componentes-aspectos essenciais nautilização de pesquisa em políticas, b) objeti-vos de cada componente, c) produtos para ca-da objetivo, e) resultados intermediários e re-sultados finais do componente, em função doseu objetivo e produto.

Os componentes selecionados para o mo-delo teórico foram aqueles que, citados porWeiss (1979) e descobertos nos achados empí-ricos de Trostle et al. (1999), tiveram caracte-rísticas singulares para explicar diferentes fato-

Page 9: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Ciên

cia & Saú

de C

oletiva,10(1):215-227,2005

223

Figura 2Modelo teórico de utilização de pesquisa em política.

Componentes

Objetivos

Produtos

Resultados

intermediários

Resultado final

ou impacto

Conteúdo dapesquisa

Comunicação Interação Atores Pressão social Financiamento

V V V V V V

Disseminaçãode resultados

Uso de pesquisa na formulação de políticas

Pressão porpolíticas

Pressão porresultados de

pesquisa

Valorização daaplicação dosresultados depesquisa nas

políticas

Legitimação de decisão

política

Resultado depesquisa par

resolverproblemas

V V V V V V

Recomendaçõesespecíficas e

concretas

Acesso dosatores às

evidênciascientíficas

Temasprioritários

para pesquisa

Compreensãodas evidências

científicas

Desenvolvimen-to de pesquisapor agência oupesquisadores

através deseleção pública

Monitoramentodo desenvolvi-

mento depesquisa

V V V V V V

Tema,problema ounecessidade

Disseminaçãode resultadosde pesquisaspor canaisformais einformais

Definição deproblemas

pelos atores em conjunto

Interesses emequilíbrio

Pressão porpolítica

Investimentosem temas

prioritários

V V V V V V

do para pesquisas de interesse da sociedade,monitoradas pelo controle social e resultem nasolução de problemas atuais e previstos em ce-nários futuros.

Podemos afirmar que no modelo propostoos componentes conectam-se entre si.

Para avaliação de projetos de pesquisa a se-rem selecionados em licitações públicas, elabo-ramos uma matriz de critérios de efetividade(Quadro 5). As dimensões a serem incluídas são:a) estrutural – relativa ao conteúdo da pesqui-

sa. Os indicadores propostos dizem respeito àconsistência do referencial teórico, à pertinênciados objetivos em relação ao objeto de estudo; aopotencial de pesquisa responder a questões es-senciais para a natureza dos problemas prioritá-rios, à clareza da linguagem, à análise da viabili-dade de aplicação concreta dos possíveis resulta-dos e os custos, permitindo comparação entreprojetos que concorram a um mesmo edital;b) operacional – relativa a processos e ativida-

des de pesquisa. Os indicadores dizem respeito

Page 10: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

224

à existência de tecnologia, custo de inovaçãotecnológica e motivação dos atores para exer-cerem pressão por implementação dos possí-veis resultados;c) estratégica – relativa a pesquisa e práticas deformulação de política. Os indicadores dizem res-peito aos possíveis usos políticos dos resultados.d) sistêmica – relativa aos fatores externos apesquisa que influenciam a utilização de resul-tados nas políticas. Os indicadores dizem res-peito à natureza do interesse político que geroua demanda por pesquisa.e) específica – relativa aos resultados e impac-tos. Os indicadores dizem respeito à geração deconflitos mínimos na formulação de políticas,contribuição que minimize possíveis riscos pa-ra saúde da população e a aceitabilidade em ca-so de mudanças de padrões sociais.

A matriz, para facilitar os cálculos, deveráalcançar um valor máximo múltiplo de 10, porexemplo 1.000 pontos. Os critérios contidos nasdimensões deverão receber pontuação com ba-se na valorização a ser dada pelos diversos ato-res que participarem da seleção. A pontuação fi-nal será resultante do somatório dos valores al-

cançados em cada dimensão, que por sua vezresulta do somatório de pontos alcançado nosdiferentes critérios/indicadores.

Para avaliar a viabilidade da utilização deresultados de pesquisas na formulação de polí-ticas elaboramos matriz com critérios paraidentificação de fatores promoção e de impedi-mento (Quadro 6). A mensuração deverá serbaseada na descrição anterior para a matriz deefetividade, entretanto a resposta “sim” corres-ponderá a fatores de promoção e deverá rece-ber pontuação positiva e a resposta “não” cor-responderá a fatores de impedimento e deveráreceber pontuação negativa. A soma algébricados diversos valores encontrados visará de-monstrar o balanço de forças atuantes no pro-cesso pesquisa-política.

Finalmente, considerando a afirmativa deTrostle et al. (1999) de que inclusão de resulta-dos de pesquisa em política é influenciada pelocontexto em que a mesma se desenvolve e queesse mesmo contexto é influenciado por ela, ela-boramos a matriz de contexto (Quadro 7). Sele-cionamos as seguintes dimensões de contextoem que as pesquisas e as políticas ocorrem: eco-

Quadro 5 Matriz de efetividade na seleção de projetos de pesquisa.

Dimensões

Estrutural – conteúdo do projeto de pesquisa (critérios/indicadores) • Qualidade do projeto• Especificidade do projeto• Linguagem do projeto• Aplicação concreta• Custo efetividade

Operacional – processos e atividades de pesquisa (critérios/indicadores) • Requisitos técnicos para implementação dos resultados da pesquisa• Nível de participação popular, dos usuários, para implementação dos resultados• Custo para implementação dos resultados

Estratégica – pesquisa e práticas de formulação de política (critérios/indicadores) • Utilização da pesquisa para reduzir incertezas• Utilização da pesquisa para neutralizar oponentes• Utilização da pesquisa para legitimar decisão política

Sistêmica – fatores externos a pesquisa (critérios/indicadores) • Pesquisa encomendada para responder a pressões• Pesquisa financiada para responder a aspectos oficiais

Específica – resultados e impactos na utilização de pesquisa (critérios/indicadores) • Garantia de estabilidade na tomada de decisão • Benefícios para a população• Mudança de parâmetros sociais

Page 11: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Ciên

cia & Saú

de C

oletiva,10(1):215-227,2005

225

Quadro 6Matriz de fatores de promoção e impedimento que influenciam a utilização de resultados de pesquisa.

Dimensões

Características dos resultados de pesquisa (critérios/indicadores) • Os resultados da pesquisa têm consistência científica (teórica e metodológica)• Há clareza de linguagem e apresentação sintética das recomendações da pesquisa• Os resultados da pesquisa são específicos e concretos

Atores (critério/indicadores) • Houve participação dos diferentes atores no monitoramento do desenvolvimento da pesquisa• Há pressão de órgãos internacionais para utilização de evidências científicas referentes aos resultados

de pesquisas sobre o tema• Há forte influência e conexões das organizações oficiais de pesquisa sobre os formuladores

de políticas sobre o tema

Processo de pesquisa e política (critérios/indicadores) • Há espaço de articulação entre pesquisadores e formuladores de políticas • Há canais de comunicação formais e informais para acesso dos diferentes atores aos resultados

da pesquisa• Há equilíbrio de interesses na comunidade científica considerando-se os resultados da pesquisa

Quadro 7Matriz do contexto onde se desenvolve a construção de pesquisa e de política.

Dimensões

Econômica (critérios/indicadores)• Há restrições financeiras para investimento em tecnologia para implantação

dos resultados de pesquisa• Há interesse de grupos financeiros nos resultados da pesquisa• Há necessidade de recursos vultuosos para aplicação dos resultados da pesquisa

Política (critérios/indicadores)• Há perspectiva de manejo político de forças que se oponham a utilização dos resultados

da pesquisa• Há demanda por resultados da pesquisa para aumentar pressão junto dos formuladores

de política por sua utilização• Há pesquisadores sobre o tema exercendo cargos de formuladores de políticas

Social (critérios/indicadores)• Os resultados da pesquisa fornecem subsídios para a resolução de problema/necessidades sociais• Os resultados da pesquisa permitem a formulação de política em reposta às pressões sociais• Os resultados da pesquisa fornecem evidências para soluções inovadoras com

a participação da sociedade

Cultural (critérios/indicadores)• Os resultados da pesquisa são compatíveis com padrões sociais vigentes• Há valorização pela sociedade dos resultados de pesquisa sobre o tema• Há elevado background técnico dos formuladores de política e da mídia para compreensão

de resultados de pesquisa sobre o tema

Técnico-gerencial (critérios /indicadores)• Há influência da área de C&T do Ministério da Saúde para formulação de políticas com base

nos resultados da pesquisa• Há apoio dos institutos de pesquisa para divulgação dos resultados de pesquisa junto de atores

de expressão política• Há oportunidades no âmbito político-administrativo para uso das informações científicas

resultantes da pesquisa

Page 12: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Eli

as,F

.T.S

.& P

atro

clo,

M.A

.A.

226

Colaboradores

FTS Elias trabalhou na revisão da literatura, análise e sis-tematização do artigo de Trostle et al., na elaboração docorpo do texto da introdução, metodologia e resultados, ena elaboração, em conjunto com a segunda autora, domodelo teórico e das matrizes com indicadores de avalia-ção. MAA Patroclo trabalhou na análise e sistematizaçãodo artigo de Carol Weiss, na revisão do corpo do texto daintrodução, na metodologia e resultados, e na elaboração,em conjunto com a primeira autora, do modelo teórico edas matrizes com indicadores de avaliação.

nômica, política, social, cultural e técnico-ge-rencial. Para mensuração propõe-se o mesmométodo descrito para matriz de efetividade

O conjunto de ferramentas formado pelomodelo teórico e as matrizes configuram umguideline para operacionalização do processode seleção de pesquisas e de avaliação da viabi-lidade de utilização de resultados na formula-ção de políticas.

A validação das matrizes deve ser realizadaem oficinas com representantes de gestores,pesquisadores e formuladores de políticas. A fi-nalidade é a revisão, a padronização de indica-dores, a análise da viabilidade de coleta de da-

dos ou a descoberta de novos componentes es-senciais que não foram incluídos no modelo.

No decorrer desse trabalho procuramossintetizar aspectos teóricos que propiciem a re-flexão sobre o uso de resultados de pesquisa natomada de decisão voltada para o bem-estarsocial. O modelo e matrizes propostos podemorientar a formulação de indicadores que per-mitam o monitoramento e avaliação da inte-gração pesquisa e formulação de políticas, as-sim como contribuir para a construção de es-tratégias que venham garantir a utilização deevidências científicas como subsídio para for-mulação de políticas de saúde.

Page 13: ELIAS, F. T. S. e PATROCLO, M. A. de A. Utilização de pesquisas como construir modelos teóricos para avaliação Ciências e Saúde Coletiva, vol.10, n.1, 2005..pdf

Ciên

cia & Saú

de C

oletiva,10(1):215-227,2005

227

OPS 2000. La Reforma del Sector Salud en las Americas:Fortaleciendo los Vínculo entre Investigación y Polí-ticas. Programa. Reunião de Montréal: OrganizaciónPanamericana de la Salud.

Pahl J 1992. Force for change or optional extra? The im-pact of research on policy in social work and socialwelfare, pp. 215-230. In Changing Social Work andWelfare. Open University Press, Milton Keynes.

Porter RW 1995. Knowledge utilization and the process ofpolicy formation: toward a framework for Africa.Washington DC : Porter/Novelli for the SARA Pro-ject, Academy for Educational Development, January,UK.

Stocking B 1995. Why research findings are not used bycommissions and what can be done about it. Journalof Public Health Medicine 17:380-382.

Trostle J, Bronfmen M & Langer A 1999. How do researchsinfluence decision-makers? Case studies of Mexicampolicies. Health Policy and Planning 14(2):103-114.

Walt G 1994. How far does research influence policy? Eu-ropean Journal of Public Health 4:233-235.

Weiss CH 1975. Evaluation research in the political con-text, pp. 13-25. In EL Struening & M Guttentag (eds.).Handbook of evaluation research. Sage, Londres.

Weiss CH 1978. Improving the linkage between social re-search and public policy, pp. 22-81. In LE Lynn (ed.).Knowledge and policy: the uncertain connection. Na-tional Academy of science, Washington DC.

Weiss CH 1979. The many meanings of research utiliza-tion. Puplic Administration Review September/Octo-ber, 426 a 431.

Weiss CH 1991. Policy research: data, ideas, or argu-ments?, pp. 307-332. In P Wagner et al. (eds.). Socialsciences and modern states, national experiences andtheoretical crossroads. Cambridge University Press,Cambridge.

Weiss J 1976. Using social science for social policy. PolicyStudies Journal 4(3):236.

WHO/ACHR 1998. Investing in health research and devel-opment. Genebra.

WHO Comittee on Health Research 1998. A ResearchAgenda for Science and Technology to Support Glob-al Health Development. WHO/OMS – CollaboratingVenture for Global Modeling of Health. 1998.

Wittrock B 1991. Social knowledge and public policy:eight models of interaction. In P Wagner et al. Socialsciences and modern states. national experiences andtheoretical crossroads. Cambridge University Press,Cambridge.

Artigo apresentado em 14/04/2004Aprovado em 27/07/2004Versão final apresentada em 20/11/2004

Referências bibliográficas

Academia Brasileira de Ciências (ABC) 1994. Encontrossetoriais: contribuição de ciência e tecnologia para aárea social em saúde, São Paulo.

Bartley M 1992. Authorities and partisans. The debate onunemployment and health. Edinburgh University Press,Edimburgo.

Brasil. Ministério da Saúde/Coordenação Geral de Desen-volvimento Científico e Tecnológico 1994. I Confe-rência Nacional de Ciência e Tecnologia em Saúde.Brasília.

Brownson RC, Newschaffer CJ & Ali-Abi-Abarghoui F1997. Policy research for disease prevention: chal-lenges and practical recommendations. AmericanJournal of Public Health 87:735-739.

COHRED 2000a. Working Group on Research to Actionand Policy. Lessons in research to action and policy.Case studies from seven countries. Council on HealthResearch for Development (COHRED), Genebra.

Cosendy MAE 2000. Análise da implantação do programade farmácia básica: um estudo multicêntrico em cincoEstados do Brasil. Tese de doutorado. ENSP/Fiocruz,Rio de Janeiro.

Davis P & Howdwn-Chapman P 1996. Translating Re-search Findings into Health Policy. Soc. Sci Med.43(5)865-872.

Donnison D 1972. Research for policy. Minerva 10(4)519-536.

Ferguson JH 1993. NIH consensus conferences: dissemina-tion and impact. Ann. N Y Acad. Sciences 703:180-198.

Frenk J 1992. Balancing relevance and excellence: organi-zational responses to link research with decisionmaking. Social Science and Medicine 35:1397-1404.

Hailey DM 1993. The influence of technology assessmentby advisory bodies on health policy and practice.Health Policy 25:243-254.

Haines A & Jones R 1994. Implementing findings of re-search. BMJ 308:1488-1492.

Hartz ZMA 1997. Avaliação em saúde: dos modelos con-ceituais à prática na análise de implantação de progra-mas. Fiocruz, Rio de Janeiro.

Hartz ZMA 1999. Avaliação dos programas de saúde: per-spectivas teórico-metodológicas e políticas institu-cionais. Ciência e Saúde Coletiva 4(2):341-353.

Mckinlay J 1993. The promotion of health throughplanned sociopolitical change: challenges for researchand policy. Soc. Sci. Med. 36:109-117.

Natan C, Morrison A & Stambaugh R 1975. The use of so-cial science knowledge in policy decisions at the nation-al level. Ann Arbor, Michigan: Institute for Social Re-search.