B.2 El Monitoreo y Evaluación orientados al impacto (MEI)

Monitoreo y evaluaciónde acciones de desarrollo

orientadas al impacto

Serie Metodologías y casos

Hernando Sarmiento N39-77 y Hugo MoncayoTeléfono: (593-2) 2447 292

e-mail: [email protected] - Ecuador

www.asocam.org

ASOCAM, Plataforma Latinoamericana de Gestión de conocimientos para el Desarrollo Local en Áreas Rurales, está integrada por 50 entidades localizadas en siete países.

Cuenta con mecanismos de trabajo que promueven la construcción colectiva y rescatan aprendizajes a partir de la práctica.

Los resultados de estos procesos son difundidos en diferentes productos comunicacionales que presentan enfoques y orientaciones en temas prioritarios del desarrollo rural para fortalecer y enriquecer las prácticas institucionales.

Elaborado por:Philippe de RhamLorena Mancero

Especial agradecimiento por su valiosacolaboración a los directores y responsables delmonitoreo de los tres proyectos presentados a títulode ejemplo (APODER, EMPRENDER y PROMIPAC)

Con los valiosos aportes de los participantes al Taller Regional deValidación realizado en El Zamorano (Honduras) del 11 al 13 de julio de 2006(véase la lista en la última página de la publicación)

Fotos:Lorena Mancero, Philippe de Rham, Martin Fischler, Timmi TillmanArchivos fotográficos de los proyectos: APODER, EMPRENDER, PROMIPAC

Edición de textos:Alejandra Adoum

Diseño:graphus® 290 2760

ISBN:978-9978-9962-2-5

Tiraje: 1000 ejemplaresReproducción autorizada si se cita la fuenteQuito. Julio de 2009

Hernando Sarmiento N39-77 y Hugo Moncayo

Teléfono: (593-2) 2447 292

e-mail: [email protected]

Quito - Ecuador

www.asocam.org

Serie Metodologías y CasosASOCAM

Conclusión del proceso de validación de la propuesta metodológica a nivel regional

“Monitoreo y evaluación de acciones de desarrollo orientadas al impacto”

Secretaría TécnicaASOCAM-Intercooperation

Auspicia: COSUDE

La serie ASOCAM “Metodologías y casos”recoge orientaciones resultantes del proceso de

aplicación-validación. Esta publicación está dirigida principalmente a técnicos de gobiernos locales, al

personal de entidades de promoción y ofertantes de servicios, a los equipos de proyectos de

cooperación, y considerando un público más amplio puede servir también

a líderes sociales.

PROPÓSITO DEL DOCUMENTO 3

A. Análisis que sustenta la propuesta 5

A.1 Débil aporte al aprendizaje y al pilotaje estratégico 7

A.2 Utilidad limitada para los actores asociados 8

A.3 Complejo y no siempre con el suficiente rigor 9

B. Aclaración en torno a M&E 11

B.1 El monitoreo y evaluación en el ciclo de gestión del proyecto 13

B.2 El monitoreo y evaluación orientados al impacto (MEI) 15

• Objetivo del monitoreo y evaluación orientados al impacto (MEI) 15

• Utilidad del MEI 15

• Los ámbitos de medición del MEI: 16

B.3 Grado diferenciado de responsabilidad y de atribución 20

C. Principios orientadores del MEI 21

C.1 MEI integrado en la planificación 23

• Diseño incluido en el plan rector 23

• Proceso en 3 etapas 23

• Definición temprana de responsabilidades 23

C.2 Enfoque participativo 24

• Visión de los actores 24

• Uso de la información 24

• Interpretación desde diferentes miradas 26

C.3 Institucionalización 26

• Cultura institucional 26

• Gestión descentralizada de la información 28

• Desarrollo de capacidades 28

C.4 Dispositivo consistente y manejable 29

• Indicadores priorizados 29

• Sistema balanceado 29

• Articulación entre niveles 29

• Datos que permiten una buena aproximación 30

• Brecha de atribución 30

D. El Proceso del MEI en 6 pasos 31

D.1 Paso 1: Preparar las bases 34

• Identificar los actores con interés en la función del MEI 34

• Informar, sensibilizar y establecer primeros acuerdos 35

• Organizar espacio para el diseño 35

D.2 Paso 2 Identificar y priorizar indicadores 37

• Revisar la consistencia del marco lógico 37

• Formular indicadores de contexto 37

• Formular indicadores de impacto 40

• Formular indicadores de resultados 47

D.3 Paso 3 M&E de la gestión 51

• Aclaración 51

• Procedimiento 51

• Consejos 54

D.4 Paso 4 Desarrollo de instrumentos y organizaciónpara la implementación 55

• Aclaración preliminar 55

• Agrupar los indicadores por unidad de análisis 56

• Aclarar los indicadores 61

• Definir el método 61

• Diseñar instrumentos 66

• Organizar la implementación 71

D.5 Paso 5 Levantamiento y procesamiento de la informacion 72

• La función de la línea de base para establecer comparaciones 72

• Capacitación para el levantamiento de la información 73

• Procesamiento de los datos 75

D.6 Paso 6: Análisis, uso y comunicación de la información 74

• Análisis de la información generada 74

• Uso de la información para los actores clave 76

• La comunicación de la información 78

E. Aprendizajes desde la práctica del MEI 79

E.1 El MEI tiene que ser útil 81

E.2 Aportar a una nueva cultura 82

E.3 Determinar funciones y responsabilidades 83

Anexos 85

La iconografía utilizada al interior se muestra:

Aclaración

Procedimiento

Consejos

Ejemplos

3

Propósito del documentoEsta guía, en su versión 2008, busca aportar respuestas a las dificultades que encuentran lasinstituciones y programas al establecer mecanismos de monitoreo y evaluación (M&E). El aná-lisis de varias prácticas de monitoreo y evaluación muestran que el marco conceptual a menudocarece de claridad, que persisten dificultades metodológicas en la implementación y que la eva-luación se centra más en el desempeño que en el impacto.

No se trata, entonces, de proponer una metodología nueva y exclusiva, que se desmarca deotras y que alimenta el debate entre especialistas, sino de facilitar la puesta en práctica de unaevaluación de acciones de desarrollo que sea asequible, amigable y útil. El propósito es con-seguir que el M&E se vuelva una práctica institucionalizada de gestión estratégica y de calidadorientada al impacto y al aprendizaje. Se apuesta a un sistema autogestionado, no demasiadocomplejo, que acompañe la intervención desde el inicio y que sea de provecho.

¿Cómo nace la propuesta?Una propuesta inicial fue construida en el marco de la plataforma de gestión de conocimientosASOCAM a partir del estudio de las prácticas de M&E en 5 proyectos de cooperación al desa-rrollo en Latinoamérica. Esa guía, editada en 2004 en forma de “versión preliminar”, sirvió dereferencia para orientar el diseño y la práctica de M&E en el marco de 6 proyectos de Centro-américa y de la región andina, por parte de miembros de la plataforma ASOCAM.

En 2006 se realizó en Honduras un taller regional de validación y revisión de la guía (Zamorano,del 11 al 13 de julio) que reunió a 22 representantes de 16 instituciones y proyectos de Boli-via, Ecuador, Honduras, Nicaragua y Perú. Basándose en el análisis de experiencias de aplica-ción, el evento permitió recoger aprendizajes y recomendaciones que orientan esta nuevaedición.

¿A quién se dirige?Este documento está destinado principalmente a los técnicos de gobiernos locales, al perso-nal de entidades de promoción y ofertantes de servicios, a los equipos de proyectos de coo-peración nacional e internacional y, considerando un público más amplio, puede también servira líderes de organizaciones sociales y económicas.

4

¿Cuál es el valor agregado de la propuesta?La propuesta se caracteriza por el enfoque participativo y de empoderamiento y el principio in-tegrador entre Planificación y M&E. Tres aportes del taller de validación le agregan valor:

a) La presentación del sistema de monitoreo y evaluación en su proceso completo: partir dela identificación de indicadores, describir cómo registrar y procesar información, concluir conel análisis de los cambios observados, promover una cultura de aprendizaje autocrítico y re-troalimentar las estrategias de acción.

b) El fomento de la institucionalización del M&E y el fortalecimiento de las capacidades de lossocios y aliados de los proyectos apuntando a un sistema descentralizado y compartidoentre los actores del desarrollo y los proyectos de la cooperación.

c) La ejemplificación de los pasos a seguirse a partir de la presentación de tres casos de pro-yectos, correspondiendo cada uno a un eje temático distinto: “buena gobernabilidad local”,“gestión de recursos naturales” y “desarrollo económico local”.

¿Qué contiene?Primero se presenta la sistematización de prácticas de M&E (resultado del estudio de casos eje-cutado en el marco de ASOCAM entre 2002 y 2003 y del taller de validación de 2006). Seenuncian los principales problemas y desafíos del M&E.

En una segunda parte se aporta con aclaraciones conceptuales para definir los campos deM&E y precisar la terminología, por considerarse que varias dificultades en la implementacióndel M&E se deben a una confusión a nivel conceptual.

En la tercera parte se plantean principios orientadores para diseñar e implementar un sistemade M&E.

En la cuarta parte se desarrolla la propuesta metodológica con pautas para operativizar el ciclode M&E y se presentan casos de aplicación en tres proyectos con enfoque temático distinto.

Análisis que sustentala propuesta

Análisis que sustentala propuesta

A. ANÁLISIS

Análisis

A

7

En 2001-2002, en el marco de la plataforma re-gional ASOCAM se realizó un estudio sobre lasprácticas de M&E analizando el sistema de moni-toreo y evaluación y su capacidad de relevar im-pacto en 5 proyectos y programas de Bolivia,Ecuador y Perú1. El propósito del estudio era es-tablecer un diagnóstico de situación y, en funciónde las conclusiones, construir orientaciones prác-ticas de utilidad para los miembros de la plata-forma, que les permitan superar los principalesobstáculos identificados.

En 2006 se realizó en Honduras un taller regio-nal para validar estas orientaciones con los res-ponsables de M&E de instituciones y proyectosrelacionados a ASOCAM.

En adelante se presentan, como producto del es-tudio inicial y del taller de validación, los princi-pales desafíos que plantea la práctica el M&E deacciones de desarrollo, a los cuales intenta res-ponder la propuesta presentada en esta guía.

A.1 Débil aporte al aprendizaje y al pilotaje estratégico

En la práctica se observa que el M&E tiende aponer énfasis en el cumplimiento de metas e in-cursiona poco en el impacto, cuando sería dablelograr una relación más balanceada entre ambasdimensiones.

• Por lo general, persiste la tendencia a consi-derar que la planificación de los proyectos esmás operativa que estratégica. Se hacemayor hincapié en los resultados por lograr yen las líneas de acción por implementar sinun suficiente enunciado de los cambios rele-vantes que se pretende alcanzar a largoplazo en la sociedad y en la naturaleza. Esotiene implicaciones directas en el diseño delM&E, que está más orientado a monitorearavances del proyecto que su impacto y sos-tenibilidad.

• Por cierto, existe en la actualidad un mayorinterés entre entidades privadas y públicasasociadas en la ejecución de un programa dedesarrollo por evaluar el impacto de su tra-bajo conjunto. Sin embargo, no disponen deun método ni se dan el trabajo de revisar con-juntamente un cuerpo de indicadores de re-ferencia. Consideran además que el levan-tamiento de información sobre hitos de cam-bio y opinión de los actores es complejo yconsume mucho tiempo.

• Se da poco uso a la información proporcio-nada por el M&E para fines de análisis y re-flexión sobre los cambios alcanzados y lapertinencia de las estrategias de interven-ción. La razón es que el M&E está concebido,ante todo, para rendir cuentas sobre lo rea-lizado antes que para el pilotaje estratégico y

1 Informe del Estudio Regional "Evaluación de Impacto en Cinco Casos" (ASOCAM, de Rham – Camacho - Maître, 2001. Disponible enwww.asocam.org/index.shtml?x=5700 )

Análisis que sustenta la propuesta

8

la medición de impactos. A menudo se haceun gran esfuerzo por conseguir informaciónen detrimento de su análisis. Persiste la ten-dencia a medir muchos indicadores, lo queproduce un elevado volumen de datos y haceperder la posibilidad de reflexionar en torno alo esencial. Por último, la información pro-porcionada por el M&E no llega oportuna-mente como para poder retroalimentar la

planificación. Muchas veces el trabajo de lacooperación no considera los elementos con-dicionantes del entorno/contexto.

• Es poco frecuente el monitoreo sistemáticode los factores del entorno que tienen inci-dencia sobre el éxito del proyecto y que invi-tan a realizar ajustes en la estrategia deintervención.

A.2 Utilidad limitada para los actores asociados

En la actualidad los programas de desarrollopromovidos por las organizaciones sociales,los gobiernos municipales, la cooperación in-ternacional, etc., suelen tener un enfoque par-ticipativo. No obstante, este enfoque no seaplica con rigor en el tema del monitoreo y laevaluación.

• Son pocos los proyectos que recogen la opi-nión de los actores sobre los cambios espe-rados en aras de concertar indicadores deimpacto y de resultado. En la mayoría de loscasos los socios y aliados del proyecto notienen la posibilidad de aportar a la definicióne implementación de un sistema de M&E querecoja sus anhelos e hipótesis de impacto.

• Al momento de diseñar el M&E habitualmenteno se considera su sostenibilidad. No siem-pre se parte de la información que interesa alos propios actores y de las herramientas quepodrían manejar (por ejemplo, la aplicacióninformática de indicadores de gestión terri-torial en manos de las municipalidades rura-les), de modo tal que segmentos del M&Epuedan serles útiles para su gestión y, solodespués, se agreguen dimensiones que inte-resan a otros actores y al proyecto en suconjunto.

• Las autoridades comunales, las directivas deasociaciones de productores, los comitésgestores de microcuenca, las municipalida-

des rurales indudablemente aportan como in-formantes pero por lo general no son gesto-res de la información útil a ese nivel.

• Todavía constituyen una excepción los pro-gramas que muestran una práctica voluntariade devolución-comunicación amplia de losdatos proporcionados por el M&E, impul-sando por categoría de actores el análisis dela información y la elaboración participativade conclusiones acerca de posibles ajustesy mejoras en las estrategias de intervención.

• Algunos miembros de la plataforma ASOCAMhan realizado avances significativos para aso-ciar a los actores en la práctica de M&Econ un enfoque de empoderamiento, queconstituyen pistas a ser valoradas.Por ejemplo, el levantamiento de hipótesiscampesina de impacto e implementación desistemas locales de monitoreo de impactohecho por ATICA (Bolivia)2, la evaluación re-cíproca de innovación agropecuaria entreasociaciones pares de agricultores reali-zada por PASOLAC (Centroamérica)3, el for-talecimiento de capacidades de M&E enasociaciones de municipios rurales impul-sado por APODER (Perú). Constituyen bue-nas prácticas que dan indicios para avanzaren la implementación de sistemas de M&Eque proporcionen información útil a los ac-tores para su gestión y se basen en herra-mientas que se institucionalicen a su nivel.

2 Hipótesis de Impacto Campesinas, Nota conceptual No 2, ATICA, mayo 2002. Disponible en www.asocam.org/index.shtml?x=8270

3 Evaluación Participativa por Productores – EPP. Guía Metodológica para la evaluación del efecto e impacto del desarrollo tecnológico, PASOLAC,Centroamérica, 2001. Disponible en www.asocam.org/index.shtml?x=6640

Análisis

A

9

A.3 Complejo y no siempre con el suficiente rigor

Se visibilizan avances de los equipos de proyectoen relación al diseño de sistemas de M&E pero va-rios de ellos enfrentan dificultades al momento deimplementarlo. No se logra aplicarlo de manerasatisfactoria y oportuna.

• Por ser considerado como necesario pero“adicional”, es común que el M&E de los pro-yectos se implemente varios meses despuésdel arranque operativo. Lo preocupante esque la línea de base no está bien asentada yen ciertos casos no existe el registro de losdatos de partida, lo que va a fragilizar a fu-turo todo el sistema de M&E.

• Se observa la tendencia a medir muchas va-riables sin dimensionar previamente los es-fuerzos necesarios para llevar a cabo elproceso de levantamiento, procesamiento yconsolidación. La reticencia a priorizar cuálesson los parámetros más relevantes en canti-

dad manejable, ha llevado, por ejemplo, a laAgencia Suiza para el desarrollo y la coopera-ción (COSUDE) a recomendar, para sus pro-yectos en Latinoamérica, que se reduzca a unmáximo de 204 el número de indicadores co-rrespondientes a la jerarquía “resultados-obje-tivo-finalidad”. ¡Más valen unos pocos indi-cadores pertinentes y documentados que va-rios no susceptibles de medirse en formacontinua!

• El M&E tiende a utilizar métodos de investi-gación de índole académica en lugar de estarconcebido como instrumento de gestión. Seaplican métodos exigentes bajo el supuestode que la información tendrá un mayor gradode objetividad y exactitud. Eso conlleva elriesgo de establecer un M&E complejo y cos-toso que descarta aproximaciones, rechazalo cualitativo y dificulta su apropiación.

4 Nota de la División Latinoamérica, COSUDE, 2007.

Análisis que sustenta la propuesta

10

• Los proyectos que operan en diferentes te-rritorios encuentran dificultad en la agrega-ción de datos para un mismo indicadordebido a la falta de precisión sobre la unidadde medida. A título de ejemplo, para medir elincremento del ingreso de la unidad de pro-ducción familiar, en una zona se recogendatos del sistema productivo en el año ca-lendario cuando, en otra, se los recolecta porcampaña agrícola. Estos datos no se puedenagregar ni comparar. La falta de rigor en larecolección (preguntas ambiguas, prejuiciosde el/la entrevistador/a, formato inadecuadode registro por no haber estado validado pre-

viamente, etc.) impide garantizar datos pri-marios precisos y dificulta la labor de conso-lidación.

• La nueva generación de proyectos contem-pla indicadores relacionados con el desarro-llo humano e institucional y no se limita, comosucedía en el pasado, a aspectos físicos yeconómicos. Sin embargo, muchas veces losindicadores carecen de desagregación porcategoría de actores (según género, genera-ción, estratificación social, origen etnolin-güístico) ni enfocan hitos de cambio decomportamiento y relación de poder entreactores del desarrollo.

Aclaraciónen torno a M&E

Aclaraciónen torno a M&E

B. ACLARACIÓN

B

Aclaración

Aclaración

13

B.1 El Monitoreo y Evaluación en el ciclo de gestión delproyecto

Un programa o proyecto tiene un ciclo de gestión que contempla etapas interdependientes, queinteractúan entre sí en un proceso iteractivo de planificación-ejecución y retroalimentación.

PlanificaciónDiagnóstico

Integrado enla planificación

estratégica

EstrategiaPlanif.

POAProg.

Monitoreo y evaluación

Implementación

Gráfico No. 1: El MEI en el ciclo de gestión del proyecto

Planif. = Planificación estratégicaPOA = Plan Operativo AnualProg. = Programación del trabajo

Estas etapas son:

• El Diagnóstico. En esta etapa se analiza loque está sucediendo y se prevé lo quepuede ocurrir a partir de signos y eviden-cias. Se estudia el carácter y la tendencia

de fenómenos relevantes de la realidad, en-focando una temática y/o un territorio parallegar a conclusiones sustentadas en infor-mación cuantitativa y cualitativa. En el casode una acción de desarrollo, el diagnósticoinicial permite:

Aclaración en torno a M&E

- Analizar la situación y las tendencias deevolución de una zona sociogeográfica(enfoque territorial) y/o de un sector deacción (enfoque temático).

- Tomar en cuenta el conjunto de los acto-res involucrados y analizar los roles, mo-tivaciones y relaciones.

- Identificar y jerarquizar problemas, nece-sidades y potencialidades.

- Vislumbrar los cambios que se pretendealcanzar y generar bases de una posibleestrategia de intervención.

• La Planificación, etapa en la cual

- se definen los objetivos y su jerarquía enfunción de una visión;

- se establece el conjunto de acciones a lle-var a cabo y las responsabilidades co-rrespondientes;

- se identifican los supuestos externos;

- se estiman las capacidades humanas einstitucionales requeridas y los recursosfinancieros y materiales necesarios; y,

- se fijan plazos.

Incluye la planificación estratégica, la planificaciónoperativa y la programación del trabajo.

• La Implementación. En esta etapa los dife-rentes actores asociados llevan a la prácticael conjunto de acciones planificadasmovilizando de manera oportuna los recursosnecesarios con el fin de lograr los resultadosesperados

• El Monitoreo y Evaluación es el procesoque contempla el levantamiento y registro deinformación relevante y el análisis de la

misma para valorar los resultados y el im-pacto en función de la evolución del contextocon el fin de retroalimentar la orientación yplanificación de la acción.

Monitorear

Es observar. El monitoreo se refiere a la actividadde recolección y de gestión de datos en torno a loque se ejecuta y a lo que está ocurriendo. Los ac-tores locales, las instituciones socias y el equipoejecutor proporcionan información descriptiva yexplicativa. El monitoreo requiere de mecanismose instrumentos para recoger, compilar, sintetizar yalmacenar esta información de modo tal que re-sulte accesible.

Evaluar

Es interpretar y juzgar. La evaluación es una ac-tividad periódica de análisis y valoración. Implicaun proceso de apreciación crítica a partir de lainformación proporcionada por el monitoreo.

Establece relaciones entre lo que está ocu-rriendo, las causas y sus posibles consecuen-cias. Juzga la estrategia de acción y deorganización, formulando apreciaciones con elobjeto de responder a preguntas específicas ysuministrar lecciones aprendidas.

Posibilita la toma de decisiones y el mejora-miento de la planeación futura.

Se evalúa la buena gestión del programa de ac-ción y su contribución a cambios significativos.En el marco de una acción de desarrollo, se eva-lúa primero la capacidad de ejecución y lo reali-zado para luego poner énfasis en la valoraciónde los cambios inducidos en la realidad social,institucional, física, económica, política, etc.

14

B

Acl

arac

ión

Acl

arac

ión

15

Seguimiento

Con el afán de reducir la propuesta de esta guía a loesencial, no se hace uso del concepto de “segui-miento”, que describe el examen periódico de lagestión de un programa. El seguimiento es la valo-

ración del avance en relación a lo previsto y el aná-lisis del manejo del programa. Conduce a reflexio-nar sobre la estrategia operativa a nivel de cadaresultado. Está incluido en este documento en lo quellamamos “Monitoreo y Evaluación de la gestión”.

B.2 El Monitoreo y Evaluación orientados alimpacto (MEI)

Toda vez que la finalidad de los proyectos dedesarrollo es la inducción de cambios signifi-cativos y sostenibles llamados impacto, susresponsables tienen por mandato aportar coninformación sobre lo que está efectivamente su-cediendo en la realidad. Esta información deberesponder a un criterio de objetividad y por lotanto basarse en evidencias que sean aprecia-das de la misma manera, independientementede quien las observa. (Véase en el Anexo No 1:Terminología relacionada al MEI).

• Objetivo del Monitoreo yEvaluación orientados alImpacto (MEI)

Es disponer de un sistema de recolección y deanálisis de información que aporta a la direcciónde un programa o proyecto de desarrollo. Per-mite:

• retroalimentar y guiar la estrategia general deacción con el propósito de conseguir el má-ximo impacto acerca del objetivo central y dela visión de desarrollo;

• aportar con información útil y accesible paralos actores involucrados;

• crear un entorno de aprendizaje y de con-fianza que estimule la reflexión crítica y laspropuestas de mejora por parte de todos losactores involucrados;

• asegurar el funcionamiento eficaz y eficientede la operación verificando el cumplimentode los planes de acción acordados.

• Utilidad del MEIEl monitoreo y evaluación son parte de la ges-tión de información y de conocimiento al serviciode los diferentes actores asociados en una ac-ción de desarrollo.

Permiten que las distintas categorías de actoressociales e institucionales y las instancias de con-certación y de dirección de una operación ten-gan, a sus diferentes niveles, un acceso fácil adatos relevantes. La información generada escompartida con regularidad entre los actores in-teresados.

Los reportes de monitoreo y evaluación presen-tan datos y evidencias sobre los progresos y lasdificultades, recogen el punto de vista y la inter-pretación de los diferentes grupos de actores yplantean posibles adaptaciones y mejoras encuanto a la estrategia de acción y a las modali-dades de cooperación.

El monitoreo y la evaluación invitan a tener encuenta las diferencias y desigualdades sociales ya evaluar cómo se van reduciendo. En sociedadesmarcadas por la estratificación socioeconómica yla exclusión sociopolítica, el MEI de un programade desarrollo debe permitir la evaluación y la re-flexión acerca de cómo la acción contribuye al cie-rre de las brechas y al empoderamiento de losactores más desfavorecidos.

Permiten identificar temas específicos que re-quieren de un análisis más profundo. El propioMEI pone en evidencia un tema particular sobreel cual se considera necesario realizar un estudiocomplementario para entender mejor lo que estáocurriendo y plantear propuestas de acción.


16

• Los ámbitos demedición del MEI

El monitoreo y la evaluación de acciones orien-tadas al impacto (MEI) se realizan en torno a cua-tro ámbitos: ámbito del contexto y 3 ámbitos anivel operativo (la gestión, los resultados logra-dos y el impacto generado).

a) M&E del contexto: cada acción de desarrolloestá sometida a la influencia directa de factoresque no controla y que deben ser monitoreadospara poder relativizar lo que se está logrando.

b) Tres ámbitos operativos conforme a la jerar-quía de planificación:

- M&E de gestión: las actividades ejecuta-das, con qué recursos y bajo qué modali-dad de organización y movilización detalentos humanos.

- M&E de resultados: los resultados que sevan logrando.

- M&E de impacto: los cambios que se al-canzan y que se van sosteniendo en eltiempo.

M&EDE IMPACTO (*)

M&EDE RESULTADOS

M&EDE GESTIÓN

Impacto en el tiempo(se aporta con datos p. ej. en cuantoreducción de pobreza, desarrollo equitativo, etc.)

Efectos directos de la acción del programa (se aporta con datos que evidencian cambios relacionados al objetivoprincipal)

Resultados logrados por el programa(se aporta con datos de resultados alcanzados)

Metas alcanzadas(se verifica el cumplimiento de las metasdeclaradas por cada actividad)

Gestión de los recursos humanos, financieros y materiales(se aprecia el buen manejo de los recursos de una operación)

FINALIDAD(objetivo superior)

OBJETIVO PRINCIPAL(Propósito / Objetivode fase (+ ev. Objetivos Específicos)

RESULTADOS

ACTIVIDADES

M&E DEL CONTEXTOen el cual está insertado el programa

Gráfico No. 2: Los 4 ámbitos de medición del MEI

(*) los “efectos” e “impactos” conforman una cadena de cambios (positivos y negativos) que se deducen de los resultados que se van logrando. Con elfin de simplificar el método y la terminología, la propuesta ASOCAM no diferencia entre “efecto”, “impacto inicial” e “impacto”, como lo hacen otrasguías, y considera llamar a este conjunto de consecuencias como “los impactos” de un programa. La distinción en la formulación de indicadores deefecto y de impacto puede ser bastante sutil y la experiencia enseña que, más que aportar, confunde a los equipos operativos e impide que el M&Esalga del dominio de los especialistas en metodología y que se apropien de él los actores del desarrollo.

17

Partiendo de estos cuatro ámbitos de medición,se plantea lograr un balance entre el monitoreodel contexto, el monitoreo de la gestión, el mo-nitoreo de los resultados y el monitoreo del im-pacto, no obstante poniendo énfasis en estosdos últimos. Una acción de desarrollo tiene,pues, la responsabilidad social de aportar evi-dencias de la consecución de resultados y detransformaciones duraderas en los actores, enlas instituciones, en el ambiente, en la economía,en la gestión pública, etc., de acuerdo a su pro-pósito central.

• M&E de parámetros delcontexto

Cada programa de acción se inserta en un con-texto específico que va evolucionando y quetiene incidencia sobre el quehacer, los resulta-dos por alcanzar y el impacto deseado. Las es-trategias operativas están seleccionadas enfunción de las particularidades del contexto.

Al establecer el estudio de base y la planeaciónde un programa, usualmente se identifican opor-tunidades y riesgos en el entorno así como su-puestos que condicionan el alcance de losobjetivos. Esta información sirve de referenciapara priorizar los indicadores de contexto quese van a monitorear periódicamente.

• Oportunidades y riesgos: conformación deuna asociación de municipalidades rurales,declaración de interés del gobierno regionalpara el manejo de una cuenca, como ejem-plos de oportunidad a ser monitoreada; poli-tización de espacios de concertación,modificación del régimen pluviométrico, giroen la política nacional sectorial, aumento dela tasa de interés crediticio, como ejemplosde riesgos. La etapa de diagnóstico (véaseacápite B.1) permite identificar factores clavede la realidad que merecen estar monitorea-dos ya que crean condiciones favorables o li-mitantes para la ejecución del plan de acción.

• Supuestos: por ejemplo marco legislativo,proceso de reforma institucional, oportunidadde mercado, transferencia de recursos a go-biernos locales. El marco lógico de planifica-ción (ML), que se presenta en forma de unesquema sinóptico, incluye una columna de“supuestos”. Se recomienda considerar esta

lista de supuestos al momento de seleccio-nar los indicadores de contexto que van a sermonitoreados.

El M&E del contexto es hacer uso de algu-nos pocos indicadores relevantes que cons-tituyen las condiciones marco en las cualesse realiza la operación.

Se trata de recolectar la información y de facili-tar la validación participativa de las tendenciasobservadas. Se recomienda hacer uso de infor-mación de fuentes secundarias (estadísticas gu-bernamentales, importaciones aduaneras, datosde estaciones meteorológicas, flujos de transfe-rencia monetaria realizados por agencias finan-cieras, registro civil, etc.)

Este análisis de algunos factores relevantes delcontexto permitirá valorar mejor los cambios lo-grados (a nivel de los resultados y del impacto)relativizándolos a la luz de las tendencias de evo-lución del entorno.

• M&E de la gestiónUn proyecto de desarrollo tiene que rendir cuentasobre lo que ha ejecutado durante un periodo de-terminado. Es decir, se verifica que las accionesprevistas se han realizado conforme a las metaspreestablecidas, con la calidad esperada y con losrecursos asignados. Este ámbito del M&E es lla-mado de gestión.

Eficacia

En primer lugar, se mide la eficacia de una opera-ción, o sea el cumplimiento de las actividades pro-gramadas y de las tareas correspondientes(actividades ejecutadas en relación a aquellas pro-gramadas). Se analizan las razones de las dificul-tades encontradas. Se identifican eventualesefectos indeseables de las actividades ejecutadasaveriguando cómo reducirlos.

Esto conduce a reflexionar si las actividades enejecución son las más adecuadas para la con-secución de los resultados esperados.

Eficiencia

Por otra parte, el M&E de gestión permite apre-ciar la “productividad”, o sea la eficiencia del tra-bajo y de la forma de organizarse.

18

Se analizan los aportes de los actores y del per-sonal involucrado, las formas de organización(por ejemplo el beneficio de la ejecución directa,del trabajo en alianza y/o de la tercerización), laasignación de los materiales y de los recursos fi-nancieros. Se establecen los costos efectivospor actividad principal para ver cómo se com-ponen, si son aceptables y sostenibles en eltiempo y cómo se podría reducirlos. La identifi-cación de los logros y dificultades sirve paraaprender a trabajar y organizarse de mejor ma-nera e introducir rectificaciones en el funciona-miento de la operación.

Gestión de los talentos humanos

La buena gestión no se limita a ejecutar al menorcosto un conjunto de actividades sino que tomaen cuenta y evalúa la situación humana y organi-zacional. El desarrollo personal, el clima organi-zacional y las relaciones entre socios y aliadosconstituyen factores fundamentales para la con-secución de los resultados, que deben ser ob-jeto de un monitoreo periódico y de evaluación.

El levantamiento de datos del M&E de gestión ysu interpretación se realiza normalmente enforma semestral.

• M&E de logro de resultadosCada grupo o línea de actividades debe permitiralcanzar un resultado: un producto directo de laacción que se puede medir.

El logro de los diferentes resultados esperadostiene que ser monitoreado y evaluado a partir deindicadores previamente identificados y calibra-dos (situación de partida y meta final). Algunosindicadores de resultados suelen requerir de unalínea base en razón de la acción de otras insti-tuciones o de la acción del mismo proyecto enuna fase anterior.

La evaluación de los resultados alcanzados y elanálisis de los factores que explican los logrospositivos y negativos conducen a ajustar, o si ne-cesario modificar, la estrategia operativa espe-cífica a nivel de cada resultado.

El levantamiento de los datos por indicadores deresultados y su interpretación normalmente seejecutan con una frecuencia anual.

• M&E del impacto5

Un programa bien administrado no implica porsí mismo que los esfuerzos generen o fortalez-can cambios significativos y duraderos que guar-den relación directa con la jerarquía de losobjetivos planteados: finalidad, objetivo principal(y objetivos específicos cuando hayan sido for-mulados). ¡El buen cumplimiento de actividadesy el compromiso social y profesional a nivel indi-vidual e institucional no garantizan de por sí ellogro de un impacto sostenible!

La buena gestión y la consecución de resultadosson importantes y necesarios pero, además, hayque demostrar que los bienes y servicios desa-rrollados inducen cambios significativos ysostenibles.

A manera de ejemplo, un programa de capaci-tación puede haber tenido éxito (porcentaje altode participantes que han asistido al programa ensu totalidad, porcentaje significativo de éxito enlas pruebas intermedias y finales, evaluación po-sitiva por parte de los participantes, del personaldocente, etc.) pero eso no supone necesaria-mente una transformación en la actitud y en lapráctica de los participantes, una vez que re-gresan a su lugar de residencia y de trabajo: ¿Lo-gran poner en práctica lo aprendido en sucontexto específico? ¿Aplican nuevos enfoques?¿Han cambiado de actitud en su relación conotros actores?

Un proyecto de apoyo a procesos de desarrollodebe aportar evidencias de transformaciones enlos campos económico y/o de comportamiento yrelacionamiento humano y social, y/o de desarro-llo institucional, y/o de la situación ambiental, deacuerdo al objetivo principal que persigue.Volver explícitos los impactos de una acción dedesarrollo tiene dos fines:

• Guiar, en el momento propicio, la estrategiageneral del programa para que sea más po-

5 En la primera versión de esta guía se había utilizado la expresión “Monitoreo y Valoración de impacto” para enfatizar que en la realidad es difícil medirel impacto y que se trata más bien de apreciar las tendencias de los cambios que se van produciendo (señales de progreso). (Véase CDE, 2002).

B

Acl

arac

ión

Acl

arac

ión

finalidad. La valoración participativa del im-pacto sirve para juzgar periódicamente la in-tervención y, cuando sea necesario, paraajustarla o reorientarla.

• Responder a la inquietud de información quetienen los actores y los gobiernos (a nivellocal, regional y nacional) que son partícipesde la acción y de las entidades nacionales yde cooperación internacional respecto de loscambios que se van generando con sus re-cursos y su apoyo político.

En la práctica, las y los representantes de losactores locales (comunidad campesina, juntade agua, empresa asociativa, etc.), de los go-biernos municipales, de las entidades de ser-vicio y de los entes de promoción se van

reuniendo, semestral o anualmente, para ana-lizar los cambios generados y consolidados, yverificar que cumplen con las “hipótesis e indi-cadores de impacto”.

Una gran parte de los indicadores de impactorequieren que se establezca una línea base(LB), o sea que se mida el valor en el punto departida.

Esta información es clave para disponer de unreferente en función del cual se podrá apreciarel cambio a futuro. La frecuencia del levanta-miento de los datos de los indicadores de im-pacto puede variar de un indicador al otro, deacuerdo al periodo requerido para que sepueda observar efectivamente un cambio(cada año, cada 2 años o al final de la fase).

19


20

B.3 Grado diferenciado de responsabilidad y deatribución

La responsabilidad de un programa en la ejecu-ción y consecución de cambios se reduce a me-dida que se va subiendo de nivel: de lasactividades a la finalidad (véase el gráfico No 3).De la misma manera, un programa puede atri-buirse el mérito de la buena ejecución de activi-dades pero debe admitir que el logro de

resultados y, sobre todo, de impactos puedeestar parcialmente influenciado por condicionesexternas.

A nivel de los impactos, el aporte del programatiene que estar relativizado razonablemente to-mando en cuenta otras intervenciones y las ten-dencias del entorno.

No se puede negar la relativa resistencia al M&Ede los equipos y gerentes de proyectos de desa-rrollo. Son varias las razones. Una es la débil in-tegración práctica del M&E con los ejercicios deplanificación, lo que reduce significativamente suutilidad. Otra es la tendencia a complejizar losmétodos, lo que induce a confiar el trabajo a es-pecialistas externos en lugar de institucionalizarla función.

Una razón adicional tiene que ver con la ausenciade claridad en cuanto a la responsabilidad de losgerentes de proyectos de desarrollo. Suelen pen-sar que si impulsan la implementación del M&E se

les va a responsabilizar por el alcance de los cam-bios, ocurridos o no, aun cuando saben que mu-chos procesos pueden fácilmente verseentorpecidos por factores externos. Cabe recal-car entonces que la responsabilidad del o de la ge-rente es garantizar la producción de informaciónrelevante, de analizarla y plantear oportunamentepropuestas de ajustes estratégicos pero que ellogro o no de los impactos no es de su responsa-bilidad. A la hora de introducir y entregar el man-dato a un/a director/a de proyecto, serecomienda discutir sobre el tema haciendo lasaclaraciones necesarias.

JERARQUÍA RESPONSABILIDAD DEL PROGRAMA GRADO DE ATRIBUCIÓNY CONTROL

FINALIDAD

OBJETIVO PRINCIPAL+ ev. Objetivos específicos

RESULTADOS

ACTIVIDADES

Aporta unacontribución

Bajo suresponsabilidad directa

Bajo suresponsabilidad directa

Bajo suresponsabilidad perorazonablemente

_

+

Gráfico No. 3: Campos de responsabilidad y de control en un programa

Principiosorientadores del MEI

Principiosorientadores del MEI

C. PRINCIPIOS

Principios

C

23

C.1 MEI integrado en la planificación

• Diseño incluido en el planrector

• El proceso de elaboración del plan rector (oplan de fase) debe incluir de manera simultá-nea el diseño del dispositivo de MEI. La vin-culación directa entre Planificación yMonitoreo-Evaluación evita que el MEI sedesarrolle como un sistema autónomo, des-conectado del ciclo general de gestión delproyecto.

• Se recomienda establecer un solo sistemaque integre de modo lógico el MEI a la plani-ficación. Se habla a menudo del sistemaPMER, que encadena:

planificación ⇒ ejecución y monitoreo ⇒evaluación ⇒ reporte ⇒ y retroalimenta-ción a la planificación.

• Diseñar el MEI lleva a controlar la consistenciadel Marco Lógico (ML) y a verificar que el al-cance de los objetivos sea mensurable me-diante indicadores relativamente simples. Esteproceso conduce frecuentemente a consen-suar ciertos ajustes en la formulación de losmismos objetivos y resultados en un taller.

• Implica, concretamente, incluir el diseño delMEI en el proceso de formulación-planifica-ción del proyecto y dedicar uno a dos díasdel taller de planificación de fase a las si-guientes actividades:

a) revisión de la consistencia del marcológico.

b) diseño de los fundamentos del MEI a par-tir de la formulación de indicadores de

contexto, de hipótesis e indicadores deimpacto, de indicadores por cada resul-tado; y precisión sobre el monitoreo-eva-luación de gestión.

c) Preparación y acuerdos sobre la operati-vización.

• Proceso en 3 etapasEL MEI debe ser visto como un aporte a una ges-tión adaptativa que es retroalimentada en tiempooportuno desde evidencias y datos de cambio yde resultado. El MEI consta de tresetapas:

1. Diseño y preparación de la operatividad delMEI.

2. Levantamiento y procesamiento de lainformación.

3. Análisis, interpretación y difusión de lainformación.

El proceso de Monitoreo y Evaluación requiereestar inserto, en sus aspectos operativos,como un componente de los planes y los re-portes del proyecto: plan de actividades, defi-nición de responsabilidades, asignación derecursos, plazos, etc.

• Definición temprana deresponsabilidades

• Durante el proceso de planificación, invitar alos participantes a reflexionar sobre la vincu-lación entre planificación y monitoreo-evalua-ción para:

Principios orientadores del MEI

24

a) Definir pautas y afianzar compromisos queayuden a precisar las necesidades de infor-mación a cada nivel operativo y visualizar losflujos de información. Esto evidencia la impor-tancia de la función de facilitación y de coordi-nación del MEI en su conjunto y del perfil de lapersona o del grupo que las va a asumir, que-dando sobreentendido que la ejecución delmonitoreo está por institucionalizarse en todaslas unidades de ejecución;

b) Asignar recursos realistas para el funciona-miento del MEI. Se refiere a los talentos yrecursos a movilizarse para trazar la líneabase, para levantar y procesar periódica-mente datos, para comunicar información,etc. Permite presupuestar en forma realistalos recursos para capacitar a las personasque van a gestionar información a los dife-rentes niveles y para realizar estudios com-plementarios de casos.

• Visión de los actores• Realizar el MEI con un enfoque participativo

lleva no solamente a la responsabilización delos actores en la recolección y uso de informa-ción sino a la definición conjunta de los indica-dores de resultado e impacto que les interesan.

• Partiendo del principio que el plan operativo delproyecto se construye de manera participativay se va agregando de abajo hacia arriba, sedebe abrir una discusión, en el taller de conso-lidación de la planificación, entre los represen-tantes de las diferentes categorías de actores,para acordar las principales hipótesis de im-pacto y los indicadores correspondientes.

• Es necesario prever un espacio para que losparticipantes puedan contestar a preguntastales como:- ¿cuáles son los sueños de cambio que

nos motivan a emprender el proyecto quese está formulando?

- ¿qué mejora y cambio a nivel personal y/oinstitucional, y/o territorial y/o ambiental es-peramos que aporten las acciones?

• Cabe mencionar, sin embargo, que en el casode un proyecto que recién está en fase dearranque, al propio equipo técnico no le quedaotra opción que elaborar una propuesta preli-minar de indicadores para los cuales se le-vantará la línea base. En tal situación, se vuelveimportante que las hipótesis y los indicadorespreliminares de impacto sean luego presenta-dos y discutidos a fin de validarlos y comple-mentarlos. Este proceso requiere de flexi-bilidad para aportar los ajustes necesarios a

la lista y a la formulación de los indicadores ini-cialmente seleccionados.

• Uso de la información• La gestión de información útil sobre hitos de

cambio, resultados logrados, cumplimiento demetas y gastos realizados contribuye a una cul-tura general de aprendizaje (controlar, analizar,juzgar, proponer, corregir), que fortalece lascapacidades de gestión de los actores.

Bajo un enfoque participativo el MEI contri-buye al desarrollo de capacidades para eva-luar y decidir sobre la base de datosobjetivos. En algunos casos la informacióncorroborará suposiciones y en otros, por elcontrario, podrá evidenciar una situación dis-tinta de la que se presumía.

• El MEI debe estar considerado como un aportea la estrategia de empoderamiento. Tiene ca-rácter formativo ya que en la práctica desarro-lla mayor capacidad de observación, dediscusión y reflexión sobre la base de datos yhechos, de control de calidad y de eficiencia.¿No está justificada en parte la inversión entiempo y dinero que requiere el MEI por ser uncomponente del desarrollo de capacidades queva a permitir a los actores locales orientar ycontrolar mejor sus acciones de desarrollo?

• La gestión de una información fidedigna y re-levante sobre un tema de especialización per-mite a un grupo social o económico, a unamunicipalidad, a un centro de servicio, ser re-conocido como centro de referencia y ganarprotagonismo. ¡Disponer de información ge-nera poder de negociación!

C.2 Enfoque participativo

Principios

C

25

Por lo tanto, es importante vincular la infor-mación generada en el marco del MEI al inte-rés de cada categoría de actor para que lainformación relevante sea gestionada a su

nivel, como lo ilustra el ejemplo de la Asocia-ción Nacional de Apicultores en Honduras(véase el recuadro).

La Asociación Nacional deApicultores de Honduras

ANAPIH es una organización de apicultores que brinda servicios empresariales y productivospara impulsar el desarrollo de la apicultura en Honduras de manera competitiva, promoviendola comercialización, la investigación y la transferencia de tecnología.

ANAPIH con el apoyo del Programa Agropyme (COSUDE-SWISSCONTACT) implementóun sistema de monitoreo y evaluación que refleje cambios en los principales indicadoresproductivos y socioeconómicos.

Los indicadores del M&E son de tipo productivo (Por ejemplo, rendimiento, cantidad decolmenas, aspectos técnicos del sistema de producción, etc.) y de tipo socioeconómico (porejemplo, empleo e ingreso, acceso a agua, a crédito, etc.).

A partir de la implementación del monitoreo por los miembros del ANAPIH nace la idea y elinterés de desarrollar un Sistema de Información Apícola (SIA) de envergadura nacional quepermita:

• Conocer mejor el sector apícola y su evolución

• Orientar las decisiones estratégicas del ANAPIH.

• Proveer al país de una información fidedigna sobre el sector (producción por región,precios, problemas fitosanitarios, exportación, importación, etc.).

La implementación del SIA, a partir de la experiencia del M&E, ha permitido a la ANAPIHconvertirse en el referente a nivel nacional sobre el tema. La dinámica de funcionamiento delSIA es la siguiente:

Los retos del SIA en la actualidad son crear y desarrollar los medios para que la informaciónfluya de forma expedita y crear sistemas autosostenibles de generación y divulgación deinformación.

ANAPIH

Provee información

Solicita y evalua

Identificación de necesidadBusca y colecta la informaciónProcesa información

ApicultoresUniver./EstudiantesCooperaciónGobiernoEmpresarios

CLIENTES

Ejemplo


• Interpretación desdediferentes miradas

El análisis de la información y su interpretaciónque hacen los representantes de los diferentesactores involucrados contribuyen a una visiónplural sobre el contexto, la apreciación de losavances y de las dificultades. La práctica nosenseña que una misma información puede ser in-

terpretada de diferente manera según el actorque la analiza. Los actores sociales, políticos yeconómicos aportan con sus conocimientos ypercepciones. Concertar puntos de vista y apre-ciaciones crea una base sólida para luego aco-modar la estrategia de intervención. Ayudaindudablemente al proceso de apropiación, porparte de los actores, de las acciones realizadasen cooperación.

C.3 Institucionalización• Cultura institucionalEl monitoreo y la evaluación tienen que institu-cionalizarse en las entidades socias y aliadas demanera que asuman sistemáticamente prácticasde MEI como parte de su política organizacional.Para promover la institucionalización es impor-tante que los sistemas de planificación y moni-toreo cuenten con voluntad política y arreglosorganizacionales (definición de funciones y res-ponsabilidades fijación de procedimientos e ins-trumentos, asignación de tiempo y recursosfinancieros, aplicación de control interno).

La participación en el MEI no se limita a ver a losactores como proveedores de información, ni ainvolucrarlos o consultarlos esporádicamente,sino que aspira a que se incorporen en la tomade decisiones, volviéndose corresponsables delas acciones de desarrollo, con deberes yderechos.

Se entiende que todo sistema de MEI institucio-nalizado debe contar con al menos cuatro ele-mentos:

a) un dispositivo definido con repartición de res-ponsabilidades;

b) la producción periódica de información de ca-lidad y su difusión al nivel adecuado;

c) prácticas de interpretación y de comunica-ción de información;

d) la retroalimentación a los sistemas de planifi-cación y evaluación de las entidades socias.

Sin embargo, en lo concreto vale la pena pre-guntarse en qué medida se han institucionalizadolas prácticas de MEI en la cultura de una institu-ción. A continuación se presentan algunos crite-rios para definir el nivel de institucionalización enel que se encuentra:

26

Principios

C

27

Nivel Características

AVANZADO

• Existe un/a responsable del MEI en el equipo de proyecto quien es coordinador/a,facilitador/a y asesora a los responsables del MEI en las instituciones socias; trabajaen equipo, está entrenado/a con competencias y roles claros.

• El MEI es conocido y asumido por las diferentes instituciones; hay mandatosespecíficos, tiempos acordados, flujos de información claros, funciones delegadas ypresupuesto.

• Los instrumentos, planes y productos del MEI son elaborados con los actores clave,son útiles y sencillos, están incorporados en los diferentes niveles en el proceso degestión y toma de decisiones.

• Se aplica una estrategia de difusión y uso de los productos para retroalimentar laplanificación y las estrategias, y existen espacios institucionalizados para la toma dedecisiones, considerando el aprendizaje social.

• Los sistemas de MEI están articulados a la institucionalidad local, por eje, a nivel degobiernos locales, mesas interinstitucionales, asociaciones de productores, entre otros.

MEDIO

• El/la responsable del MEI del equipo de proyecto es facilitador/a de procesosllevados a cabo por las instituciones socias; existe asignación de recursos ypresupuesto, y el sistema organizacional promueve un trabajo en equipo.

• El MEI cuenta con instrumentos estandarizados que son manejados a diferentesniveles.

• Se observan un conjunto de productos del MEI y se emiten informes internos yexternos.

• Hay espacios para la difusión de la información y la retroalimentación, la informaciónes accesible y útil para la planificación.

BAJO

• Se cuenta con arreglos organizacionales básicos entre las instituciones relacionadasa un proyecto.

• Existe un/a responsable de MEI en el equipo del proyecto con asignación en lamayoría de casos parcial del tema, con un enlace en cada institución asociada,disponibilidad de recursos y de conocimientos básicos sobre el MEI.

• El equipo del proyecto y las entidades socias se desentienden de susresponsabilidades en el tema.

• Se cuenta con un dispositivo de MEI aprobado, que guía la implementación.

• La implementación del MEI se realiza con liderazgo del/la responsable de MEI y delos enlaces; los actores son proveedores de información.

• Existe una base de datos y se emiten reportes.

• La gerencia centraliza la retroalimentación.

Fuente: Adaptado de Rotondo, E. (2007)6.

6 Rotondo, E. “Lecciones aprendidas en el desarrollo de la capacidad evaluativa para la lucha contra la pobreza rural de un programa regional”. IIConferencia RELAC, Bogotá, 17-21 de julio 2007.

Tabla No. 1: Niveles de Institucionalización de MEI


• Gestión descentralizada dela información

Al promover sistemas descentralizados de ges-tión y uso de la información se pone en valor laexperiencia y los conocimientos de los actoresy se refuerza su función de control y de vee-duría.

La gestión descentralizada de las prácticas dePMEI es un proceso que demanda tiempo. Losactores deben estar involucrados desde susroles específicos en todas las etapas: diseño,implementación y uso de la información. Sinembargo, eso constituye una ganancia ya queatiende más directamente los requerimientosde información. El principio es generar apro-piación, motivación e involucramiento desde elinicio.

Siendo el eje de acción de la cooperación aldesarrollo atender las necesidades de la pobla-ción en relación a su contexto, el MEI debe:

a) procurar que tales necesidades sean correc-tamente expresadas (en la definición de hi-pótesis e indicadores de impacto) einterpretadas (desde los actores, respetandosu visión de los cambios ocurridos);

b) garantizar que la información del MEI y su usoesté en concordancia con las necesidades delos actores, a fin de que estos puedan cono-cer claramente qué ha cambiado y qué no,interpretar cuáles son las razones y decidir

los ajustes que se consideren necesariosdesde su perspectiva.

Para promover este tipo de sistemas sepropone:

• Mapear a los actores (involucrados en el pro-ceso de desarrollo), sensibilizarles sobre laimportancia del MEI y concertar su rol deacuerdo a sus intereses y necesidades de in-formación.

• Diseñar con la participación de los actores elsistema, incluyendo sus visiones e indicado-res de cambio.

• Involucrar a los diferentes actores en la imple-mentación del MEI desde sus roles específicos,estimulando liderazgo y trabajo en equipo.

• Promover redes de información locales paraampliar el acceso e incrementar el uso de lainformación a nivel local.

• Descentralizar la toma de decisiones promo-viendo espacios de reflexión, de aprendizajey de retroalimentación.

• Desarrollo de capacidadesLa institucionalización no sólo requiere que sedefinan funciones y responsabilidades en tornoal MEI sino que se desarrollen capacidades lo-cales y se brinde asesoría para quelos actores locales asuman estos roles yresponsabilidades.

28

Principios

C

29

El “desarrollo de capacidades” es el proceso porel cual los individuos, organizaciones, redes decooperación y sociedades adquieren capacidadesen el plano individual y colectivo para desempeñarfunciones, participar equitativamente en la tomade decisiones, resolver problemas, establecer ylograr objetivos7.

El desarrollo de capacidades involucra el reconoci-miento y la valoración de los saberes existentes, yla adquisición de nuevos conocimientos y destrezaspara el cumplimiento de los objetivos individuales einstitucionales. Por ello, aprender-haciendo es laforma comomejor se aplica en el caso del MEI, per-mitiendo capacitar adecuadamente y responder asituaciones específicas.

C.4 Dispositivo consistente y manejable

• Indicadores priorizados• El establecimiento del MEI comienza con la

identificación de las necesidades de informa-ción para orientar mejor la acción, asegurarla eficacia operativa y comunicar interna y ex-ternamente sobre los avances alcanzados ylas dificultades encontradas.

• El arte consiste en limitarse a lo necesario ymanejable, evitando querer abarcar todo loque sería interesante conocer y monitorear.

¡Más vale disponer de 5 indicadores de im-pacto potentes que revelen cambios signifi-cativos a partir de datos confiables recogidoscon métodos bien definidos para la aplicaciónde los cuales las personas encargadas hanestado capacitadas, que de 20 sin líneabase confiable, con datos incompletos y difí-ciles y costosos de documentar sistemática-mente en el transcurso del proyecto!

• Sistema balanceado• Es por supuesto importante disponer de

datos precisos y periódicos sobre el avancede las actividades, que permitan controlar laimplementación de lo planificado, verificar decerca la ejecución presupuestaria, así comoanalizar y superar a tiempo las dificultadesencontradas en el camino. La recomendaciónes concebir procedimientos ágiles y estan-darizados, utilizando formatos prácticos pararecolectar, consolidar y procesar fácilmentela información a este nivel. Estas tareasdeben dejar tiempo para que el equipo de co-ordinación y los actores sociales e institucio-

nales involucrados en el proyecto puedanexaminar lo esencial en los resultados logra-dos y el impacto generado.

• No se debe perder de vista que una actividades un medio para alcanzar un fin más ambi-cioso. Se debe entonces balancear el segui-miento que se da a este medio y el que se hacedel fin perseguido. Implementar un curso de ca-pacitación a grupos de mujeres en áreas ruralesde pobreza, por ejemplo, es una actividad quetiene por resultado fortalecer los talentos de laspersonas en un área temática específica.

El MEI no solo debe verificar que la actividad serealizó como estuvo programada (en tiempo, ca-lidad y costo) y que en lo que concierne al resul-tado se ha logrado un desarrollo humano einstitucional, sino que deben existir indicadores anivel del objetivo central del proyecto, que per-mitan apreciar que la capacitación y otras medi-das induzcan impacto a mediano plazo en lasasociaciones de mujeres; por ejemplo, respectode su posicionamiento y protagonismo en el te-rritorio, de su relación con otros grupos sociales,de su situación económica, de su participaciónen el presupuesto participativo municipal, etc.

• Articulación entre niveles• Parte de los actuales programas de desarro-

llo no se limitan a un solo territorio o un solotipo de acción; cooperan con diferentes ins-tituciones, en varios lugares y en distintas te-máticas. El MEI debe generar datos yapreciaciones tanto al nivel de cada acciónlocalizada o específica cuanto al del pro-grama en su conjunto.

7 COSUDE, DAL, 2003: 6


30

• El desafío es, entonces, lograr que los datosde los proyectos específicos alimenten el MEIdel programa en su conjunto sobre la basede indicadores comunes. En la práctica, cabeidentificar un número reducido de indicado-res de gran relevancia para todos los acto-res de tal modo que puedan integrarse en elMEI de cada proyecto específico a fin de nu-trir el MEI general del programa.

• Datos que permiten unabuena aproximación

• Se trata, como se ha visto, de implementarun dispositivo de monitoreo-evaluación relati-vamente sencillo en su estructura, que secentre en un conjunto limitado de indicado-res, utilizando métodos que estén al alcancede los actores y que se adapten a los recur-sos disponibles. El MEI ofrece entonces unabuena aproximación de lo que está suce-diendo, sin pretensión científica.

• El M&E utiliza fácilmente, por su necesidadde rigor en la medición, métodos exigentesde investigación porque no está concebidoen primera instancia como instrumento degestión orientado a la retroalimentación de laacción y capaz de ser autogestionado.

• En lugar de aplicar métodos exactos y exi-gentes, el MEI verifica la confiabilidad de losdatos disponibles por triangulación. Pone én-fasis en la apreciación y discusión de ten-dencias entre actores involucrados en unmismo proceso de desarrollo a partir del pro-cesamiento de información tanto cualitativa(por ejemplo la proporcionada por encuestade opinión) cuanto cuantitativa.

• Brecha de atribución• Los impactos que se pueden observar de-

penden de varios factores y no correspondensólo al mérito de un programa de desarrollo.

Hay factores internos de la realidad local y re-gional que tienen influencia (por ejemplo la es-tructura local del poder político). Puedenasimismo existir otras intervenciones de de-sarrollo que inciden en la situación (por ejem-plo la accesibilidad a mejores servicios). Porúltimo, siempre existen condiciones marcodel contexto que tienen una influencia nota-ble (por ejemplo la política crediticia nacional,el canon minero, etc.). Por lo tanto, es difícilatribuir un cambio positivo a la sola inter-vención del programa de desarrollo. Eso sellama la “brecha de atribución” que es por na-turaleza difícil de cerrar.

• Corresponde entonces limitarse a analizar ydemostrar las relaciones plausibles entre laacción de un programa de desarrollo y loscambios que se van a observar en la realidad.Es por lo tanto importante priorizar hipótesisde impacto que estén lo más directamenterelacionadas con las líneas de acción delprograma.

• A la hora del análisis de los resultados y delimpacto logrado se espera una interpreta-ción que tome en consideración factoresdecisivos del entorno y que diferencie entrelo que es directamente atribuible a la accióndel programa y aquello en lo que éste hacontribuido.

• El ideal sería, por supuesto, disponer en eldispositivo de monitoreo-evaluación de “tes-tigos de referencia” que estén fuera del ám-bito de intervención del programa y quepermitirían hacer la comparación. Sin em-bargo, si bien eso es factible en el caso deparcelas agrícolas no lo es fácilmente y a uncosto razonable en programas que tienenunidades de análisis más amplias y comple-jas (mancomunidad de municipios, plata-forma interinstitucional de formación,consorcio de empresas rurales en un sectorde producción, ecosistema forestal, cuencahídrica, etc.).

Proceso del MEIen 6 pasos

Proceso del MEIen 6 pasos

D. PROCESO

Proceso

D

33

12

34

56

Prep

arar

las

bas

es

Secu

en

cia

de

paso

s

Iden

tific

arlo

sau

tore

scon

inte

rés

enla

func

ión

MEI

Revi

sarl

aco

nsist

enci

ade

lm

arco

lógi

co

-Ev

alua

rsil

age

stió

nes

efic

azy

efic

ient

e.-

Iden

tific

arop

ortu

nida

des

dede

sarr

ollo

hum

ano.

-Ev

alua

relc

lima

orga

niza

cion

alpa

rapr

omov

ersu

desa

rrol

lo.

Info

rmar

,se

nsib

iliza

ryes

tabl

ecer

prim

eros

acue

rdos

Form

ular

indi

cado

resd

eco

ntex

to

Org

aniz

ares

paci

osde

dise

ñoy

defin

irre

spon

sabi

lidad

es

Form

ular

indi

cado

resd

eim

pact

o

Form

ular

indi

cado

resd

ere

sulta

do

Agr

upar

indi

cado

resp

orun

idad

dean

álisi

s

-Ca

paci

tare

nel

uso

delo

sin

stru

men

tos.

-Le

vant

arla

línea

base

.-

Proc

esar

los

dato

s.-

Org

aniz

arel

alm

ace-

nam

ient

oy

laac

cesib

ilida

d

-A

naliz

are

inte

rpre

tar-

-Pr

omov

erel

uso

dela

info

rmac

ión

por

part

ede

los

acto

resc

lave

.-

Com

unic

arco

nm

irasa

lare

troa

li-m

enta

ción

ya

proc

esos

deap

rend

izaj

e.

Acl

arar

indi

cado

res

yde

finir

mét

odos

Dise

ñary

valid

arin

stru

men

tos

Org

aniz

arla

impl

emen

taci

ón-

Visu

aliz

arflu

jos

dein

form

ació

n.-

Incl

uire

nlo

spl

anes

deop

erac

ión

-Re

spet

arlo

s4pr

inci

pios

Mo

nit

ore

arla

ges

tió

n

Leva

nta

ry

pro

cesa

rin

form

ació

n

Des

arro

llar

inst

rum

ento

sy

orga

niza

rla

impl

emen

taci

ón

Ana

lizar

,in

terp

reta

rydi

fund

irla

info

rmac

ión

Iden

tifi

car

yp

rio

riza

rin

dic

ado

res

Grá

fico

No.

4:El

proc

eso

delM

EIen

6pa

sos

Proceso del MEI en 6 pasos

34

A continuación se brindan, paso por paso,consejos sobre la manera de proceder yejemplos de aplicación en el caso de 3 pro-yectos representativos, cada uno de un ejetemático:

• Eje Buena gobernabilidad: Proyecto APO-DER en Perú (CND-COSUDE) de descentrali-zación en espacios rurales.

• Eje Desarrollo económico: Proyecto EM-PRENDER en Ecuador (AME Región SierraCentro-IC) de microempresas rurales y desa-rrollo económico.

• Eje Gestión sostenible de recursos natu-rales: Proyecto regional PROMIPAC en Cen-troamérica (El Zamorano - COSUDE) demanejo integral de plagas en cultivos.

D.1 Paso 1: Preparar las bases

• Identificar los actores coninterés en la función del MEI

Mapear a los actores relacionados al proyecto yseleccionar aquellos que podrían ser partícipesdel MEI con miras a su involucramiento en el di-seño. Probablemente se trate de los mismos ac-tores que están involucrados en el proceso deplanificación participativa.

Se puede distinguir entre actores de 3categorías8:

a/ Contrapartes oficiales

Por ejemplo, ministerio, gobierno regional, agen-cia cooperante.

b/ Socios

Actores de desarrollo que se asocian con el Pro-yecto para progresar en un tema y/o para for-talecerse a nivel humano-institucional; es a esenivel que se espera impulsar cambios significa-tivos y durables. Por ejemplo:

• Grupos sociales y comunitarios de base.

• Asociaciones de productores/as, de micro-empresas.

• Comunidades rurales.

• Asociaciones de municipalidades.

• Gremios profesionales.

• Entidades de servicio público.

• Centros de estudio, de educación.

• Entre otros.

c/ Aliados

Entidades que brindan servicios a los socios. Porejemplo:

• Entidad facilitadora que acompaña procesosde desarrollo (ONG, centro universitario, etc.)

• Institución de servicio técnico o financiero

• Centro de formación

• Entre otros.

Esta actividad de compilación servirá luego parareunir a los actores por categoría a fin de queaporten con su visión sobre los cambios espe-rados y definan la información que a ellos lessería útil manejar. A modo de referencia véaseel Anexo No 9: Rol de los actores clave en el mo-nitoreo y evaluación.

8 Por categoría de actores se entiende un grupo de personas o instituciones con visión e interés propios y con capacidad representativa para participaren espacios de concertación.

Proceso

D

35

• Informar, sensibilizar yestablecer primerosacuerdos

Organizar, por iniciativa del equipo técnico delproyecto, una sesión con las entidades socias yaliadas para brindar información sobre el moni-toreo y la evaluación. Informar sobre su utilidady su relación con la planificación (sensibilizar).Lograr primeros acuerdos en torno a los pasosa seguirse para su diseño e implementación.

Es muy importante que, desde un principio, lossocios y aliados entiendan que proporcionar pe-riódicamente datos e información, de acuerdo aindicadores consensuados, hace parte del com-promiso que se va a formalizar en los conveniosy contratos. El suministro de datos sobre lo queestá ocurriendo debe volverse una práctica co-rriente y sistemática, al igual que la contabilidadfinanciera. Sin embargo, lo que no siempre seentiende con claridad es que el propósito es muydistinto. No se trata de fiscalizar sino de visuali-zar periódicamente los avances, reflexionar yaprender entre socios para realizar ajustes en loestratégico-operativo.

• Organizar espacio para eldiseño

Facilitar un espacio para recoger las opiniones ypropuestas por categoría de actor. Al incorpo-rarse en el diseño y en la implementación delMEI, cada categoría de actores contribuye consu propuesta de hipótesis y de indicadores, y es-pecifica qué información le interesaría recoger ygestionar a su nivel y cuáles son los medios decomunicación idóneos para que se difunda en suentorno la información procesada.

Una manera de proceder es organizar eventospor categoría de actores (por ejemplo, por re-gión o por línea de producción) para luego reali-zar la consolidación de los diferentes aportes yllegar a acuerdos en el marco de un taller final(por ejemplo durante una etapa del taller nacio-nal de planificación). El acuerdo debe contem-plar compromisos institucionales en relación a larepartición de responsabilidades para asegurarel flujo de información, su procesamiento y su al-macenamiento. Un diagnóstico de las capacida-des existentes y por desarrollarse en relación ala implementación del MEI debe acompañar esteprimer paso.


36

Levantamiento de las hipótesisde impacto de actoresEn forma resumida, se propone seguir las siguientes etapas para recoger la visión de ungrupo de actores locales sobre los cambios que esperan de una acción de desarrollo

Trabajo en taller a partir de preguntas guiadoras

Objetivo: identificar bien cuál es la naturaleza del proyecto queel grupo plantea.

Preguntas: ¿Qué quieren realizar? ¿Cuál es la propuesta quedesean presentar a una entidad que les puede cofinanciar /apoyar?

Modalidad: se puede trabajar en plenaria o en grupos detrabajo conformados por género, por edad, etc. Las ideas,después de haber sido recogidas y agrupadas, serán discutidasen plenaria hasta identificar cuál es la acción estratégica quepriorizan.

Objetivo: identificar los cambios que el grupo espera al realizaresta acción y diseñar la cadena de causalidad.

Preguntas:

1) ¿Si realizan lo propuesto, que mejora inmediata visibilizan?

2) ¿A qué cambio significativo de mayor profundidad aspiranustedes a nivel individual, familiar, en su comunidad oasociación, o en el municipio?

Modalidad: recoger las ideas y agruparlas para visualizar lacadena de los cambios esperados (véase el ejemplo); verificarque la relación de causalidad entre un nivel y el siguiente eslógica y factible.

Ejemplo sobre la base del proyecto EMPRENDER:

Objetivo: formular, a partir de los dos últimos eslabones, cuálesson las hipótesis de impacto que tienen relación directa con laacción que plantean.

Modalidad: trabajo de facilitación para a) ayudar al grupo aformular una o dos hipótesis de impacto, b) seleccionarindicadores de medición (¿qué, en qué medida, en qué tiempo?).

ETAPA 1

ETAPA 2

ETAPA 3

Solucionarproblema en la

molienda de caña

Encontrar mejores mercados conproductos de

calidad

Mejorar nuestrosingresos

(duplicar el preciode venta)

Tecnificar la transformación deljugo de caña y sus

derivados

Procedimiento

Proceso

D

37

D.2 Paso 2: Identificar y priorizar indicadores

• Revisar la consistencia delmarco Lógico

El proceso de planificación de fase habitualmentepasa por la formulación participativa de una jerar-quía de objetivos, de resultados y de líneas de ac-ción que luego da lugar a un trabajo de gabinetepara la elaboración de un esquema de planifica-ción resumido en un Marco Lógico (ML).

La revisión de la consistencia del ML, en un tallerde planificación estratégica de fase y de diseñodel MEI, aparece como una actividad de alta re-levancia. En efecto, una jerarquía coherente deobjetivos y resultados, que responde a una ló-gica clara, facilita el proceso de formulación ypriorización de indicadores de monitoreo.

La experiencia enseña que un ML poco cohe-rente genera confusión en la delimitación de loscampos y niveles de medición, y obstaculiza elpropio diseño del MEI.

La ficha de revisión de consistencia del ML (véaseel Anexo No 10) constituye una oportunidad paraaclarar mejor la visión de cambio que persigue elproyecto y definir indicadores pertinentes.

• Formular indicadores decontexto

La identificación de indicadores de monitoreo decontexto pasa por revisar el análisis del entorno.Durante el proceso de diagnóstico y de formula-ción del proyecto se visualizaron factores clavede influencia sobre los cuales el proyecto no dis-pone de llave.

Se trata de una condición general del medio am-biente, del entorno social, económico, político,institucional (a nivel regional y/o nacional y/o in-ternacional) que está fuera de control de los ac-tores y gestores del proyecto, pero que influyesignificativamente sobre el éxito y la sostenibili-dad de su acción.

ProcedimientoTarea 1: revisar la documentación del diagnós-tico, de los estudios de base y de formulacióndel proyecto para extraer condicionantes, ries-gos y supuestos importantes. Elaborar una notade insumo.

Tarea 2: en taller con los socios y aliados(idealmente durante el taller de consolidación dela planificación de fase) proceder a una lluvia deideas por categoría de actores a partir de la si-guiente pregunta

¿Cuáles son los 5 factores y tendencias másrelevantes del entorno que condicionan di-rectamente nuestra acción y que valdría lapena seguir monitoreando?

Luego hay que agrupar las respuestas porcampos. No superar, si posible, la docena defactores considerados como los más críticosy para los cuales se visibiliza una fuente de in-formación.

Como alternativa a un análisis profundo desistemas que es complejo, se puede realizar,en el marco de un taller, el análisis partici-pativo de sistemas (APS) que es más fácil demanejar. El ejercicio consiste en definir losfactores más importantes del entorno delproyecto a partir de los antecedentes, expe-riencias específicas, conocimientos de losparticipantes. Se va llenando una tabla dedeterminación de la influencia que cada fac-tor tiene sobre los demás factores del sistemay, luego, de la influencia de los demás fac-tores sobre el factor en cuestión9. El ejerci-cio lleva a identificar los factores máscríticos que pueden generar efectos inespe-rados como aceleradores o bloqueadores delsistema.

Tarea 3: cruzar las respuestas a la pregunta an-terior (tarea 2) con los insumos (tarea 1); abrir ladiscusión y facilitar la formulación y priorizaciónde indicadores de contexto.

9 Kart Herweg & Kurt Steiner. (2003). "Monitoreo y valoración del impacto. Instrumentos a usar en proyectos de desarrollo rural con enfoque en elmanejo sostenible de la tierra". CDMA & GTZ, Suiza. Disponible en:Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdfVolumen II Utilería: www.asocam.org/biblioteca/MVI_014.pdf


Consejosa) Esta actividad requiere de un trabajo previo

a la priorización, que resulta de una reflexióninterinstitucional, si es posible insertada en eltaller de planificación de fase. Un tiempo de2 a 3 horas parece adecuado.

b) El contexto se monitorea utilizando mayor oexclusivamente información secundaria y pro-cesada. Ejemplos de fuentes:

- Ministerio de Economía y entidad nacionaly regional de planificación para gastos ytransferencia de fondos públicos.

- Flujo de comercio de las aduanas, los mi-nisterios y las cámaras del sector empre-sarial.

- Información de las Cortes de justicia y dela Defensoría del pueblo.

- Estadísticas por sectores: salud, educa-ción, agricultura, medio ambiente.

- Servicios locales de catastro.

- Centros de estudio que disponen demapas georeferenciados.

- Servicios de agua y electricidad sobre con-sumo y composición del precio unitario.

- Registro oficial.

- Servicios de información de organismos in-ternacionales tales como UNICEF, FAO, BM.

En caso de ser necesario, se invita a consul-tas con periodistas, investigadores sociales,centros universitarios, etc., que acostumbranusar tales fuentes.

c) El monitoreo de contexto debe contemplar unbalance adecuado entre “datos exactos” y“apreciación de tendencias”. (Véase la pri-mera parte del Anexo No 2_b que presentaun resumen de evaluación del contexto e im-pacto para el caso APODER).

d) Evitar dos trampas:

• La selección de indicadores muy genera-les que tienen poca vinculación con elárea temática del proyecto, ni influenciadirecta sobre la acción a ejecutarse.

• La falta de regularidad en el levantamientode información, lo que no permitirá dispo-ner de una secuencia en el tiempo.

38

Proceso

D

39

Proy

ecto

Cam

pode

obse

rvac

ión

(CO

)

APO

DER

CO1:

Evolucióndelpresupuesto

público

Indi

cado

r(o

crite

rio)

-eje

mpl

os

a)%delpresupuesto

delEstadoasign

adoago

biernos

locale

syr

egion

ales

b)Ra

tiode

transferencias

reale

salas

municipalidades

versus

lasprog

ramadas

Fuen

te

-Pá

ginaswe

bde

laPresidenciadelC

onsejo

deMinistro

s,ministerio

deEc

onom

íay

Congreso

EMPR

ENDE

R

CO1:

políticacrediticia

a)Lín

easyc

ondic

iones

decrédito

para

microempresas

rurales

-Encuesta

aentidades

micro

financieras

PROM

IPAC

CO1:

Evoluciónde

lasimpo

rtaciones

deplaguicidasquímicos

a)Evolu

cióndelvolu

men

impo

rtado

portipo

deprod

ucto

corre

spondie

ntea

plaguicidasquímico

sb)

Listado

deprinc

ipales

empresas

impo

rtado

ras

-Pá

gina

webde

Aduanasyministerio

deCo

mercioExterio

r

CO2:

Tendencias

deconsum

opo

rregiones

deplaguicidasquímicos

c)Ventas

porreg

iones

delas

5princ

ipales

empresas

impo

rtado

rasde

plaguicidas

-Re

porte

sde

ventas

delsectora

groq

uímico

s

CO3:

Afeccio

nesen

lasalud

porintoxica

ción

d)Variació

nen

númerode

intoxica

cionesagudas

ycrónic

as-

Estadística

sdelm

inisteriode

Salud

Pública

CO4:

norm

atividadnacio

nalpararestringir

elconsum

ode

plaguicidastóxic

os.

e)Evolu

cióndelm

arco

norm

ativo

-Re

gistro

oficial

CO2:

migración

a)Flu

josde

emigr

ación

dehombres

ymuje

resdelm

ediorural(c

rece-de

crece)

-Estadística

soficiale

sysondeo

deaprecia

ción

CO3:

norm

atividadnacionalpara

prom

over

eldesarro

lloeconóm

icolocal

c)Evolu

cióndelm

arco

norm

ativo

-Re

gistro

oficial

CO4:

tendencias

deconsum

oyprecios

enprincipalesmercado

s(nacionale

internacional)para

laslíneasde

prod

ucción

apoyadas

d)Variació

nde

precios

enmercado

smayoristas

nacio

nales

e)Evolu

ciónde

lasexpo

rtacio

nespo

rmercado

destino

f)Evolu

ciónde

lasimpo

rtacio

nesdelm

ismopaísyd

elos

princ

ipales

consum

idoresaniv

elinternacio

nal

-Se

rviciode

informaciónde

mercado

yprecios

delm

inisteriode

Agricultura

-Ba

ncocentraldelaNa

ción

-Pa

gina

webbancode

datosFAO

CO2:

Evoluciónde

lanorm

atividaden

relación

aladescentra

lización

a)Ca

mbios

enelmarco

norm

ativo

b)Ac

toresquefacilitan

oquedificultan

-Co

ngreso

ymediosde

comunicación

CO3:

Conflictividad

e)Co

nflictosentre

autorid

ades

localesygrupos

sociales

-Inform

aciónde

lasorganizaciones

sociales

yde

losgo

biernoslocalesyregionales

CO4:

Asociativismomunicipal

f)Inv

entario

actualizado

delas

asociac

ionesen

vigencia

g)Evoluciónde

laconformaciónyde

laconsolidaciónodesin

tegraciónde

lasasociac

iones

-Inform

aciónde

laRe

dnacionalde

municipalidades

EjemploTa

bla

No.

2:In

dica

dore

sde

mon

itore

ode

cont

exto

,eje

mpl

ode

aplic

ació

nen

3ej

este

mát

icos


40

• Formular indicadores deimpacto

Se trata primero de formular un número reducido dehipótesis respecto del impacto que se espera de laacción del proyecto (situación alcanzada o procesoen marcha) y, luego, para cada hipótesis, algunospocos indicadores que evidencian el cambio.

AclaraciónImpacto: es toda repercusión importante de unprograma a mediano-largo plazo que transciendelos productos directos. Puede ser la multiplicaciónde un resultado logrado (por ejemplo, agricultoresno atendidos directamente por los servicios delproyecto adoptan las innovaciones que han sidoaplicadas y validadas por productores vecinos re-lacionados al proyecto). Puede ser un efecto lo-grado por la acción del proyecto que se vuelvesostenible en el tiempo (por ejemplo, empleos cre-ados en la microempresa se mantienen más alládel apoyo externo brindado por el proyecto).

Hipótesis de impacto (HI): son anticipacionesde los efectos esperados, principalmente positi-vos, como consecuencia de la acción del pro-yecto. Por el carácter hipotético de la decla-ración, deben estar sometidas a comprobación.Pueden referirse a una situación que se esperaalcanzar, a un hecho que se podrá comprobar(por ejemplo, la aplicación de una normativa mu-nicipal que va a asegurar un acceso más equi-tativo de los habitantes al agua y la reducción dela conflictividad respectiva. Pueden, asimismo,referirse a un proceso que se va a dar y quedebe monitorearse mediante señales de pro-greso (por ejemplo, el fortalecimiento del rol yprotagonismo de las mujeres en instancias re-gionales de planificación territorial).

Indicador (I): es una variable cuantitativa o cualita-tiva que contribuye a revelar un cambio o un pro-greso. Sirve para dar a entender lo que se ha

modificado. Se habla de indicadores diferenciadoscuando están desagregados y toman en cuenta lasdiferencias y desigualdades existentes por género,por edad, por situación económica, por grupo et-nolingüístico de pertenencia, por la posición centro-periferia, etc.

Campo de observación (CO): dimensión par-cial (o segmento) de la realidad que correspondea un sector, a una categoría social de personas,a un ámbito territorial, a un grupo institucional,etc. en el cual se desea verificar el logro de re-sultados o cambios significativos.

Línea base (LB): para cada indicador, son losdatos del año base considerados como la refe-rencia en función de la cual las futuras medicio-nes apreciarán variaciones.

ProcedimientoTarea 1: identificar en qué campos se desea ob-servar un impacto significativo que guarde di-recta relación con el objetivo central y la finalidaddel proyecto. Seleccionar de 2 a 4 campos deobservación (CO). Esta tarea, que es prescindi-ble, a menudo facilita la ejecución de la tarea 2,que aparece a continuación.

Tarea 2: para cada CO, formular un número re-ducido de hipótesis de impacto (HI); entre una amáximo tres HI por CO.

Tarea 3: para cada HI declarada, hallar de uno ados indicadores que señalan el cambio esperado.

Los atributos de un indicador son:

• Relevancia = capta lo importante.

• Sensibilidad = el tiempo entre una medición yla siguiente es suficiente para observar unreal cambio.

• Confiabilidad = definido de manera suficien-temente clara para que distintas personas le-vanten la misma información.

Se suelen utilizar las siguientes expresiones para caracterizar a un buen indicador:

• SMART: specific, measurable, achievable, relevant, time-basedespecífico, medible, alcanzable, relevante, tiempo definido

• CREAM: clear, relevant, economic, achievable, measurableclaro, relevante, económico, alcanzable, medible

Proceso

D

41

Se puede sustituir un indicador bueno pero queresulta incómodo o costoso por un indicador“proxy”, menos preciso pero cuyos datos van aser más fáciles de conseguir. Ejemplos: “reduc-ción de quejas registradas de clientes” en lugardel indicador más exacto “mejor atención alcliente”; “% de nuevos techos de zinc o tejas delas casas en el pueblo” o “incremento de la po-blación de ganado mejorado por familia” en lugarde “mejora del ingreso familiar”.

Con el fin de valorar el cambio en las personasy las instituciones (actitud, relacionamiento), espreferible definir una visión del cambio ideal es-perado y fijar señales graduales de progreso quereflejan el camino para acercarse a este ideal10.Por ejemplo, si el ideal es: comunidades ruralestienen la capacidad de planificar e implementarla gestión sostenible de sus bosques, se puedeesperar que, gradualmente, la organización co-munal.

• disponga de una estructura interna eficazpara aunar esfuerzos y asegurar que los di-ferentes intereses locales en relación a esterecurso estén representados;

• elabore un plan de acción consensuado entrelos diferentes grupos de interés y las autori-dades;

• garantice recursos humanos y financierospara la ejecución del programa de acción;

• promueva la adquisición de nuevas destrezasy conocimientos de los técnicos comunales;

• logre contratar a especialistas externoscuando sea necesario para proveer informa-ción o cumplir requisitos técnicos;

• produzca y difunda ejemplos concretos demanejo del bosque que tengan valor agre-gado;

• identifique oportunidades de colaboracióncon otras instituciones y con instancias delgobierno regional y las concrete.

Estas señales de progreso pueden ser utilizadascomo un desagregado del indicador de “gestióncomunal autónoma y sostenible de los recursosforestales”.

Tarea 4: para cada indicador definir dos ele-mentos importantes:

a) la unidad de análisis y el método de recopila-ción o de búsqueda de información; por ejem-plo, la parcela con ficha de registro, lapoblación del Municipio con base en una en-cuesta estructurada, la asociación de micro-empresarias con guía de entrevista.

b) la(s) persona(s) o entidad(es) responsable(s)de proveer o recolectar la información

10 S. Earl, F. Carden, T. Smutylo (2002). Mapeo de Alcances, IDRC.


Niv

elde

lM

arco

Lógi

co(M

L)

Cam

pode

obse

rvac

ión

(CO

)

Fina

lidad

(obj

etiv

osu

peri

or)

Obj

etiv

oce

ntra

l

Hip

ótes

isde

impa

cto

(HI)

Indi

cado

rde

impa

cto

(II)

Cód

igo

Unid

adde

anál

isis

ym

étod

oRe

spon

sabl

e

PREG

UNTA

1

¿enquécampo

seob

servarán

cambios

significativos,a

mediano

ylargoplazo,

atrib

uibles

alaacción

apoyadapo

rel

proyecto

yrelacionados

consu

objetivoyfinalidad?

PREG

UNTA

2

Para

cada

CO

¿qué

cambio(s)

significativo(s)

esperamos

que

ocurra(n)?

PREG

UNTA

3

Para

cada

HI

¿qué

evidencianos

indica

queelcambio

haocurrid

o?

¿cóm

opo

demos

medir

elcambiooapreciar

elprog

reso?

PREG

UNTA

4

Para

cada

II

¿cuáleselcódigo

que

seva

adara

lindicado

r?

PREG

UNTA

5

Para

cada

II

¿cuáleselinform

ante?

¿cóm

ose

obtendrá

eldato?

¿por

censoomuestra?

Ej.e

ncuestacensal

porfinca,e

ntrevis

tamuestrala

jóvenes,a

grupofocalde

microem

presarios

PREG

UNTA

6

Para

cada

II

¿Quién

proveerá

lainform

ación,

cuándo

ydó

nde?

PREG

UNTA

SGU

IADO

RAS

Tabl

aN

o.3:

Proc

edim

ient

oa

segu

irse

para

form

ular

ypr

esen

tar

los

indi

cado

res

deim

pact

o

42

Proceso

D

43

Consejosa) Atreverse a priorizar indicadores esenciales y

factibles de medir: entre 4 y 10 indicadoresrelevantes de impacto. Puede ser que hayavarios indicadores para una misma hipótesisde impacto, pero no es necesario.

b) Definir un cuerpo reducido de 3 a 4 indica-dores de impacto inamovibles en el tiempopara asegurar el monitoreo a largo plazo. Deser necesario, se podrán agregar, en fasesulteriores del proyecto, algunos indicadoresadicionales para medir los nuevos enfoques.

c) Mantener un equilibrio razonable entre indicado-res cuantitativos y objetivamente verificables eindicadores cualitativos (apreciación de calidad).

d) Analizar para cada indicador la implicancia ope-rativa de la medición (lectura horizontal de latabla No 3) a fin de tener una primera aprecia-ción de la carga de trabajo que puede repre-sentar y apreciar la factibilidad de la medición.

e) Fijar un estándar al indicador. Tiene sobre todosentido cuando se dispone de la línea base.Después del levantamiento del dato de partida(por ejemplo, 10% de la población percibe po-

sitivamente la calidad del servicio de agua po-table a nivel familiar), se fija un valor para el im-pacto deseado (por ejemplo, en 4 años, 60%de la población declara satisfacción por el ser-vicio de agua potable a nivel familiar). No obs-tante, tiene también sentido establecer unestándar cuando se considera que el valor departida es cero. Por ejemplo, número de em-presas asociativas que han llegado al punto deequilibrio y que disponen de un mercado cre-ciente: al inicio no existe ninguna empresa aso-ciativa constituida en el área de intervención yse considera un impacto positivo si existen, alos 5 años, al menos dos empresas asociati-vas por línea de producción apoyada que hanllegado al punto de equilibrio y que disponende un mercado creciente.

La fijación de una “meta” no es, sin embargo,siempre factible. A veces es preferible esta-blecer un mínimo. Por ejemplo, incrementode al menos 10% de ingreso neto familiaranual por la actividad frutícola.

f) Contemplar dimensiones para disponer de in-dicadores bajo un enfoque de equidad inter-cultural y de género.

Dimensión

Mejoramiento del auto-reconoci-miento

Ejemplo de criterio/indicador

- Percepción de su situación (positiva/negativa)- Iniciativa propia para informar y capacitarse- Confianza para comunicar- Cambio en su posición en la comunidad, la institución, la familia

Igualdad de oportunidades - Acceso a educación bilingüe- Acceso a trabajo digno- Diferencia de ingresos entre mujeres y hombres- Control sobre los excedentes monetarios

Reducción de carga de trabajocon liberación de tiempo paraotras actividades

- Distribución del trabajo doméstico- Hogares con infraestructura y servicios que permiten ahorro de tiempo en

trabajo doméstico- Tiempo dedicado a recolección de leña y agua

Participación y liderazgo - Institucionalización de mecanismos locales para incluir a grupos marginados yvulnerables

- Involucrada/o en proceso de presupuesto participativo- Formar parte de comités específicos- Ser miembro de la directiva de un comité o de autoridades electas- Formar parte de instancias de representación a nivel local, regional, nacional

Acceso y control de recursos - Acceso a recursos productivos (tenencia de tierra, riego, acceso a bosque y pradera, etc.)- Acceso a servicios financieros y de asistencia técnica (en su idioma)- Acceso a información y capacitación en idioma materno, con modalidad concertada

Tabla No. 4: Algunas dimensiones a contemplarse para definir indicadores de interculturalidad y género


Proy

ecto

Cam

pode

obse

rvac

ión

Hipó

tesi

sde

impa

cto

(eje

m.)

Indi

cado

r(e

jem

plos

)C

od.

Unid

ad+m

étod

oRe

sp.

APODER(descentralizaciónenespaciosrurales)

CO1:

elprocesode

gestiónlocalenel

marco

dela

descentralización

HI1

:Ladescentralizacióndel

Estado

facilitaelsurgimiento

denuevos

mod

elos

dege

stión

localbasados

enlainclusión

socialyelacceso

ainform

ación

70%de

municipalidades

socias

haninstitucionalizadoylegitim

ado

espacios

inclusivos

deconcertación

Participacióncrecientede

mujeres

yjóvenesen

losespacios

localesde

concertación

%de

poblaciónde

losMunicipios

atendido

sse

siente

debidamente

inform

adasobreelprocesode

descentralización

lamunicipalidad

apartirficha

(censal)

lamunicipalidad

ficha

registro

(censal)

Encuesta

familia

rpo

rmuestreo

Secr.técnico

dela

Asociación

deMunicipios

Secr.técnico

dela

Asociación

deMunicipios

Coord.M&E

del

proyectocon

encuestadores

locales

I.11

I.12

I.13

CO2:

lage

stión

municipal

HI2

:Laciudadaníaen

municipiosruralespo

bres

lograavancesefectivos

enla

gestiónmunicipal

50%de

lapoblaciónde

los

Municipiosatendidosperciben

mejoras

enlacalidad

delos

serviciospúblicos

clave

Encuesta

familia

rpo

rmuestreo

Coo

rd.M

&Edel

proyecto

con

encuestado

res

locales

I.21

CO3:

laseconom

ías

locales

HI3

:Lacultura

deconcertación

amplíalas

oportunidadespara

eldesarrollolocaly

lage

neración

deriq

ueza

%de

Municipiosapoyados

enDes.E

con.

Localenloscuales

seha

increm

entado

lainversión

privadafrutode

políticas

deprom

oción

Lamunicipalidad

hojade

registro

(9Municipios)

TécnicoDEL

del

Municipio

I.31

Tabl

aN

o.5:

Indi

cado

res

dem

onito

reo

deim

pact

o.Ej

empl

osde

aplic

ació

nen

3ej

este

mát

icos

44

Ejem

plo

Proceso

DEMPRENDER

(microempresasrurales)

CO1:

laprod

uctora

/el

prod

uctorsocio

HI1:L

asactividades

prod

uctivas

apoyadas

han

generado

empleo

eingreso

enlasunidades

familia

resde

las/losprod

uctores

%de

increm

ento

enem

pleo

familia

rge

nerado

(promediode

Node

jornales

porfamilia

/año)

%de

increm

ento

deingreso

familia

ranualpromedio

proviniendode

laslíneas

apoyadas

Encuesta

familia

prod

uctora

socia

(por

muestreo)

Encuesta

familia

prod

uctora

socia

(por

muestreo)

Coo

rd.M

&Edel

proyecto

con

técnicos.locales

Coo

rd.M

&Edel

proyecto

con

técnicos

locales

I.11

I.12

CO2:

laasociación

deprod

uctoras/es

deuna

mismalínea

prod

uctiva

HI2:

Laslíneasprod

uctivas

apoyadas

generanunadinámica

asociativaqueva

creciendo

Node

prod

uctores/as

socios

delasem

presas

asoc

iativas

constituidas

Node

clientes

yNode

proveedo

respo

rem

presa

asoc

iativa

Registro

existentede

cada

empresa

Registro

existenteen

cada

empresa

Gerenteem

presa

Gerenteem

presa

I.21

I.22

Proy

ecto

Cam

pode

obse

rvac

ión

Hipó

tesi

sde

impa

cto

(eje

m.)

Indi

cado

r(e

jem

plos

)C

od.

Unid

ad+m

étod

oRe

sp.

CO3:

elgo

bierno

local

HI3:

Elgo

bierno

localasume

rolp

rotagó

nico

enprode

lde

sarrollo

económ

icolocal

concertado

(DEL

C)

Noytip

ode

acciones

deapoyoal

DELC

inco

rporadas

enla

planificación

demed

iano

plazo

Elgo

bierno

locala

partirficha

(censal)

TécnicoDE

Lde

lProyecto

I.31

Tabl

aN

o.5:

Indi

cado

res

dem

onito

reo

deim

pact

o.Ej

empl

osde

aplic

ació

nen

3ej

este

mát

icos

45

Ejem

plo

46

CO1:

laprácticade

manejointegralde

plagas

(MIP)

HI1.1

Losagricultorestienen

más

conocimientos

eimplem

entanalternativas

deMIPen

sufinca

HI1.2

losagricultores

aprecian

elvalorde

las

prácticas

MIP

%de

familiasd

eagricu

ltores

queimp

lementan

prácticas

MIPe

nsufinc

aNo

deprácticas

MIPques

onconocid

asy

aplicadas

porlas

familia

sproducto

ras

Node

perso

nasc

apacitadase

nMIPque

comp

arten

volun

tariam

entesusc

onocimien

tosen

elespacio

familiary

comu

nal

Encuestafam

iliarc

onguía

observa

-ción

ygrupo

testigo

(estud

iosde

caso)

Encuesta

familia

rcon

guíaob

serva-c

ión(estudios

decaso)

Encuesta

familia

rcon

guíaob

serva-c

ión(estudios

decaso)

Coord.

M&Edel

proyecto

Coord.

M&Edel

proyecto

Coord.

M&Edel

proyecto

I.111

I.112

I.12

CO2:

lage

stión

ambiental

HI2elagua

deconsum

ohumano

yde

riego

recupera

calidad

%de

reducción

delN

ode

personas

con

intoxica

ciónagudaen

lascomunida

des

dedis

minu

ciónde

resid

uosde

plaguicidas

enelagua

enlas

comunida

desatendid

as

Estadís

ticas

puesto

desalud

Análisis

deagua

por

muestr

eo(ac

equia

ypozo)

Entidad

aliadacon

centro

salud

Técn.d

elProyecto

con

aliados

I.21

I.22

CO3:

mejoram

ientode

lacalidad

devida

HI3.1familia

sconsum

enalimentos

conmenos

resid

uosquímico

s

HI3.2familia

sprod

uctorasaumentan

suprod

ucció

nagrícola

HI3.3reducción

decostos

deprod

ucció

n

HI3.4inc

remento

deing

resos

familia

res

Node

familiasq

ueconocenlan

orma

deaplicación

deins

umos

químico

sNo

defam

iliasc

onbodegasfitosanitarias

enbuenas

condiciones

quep

ermiten

lano

conta

minació

nalim

entar

ia

Node

familiasq

ueaume

ntarons

urendim

iento

portipo

decultiv

orespecto

alañoa

nterior

Costo

sdeinsum

osde

producció

npor

tipod

ecultiv

oCo

stoprom

ediode

manejode

plagasp

ortipo

decultiv

oVariació

neningres

osfam

iliares

portipo

decultiv

o

Encuestafam

iliar(

estud

iosde

caso)

Encuestafam

iliar(

estud

iosde

caso)

Encuestafam

iliar(

estud

iosde

caso)

Encuestafam

iliar(

estud

iosde

caso)

Encuestafam

iliar(

estud

iosde

caso)

Encuestafam

iliar(

estud

iosde

caso)

Coord

.M&E

delproy

ecto

Coord

.M&E

delproy

ecto

Coord

.M&E

delproy

ecto

Coord

.M&E

delproy

ecto

Coord

.M&E

delproy

ecto

Coord

.M&E

delproy

ecto

I.311

I.312

I.321

I.331

I.332

I.341

PROMIPACManejointegraldeplagasencultivos

Nota:

setra

tade

unas

elección

dealg

unos

delos

indica

dores

(delos

COyd

elos

H1)aplicadose

n200

6-200

7por

los3p

royectos

.

Proy

ecto

Cam

pode

obse

rvac

ión

Hipó

tesi

sde

impa

cto

(eje

m.)

Indi

cado

r(e

jem

plos

)C

od.

Unid

ad+m

étod

oRe

sp.

Tabl

aN

o.5:

Indi

cado

res

dem

onito

reo

deim

pact

o.Ej

empl

osde

aplic

ació

nen

3ej

este

mát

icos

Ejemplo

Proceso

D• Formular indicadores deresultados

AclaraciónResultado: es la consecuencia de una opera-ción, de una intervención. Es el producto de unconjunto de actividades en forma de bienes oservicios. Está formulado en el pasado o en elpresente continuo por ubicarse al final del plazode la acción. Los efectos aunados de todos losresultados son necesarios para alcanzar el ob-jetivo central del proyecto.

Indicador de resultado: es una señal que ponede manifiesto el logro del resultado; refleja losprincipales rasgos de la situación lograda, midela consecución del resultado.

Estándar: es la meta o estado de situación quedebe alcanzar el indicador. Por ejemplo, 95% derecuperación de los créditos concedidos por in-versión productiva a mujeres jefes de finca agrí-cola; 50% de las familias observan una mejoraen la calidad del servicio de registro civil; expe-dición de ordenanza municipal en relación a laconservación del bosque: meta 1 ordenanza porMunicipio.

Se puede desagregar la meta a lograr al final dela fase, con metas intermedias anuales. Porejemplo, 1 ordenanza en 2 Municipios a fines del1er año, en 4 Municipios a mitad de fase, en 10Municipios a fines del tercer año y una ordenanzaen los 25 Municipios en los 4 años, o sea a finesde fase.

ProcedimientoTarea 1: a nivel de cada resultado del Marco Ló-gico del proyecto, identificar indicadores. Un re-sultado puede ser medido mediante uno o variosindicadores (¡pero no más de 4!).

En caso de dificultad en formular un indicadorpara un resultado, se puede acudir al uso de pre-guntas clave (PC). Por ejemplo, si el resultadodeclara “se ha fortalecido la gestión de las em-presas asociativas rurales”, una pregunta clave

puede ser: ¿cómo ha evolucionado la asociación,cuenta con un mayor número de socios?; otra,¿ha logrado un incremento en sus ventas por pro-ducto y por canal de distribución?

La PC ayuda a focalizar y precisar lo que sedesea medir y puede ser usada en caso nece-sario o para iniciar la dinámica de identificaciónde indicadores precisos.

Tarea 2: atribuir a cada indicador un estándar(meta) para la fase y diferenciarlo, cuando seapertinente, por tipo de actor y, cuando conviene,desagregarlo por año.

Consejosa) Un error común es utilizar un indicador de re-

sultado como indicador de impacto. Es útilentonces recordar que los indicadores de im-pacto son aquellos que reflejan cambios enla naturaleza y en los socios (población obje-tivo) y no aquellos que contemplan los servi-cios y productos directos del proyecto. Porejemplo,

El No. de mujeres, de hombres y de jóvenesque han culminado con éxito un programa decapacitación es un indicador de resultado.

El % de personas capacitadas que han modi-ficado sus prácticas (en su hogar, o en sufinca, o en el Municipio, o en la empresa) yhan difundido los conocimientos adquiridosen su entorno (profesional o familiar, etc.)constituye un indicador de impacto.

b) Tomar en cuenta que cuando los indicadoresmiden variaciones (aumento de x%, por ejem-plo), van a requerir de línea base.

Ejemplo: (APODER, 2008): 80 % de las Muni-cipalidades de la región realizan una rendiciónde cuentas a la sociedad civil, por lo menosdos veces al año, con información financieray técnica transparente; este indicador ha re-querido del levantamiento de datos para de-finir cuál era la situación de partida (15% deMunicipalidades que ya cumplen con esteprincipio de rendición de cuentas).

47


Proy

ecto

Cam

pode

obse

rvac

ión

Indi

cado

r–

ejem

plos

-

APODERdescentralizaciónenespaciosrurales

(3de8R.)

R.11

02:O

rganizaciones

sociales

yautorid

ades

locales

nego

cian

regionaly

nacionalmente

susprop

uestas

deajuste

anorm

asypo

líticas

dedescentralizaciónconbase

ensusexperie

ncias

%de

Municipiosde

coberturado

ndelas

organizaciones

sociales

seinvolucran

yparticipan

enlaelaboraciónde

prop

uestas

deajustesde

norm

asypo

líticas

deDescentralización(alm

enos

en50

%de

Municipios)

Unid

ad+m

étod

o

Revisión

delasactasde

talleresyreuniones

anivelm

unicipal

(repo

rteen

ficha

deregistro)

Resp

.

Secr.T

écn.

decada

asociación

deMunicip.

R.12

01:S

ehanfortalecido

capacidade

sde

Municipalidades

ruralespara

unage

stióntransparente

yparticipativa

%de

Municipalidades

quege

nerany

difunden

inform

aciónfinancieraytécnica

claraytransparente

(mecanismo“ida-

vuelta”),do

svecesalaño(70%)

Revisión

deAc

tasde

lConcejo

Municipaly

delosacuerdos

firmados

entreAu

torid

adyRe

pres.S

ociedadcivil(ficha

registro

por

Municipio)

Secr.T

écn.

decada

asociación

deMunicip

R.12

02:E

xisten

organizaciones

sociales

fortalecidas

yactivas

enla

coge

stiónde

losrecursos

públicos

locales

%de

organizaciones

sociales

debase

que

participan

enelpresupuestoparticipativo

llevandoprop

uestas

conbase

enacuerdos

desusbases(70%

)

a)Re

visión

libro

deactasde

cada

organización

b)Entrevista

amiembros

delasOSB

(sondeo)

TécnicoInst.a

liada

Tabl

aN

o.6:

Indi

cado

res

dem

onito

reo

dere

sulta

do.E

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

48

Ejem

plo

Proceso

D

49

Proy

ecto

Cam

pode

obse

rvac

ión

Indi

cado

r–

ejem

plos

-Un

idad

+mét

odo

Resp

.

EMPRENDERmicroempresasrurales

(2de6R.)

R4:S

eha

fortalecidola

gestiónem

presarialde

pequeñas

empresas

rurales

Node

empresas

quemanejan

unconjunto

deherram

ientas

dege

stión(re

gistros)

(alm

enos

80%de

lasem

presas

apoyadas)

Node

empresas

quecubren

elpuntode

equilibrio

(alm

enos

45%)

%de

increm

ento

delm

onto

deventas

anualespo

rem

presa

(alm

enos

20%anual)

Análisis,p

orem

presa,

delosregistros

actualizados

de•Proveedo

res

•Deprod

ucción

•Decostos

unitario

sytotales

•Decuentaspo

rcobrar

•Deflujode

efectivo

(repo

rteen

cuadro

deregistro)

Análisisdelinformefinancierode

cada

empresa(cuadrode

registro)

Análisisdelinformefinancierode

cada

empresa(cuadrode

registro)

Técn.inst.facilitadora



R3:G

obiernos

localeshan

desarrollado

políticas

deapoyoacade

nasprod

uctivas

%de

increm

ento

delm

onto

asignado

anualmente

porelgo

bierno

locala

cada

línea

deprod

ucción

priorizadaen

suterrito

rio

Node

instancias

deco

ncertación

entorno

acade

nasprod

uctivas

institucionalizadas

porelgo

bierno

local(almenos

3)

Análisisrepo

rtes

deejecuciónpresupuestal

municipal

(paracada

Municipio)

Revisión

deactasde

talleresde

mesas

deconcertación

(por

Municipio)

Técnicoprovincial

enDes.E

con.

Técnicoprovincial

enDes.E

con.

Tabl

aN

o.6:

Indi

cado

res

dem

onito

reo

dere

sulta

do.E

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

Ejem

plo


Proy

ecto

Cam

pode

obse

rvac

ión

Indi

cado

r–

ejem

plos

-

PROMIPACManejointegraldeplagasencultivos

(2de4R.)

R1.1.2:las

instituciones

socias

tienenlascapacidades

metod

ológ

icas

ytécnicas

deprom

over

enelcampo

elMIP

%de

instituciones

socias

queinco

rporan

MIP

enlasacciones

financiadas

porotros

mandantes

oentid

adco

operante

Node

instituciones

socias

quedisponen

deun

sistem

aprop

io,y

validadoen

sumed

io,d

eprom

ociónMIP

Unid

ad+m

étod

o

a)Inform

eanualinstitucional

b)En

trevista

personalde

lrep

resentante

decada

socio

Encuesta

porinstitución

socia

(form

atoallenar)

Resp

.

a)Té

cnicoresp.d

elproyecto

b)Té

cnicoresp.d

elproyecto

Técn.resp.

enlainst.

socia

R2.2.1:E

xisteun

conjunto

deacciones

institucionalizadas

deinvestigaciónen

MIP

Node

tesispo

rañosobretemas

MIPcuyos

resultado

sse

usan

Node

ensayosparticipativos

entre

agricultoresytécnicos

queson

sistem

atizados

ydifundidos

cada

año

a)Cuadrode

registro

detesispo

rcentro

universitario

b)Entrevista

alosdirectores

detesis

Procesar

cuadro

deregistro

decada

ensayo

ydo

cumentosde

sistem

atización

a)Resp.encentro

univ.

b)Técn.resp

proyecto

Técn.R

esp.

proyecto

área

deinvestig.

Tabl

aN

o.6:

Indi

cado

res

dem

onito

reo

dere

sulta

do.E

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

50

Ejem

plo

Proceso

D

51

D.3 Paso 3: M&E de la gestión

AclaraciónGestión: el término tiene una doble acepción.Por un lado, es la realización de las accionesoportunas para conseguir un fin y, por otro, es laorganización y dirección de una institución. Estasdos dimensiones reflejan lo que se pretende mo-nitorear y evaluar en relación a un proyecto dedesarrollo.

El M&E de la gestión abarca tanto el seguimientodel plan operativo y presupuestal cuanto la eva-luación de la manera de dirigirse y de movilizarrecursos humanos e institucionales.

“Seguimiento” describe el examen periódicode la gestión de un programa. El seguimiento esla valoración del avance en relación a lo previstoy el análisis del manejo del programa. Conducea reflexionar sobre la estrategia operativa a nivelde cada resultado.

Está incluido en este documento en lo que lla-mamos “Monitoreo y Evaluación de la gestión”.

Procedimiento

Tarea 1

Sentar bases en el plan operativo anual (POA)para facilitar el monitoreo y evaluación. Un plananual bien estructurado agrupa las actividadesrelacionadas a un resultado y proporciona, paracada actividad, la información correspondiente:

• la meta anual, precisando cuál es la unidadde medida;

• el plazo para acabar con la ejecución o el pe-riodo del año en el cual se va ejecutar;

• la institución o la unidad responsable de suejecución y eventualmente la colaboración re-querida con otras;

• el presupuesto asignado, repartido por fuen-tes de financiamiento, y cuál es el costo porunidad (costo de capacitación por personacapacitada, por ejemplo).

La tarea consiste en revisar el plan anual paraasegurarse que presenta de manera conden-sada y explícita los datos.

Tarea 2

Elaborar un esquema que concatena la planifi-cación anual con el monitoreo de la futura eje-cución para permitir una lectura horizontalcomparativa entre lo planificado y lo realizado.

El cuadro permite mostrar, a fines del año y/odel semestre, el avance y el % de ejecución enrelación a las metas. Respecto de los plazos ini-cialmente previstos, visualizar en qué actividadse ha producido atraso y las implicancias sobreotras actividades relacionadas. En cuanto al pre-supuesto, informar sobre su grado de ejecuciónpara alertar su sobre o subejecución.


Cod

.Ac

tivid

ad

Descrip

ción

Plan

ifica

do

Metas

Plazo

Presupuestoanual($)

Resp.

Ejec

utad

o

No.

Unidad

%avance

Monto

gastado

% Ppto

Logro.dificultad

Aprecia

ción

Unid.

Fase

Delaño

T1T2

T3T4

Costo

Unit.

Monto

1014

Fort

alec

imie

nto

dere

des

deco

mun

icad

ores

14.1

0375

%12

0086

%

Capacitación

acomu

nicadore

srur

ales

1204

XX35

014

00Ce

ntroBL

C

curso

- taller

14.2

0150

%30

060

%

Producción

progra

mas

radiale

sen

quich

ua04

02XX

250

500

AST

sesió

ngraba

da

CO

D.

A.G

.1.1

Form

ulac

ión

dePr

opue

stas

dePC

Ipa

rala

valo

riza

ción

delo

sRR

NN

enm

anco

mun

idad

es

R1:F

amili

asca

mpe

sina

sha

nm

ejor

ado

suse

guri

dad

alim

enta

ría

ein

gres

osm

onet

ario

sen

ejes

prod

uctiv

osco

mpe

titiv

os.

Plan

ifica

doEjecutado

Actividad

Meta

Ppto

$Nºy

%Ej.P

pto$

%ejec.

Avances/lim

itaciones

CO

D.

Diagnósticos

territo

riales

deGe

stión

derec

ursos

hídricos

1.Cu

lmina

rdiag

nósticos

inicia

dose

n200

6

2.Ela

boraru

napropuesta

metod

ológic

a

A.E.

1.1.1.

05

Diagnóstico

sde

Manc.

demunicipios

01

Prop

uesta

16,500

100%

05diagn.

00

14’577

88%

•Se

hanc

ulminado

05estud

iosde

diagnósticod

eGestiónd

eRecurs

osHíd

ricos

enma

ncom

unida

des.

•LasM

unicip

alidades

miem

brocuentan

coninfo

rmación

actua

lizada

sobre

oferta

ydem

anda

derec

ursos

hídricos

yfactores

socio

-organizativos

•Porfa

ltade

acuerdo

interinstitu

cionalnos

eform

ulópro

puestade

métod

oparapla

nesm

aestros

deGestión

deRRHH

enma

ncom

unida

d:decid

irpara

2008

cómo

seguirp

araextraerlec

cióny

recom

endació

nde

métod

o

Descrip

ción

Tabl

aN

o.7:

Cua

dro

com

para

tivo

delo

plan

ifica

doy

delo

ejec

utad

oañ

o20

07(E

jem

plo

1)

Tabl

aN

o.8:

Cua

dro

com

para

tivo

delo

plan

ifica

doy

delo

ejec

utad

oañ

o20

07(E

jem

plo

2)

Ejem

plo

Proceso

D

53

Tarea 3

Incorporar desde el inicio en el diseño y la preparación del “M&E de la gestión” el tema de los talen-tos humanos y de las modalidades de organización. Eso significa concebir la evaluación anual de lagestión de los talentos humanos a nivel individual en relación a la gestión de los aspectos organiza-cionales y de relación interinstitucional..

1. A nivel del equipo de profesionales que trabaja directamente en la ejecución de la operación, dosaspectos deberían ser objeto de monitoreo y evaluación individual:

a) La carga de trabajo personal sobre la base de la elaboración al inicio del año de un plan de ca-pacidades que permita evaluar semestral o anualmente el tiempo de trabajo por campo de res-ponsabilidad (véase el siguiente esquema).

Cód.

Cód. Planificado Plan de capacidades

1.1

1.1

1.1.2.

Tiempo disponible año

POF: Plan operativo de fase; POA: Plan operativo anual; PT: Plan de trabajo por actividad y por responsable; PC: plan de capacidades por actividad y por responsbale

220Tiempo requerido año 340

Actividad/subactividad

Metas Resp Tareas Resp PlazoPresu-puestoanual

Días programadosdel añoFase

PlanificadoUnidad Ana José María

PT PCPOA

POF

Utilidad del plan de capacidades:

• Permite plasmar el POA en un plan de trabajo

• Aporta realismo a la planificación permite priorizar actividades esenciales en función delos recursos disponibles.

En el ejemplo de la tabla No 9 se observa que el conjunto de días necesarios de José paraejecutar su plan de trabajo sería de 340 en el año; sin embargo, José solo dispone de 220días laborables. Eso fuerza a revisar y priorizar actividades y tareas de manera que se es-tablezca un plan de trabajo más realista.

Tabla No. 9: Plan de capacidades


54

b) El desempeño y la actitud de la personacontratada en relación al perfil delpuesto, con miras a reducir la brechaque puede existir entre ambos. El segui-miento de “desempeño y actitud” tendríaque ser objeto de una reunión anual (osemestral) entre el empleado y su supe-rior directo. Se recomienda utilizar unformato que permita registrar lo discu-tido, cruzando la apreciación tanto delsuperior como de la persona empleada(autoevaluación) y recogiendo la impre-sión de esta última sobre su relación consu superior y el ambiente de trabajo enla institución.

2. A nivel organizacional e institucional, son tam-bién dos los aspectos que deberían ser ob-jeto de monitoreo y evaluación anual:

a) El clima organizacional interno en la uni-dad de coordinación del proyecto, en los

equipos técnicos regionales de di-ferentes instituciones aliadas,

etc., dando seguimiento yevaluando los flujos de co-

municación, los proce-sos de consulta ydecisión, el estilo de li-derazgo.

b) La relaciones interinstitucionales entre so-cios o aliados en cuanto a roles y funcio-nes, procesos de comunicación ydecisión, resolución de divergencias, mo-mentos compartidos para intercambiar yaprender.

En el diseño del M&E de la gestión se caracteri-zan los procedimientos y se elaboran los instru-mentos que se utilizarán para realizar laevaluación en este ámbito. La manera de proce-der será, por supuesto, muy afín a los rasgos dela cultura institucional dominante (estilo ONG, es-tilo empresarial, estilo jerárquico, etc.).

Consejosa) Lo esencial, al momento de informar de ma-

nera anticipada sobre el M&E de la gestión,es alcanzar un buen nivel de entendimientoentre actores asociados sobre qué y cómose va a monitorear este ámbito.

Los actores deben tener la certeza de que nosolamente van a recopilar y entregar datossino que ciertos encuentros están previstospara interpretarlos y sacar en común apren-dizajes.

La técnica de la “mirada cruzada” facilita elpaso de lo descriptivo a lo analítico. Los res-ponsables de una línea de acción o de un re-sultado analizan las cifras clave del monitoreode otra línea de acción o resultado y planteanpreguntas para abrir la discusión sobre losaspectos que les parecen más destacables.Esta técnica se practica a veces entre acto-res de diferentes territorios que desarrollanuna misma acción para que observen y ana-licen los avances, las dificultades y los logrosde manera cruzada entre pares11.

La experiencia enseña que no tiene muchaperspectiva la revisión anual en forma de-tallada de todas las actividades y que másvale centrar la reflexión en algunas pocasactividades críticas.

11 Evaluación Participativa por Productores - EPP. Guía Metodológicapara la evaluación del efecto e impacto del desarrollo tecnológico.(2001). PASOLAC, Centroamérica. Disponible enwww.asocam.org/index.shtml?x=6640

Proceso

D

55

b) Determinar por actividad el costo por unidadofrece la ventaja, más allá de demostrarcómo el monto presupuestado fue estable-cido, de invitar a reflexionar en torno a si elcosto es razonable y su financiamiento sos-tenible en el tiempo (post apoyo externo).

A título de ejemplo, el costo de la capacitacióna las/los agricultoras/es para llevar registros dela finca para la certificación agroecológica debecontemplar el costo del servicio de la entidadde formación, los costos de alojamiento y trans-porte, el costo de la asesoría técnica in situ postcapacitación. El análisis financiero de cursos an-teriores permite fijar estándares por rubro y de-terminar el costo por persona capacitada. Invitamás a la reflexión sobre sostenibilidad indicandoque el costo por persona capacitada esdel orden de US$ 380 y que se necesitaronUS$ 34.200 para capacitar a 90 personas, de-bido a que disponer solo del monto total presu-puestado para los cursos durante el año (US$35.000) no arroja mayor información.

c) En el momento de interpretar los datos y depreparar los insumos para los reportes se-mestrales y anuales, evitar caer en una rela-toría de los logros y repetir lo que se reflejaen los cuadros de síntesis. No se debe des-pojar al ejercicio de evaluación de su funciónde aprendizaje y búsqueda de mejora.

d) El diseño del proceso anual de evaluación opera-tiva gana cuando se distinguen dos momentos.

- Lectura “vertical”: centrándose en un ba-lance general para extraer las principalesconclusiones y los énfasis a poner en lagestión del próximo año a partir de datosdel año anterior relativos a

• los principales hitos del contexto;

• los principales logros por resultado;

• los elementos críticos en la ejecucióndel plan y del presupuesto del año;

• la relación entre volumen de trabajo ydisponibilidad de tiempo (sacando con-clusiones del monitoreo de los planesindividuales de capacidad);

• los aspectos sobresalientes de la eva-luación del clima organizacional;

• elementos críticos de la evaluación delas relaciones interinstitucionales.

- Lectura “horizontal”: una vez definidos losénfasis del plan del año entrante, se pasaa otro momento en el cual se va profun-dizando el análisis de las actividades porresultado, articulando en una sola fila laevaluación del período anterior y la plani-ficación del que viene.

D.4 Paso 4: Desarrollo de instrumentos y organizaciónpara la implementación

12 Es útil distinguir entre técnica (“procedimiento que es de lo que se sirve una ciencia, un arte o una acción”), método y metodología. Esta última es laciencia de los métodos (Diccionario de la Real Academia Española) y, por extensión, designa el conjunto de los métodos seguidos en unainvestigación compleja.

AclaraciónMétodo: procedimiento establecido, sistemá-tico y ordenado que se sigue para realizar o des-cubrir algo12.

En el ámbito del desarrollo y del MEI, la investi-gación es aplicada y se distingue de la investi-gación fundamental que postula proposicionesteóricas en el mundo de la ciencia. La aplicada

se conecta con la solución de un problema con-creto de la realidad.

Los métodos utilizados en el marco del MEI pro-vienen de la investigación de campo, a diferenciade la investigación experimental que busca aislarun conjunto de variables para organizar el expe-rimento en laboratorio. En cambio, en la investi-gación de campo, la realidad es estudiada talcomo se presenta.


56

Por lo general, el MEI se enriquece al aplicar dis-tintos métodos complementarios.

• Método documental (interpretación de ima-gen satelital, por ejemplo);

• métodos cuantitativos usando sistemas es-tadísticos;

• métodos de investigación participativa en loscuales los actores participan en el mismoproceso investigativo; y,

• métodos llamados etnológicos en los cualesel investigador se involucra en el estudio y enla interpretación de lo observado.

El arte de la investigación radica en delimitaradecuadamente el tema que se desea analizar.Clarificar la pregunta que la investigación intentaresponder, es la clave. En el MEI, son preguntasque aportan al conocimiento sobre lo ocurrido,lo logrado y lo que está en proceso y se va for-taleciendo.

Para el caso de algunos indicadores, siemprehay que pensar que un principio de estadísticaestá en la triangulación de la información. Paraverificar si un dato es fidedigno o si el método esválido (es decir que mide con exactitud lo quetiene por objetivo medir), es oportuno compararel dato con otros que corresponden al mismoasunto pero que han estado levantados con otrométodo.

Una manera de apreciar el efecto de una accióno de una innovación es comparar lo que ha su-cedido en dos unidades distintas, una con inter-vención y otra sin intervención (por ejemplo, unaempresa agrícola que se beneficia de un crédito,con otra que no tiene acceso al crédito). Dispo-ner de un “referente testigo” permite evaluar conmayor rigor los efectos de una acción, pero envarios temas de desarrollo es difícil cumplir conesta condición. Por ejemplo, un proyecto notiene legitimidad para proceder a un levanta-miento periódico de datos en un Municipiocon el cual no coopera; tampoco unafamilia productora que no recibe ningún apoyo

de un proyecto aceptaría fácilmente servir de“muestra testigo”.

Instrumento: en esta guía tiene la acepción de:“es lo que sirve para recoger, producir, ordenar,sintetizar información”.

Unidad de análisis: se refiere a la entidad o ca-tegoría que será objeto de medición. El tipo deanálisis al que se someterá la información es de-terminante para elegir la unidad de análisis. Porejemplo, si el objetivo es dar cuenta de la colabo-ración con los gobiernos locales, la unidad de aná-lisis natural es el municipio, para lo cual serecogerá información desde diferentes fuentes: laautoridad del poder ejecutivo, el departamento fi-nanciero, la comisión del parlamento municipal en-cargada del desarrollo económico territorial, entreotras. Las unidades de análisis pueden corres-ponder a las siguientes categorías:

• Personas

• Grupos humanos específicos o población deun territorio

• Institución

• Infraestructura

• Unidad espacial como parcelas, fincas, áreascon un uso específico, cuenca

• Circunscripción territorial

• Etc.

• Agrupar los indicadores porunidad de análisis

ProcedimientoTarea 1: filtrar los indicadores de impacto y losindicadores de resultados por unidad de análisis.El propósito es lograr una visión general de la in-formación que se va a conseguir por cada uni-dad de análisis con miras a la preparación de losinstrumentos (véase el acápite D. 4.5).

Proceso

D

57

Descentralización municipal(caso APODER)

Gobierno municipal socio

Microempresa rural(caso EMPRENDER)

Familias productorasmiembros de las empresas aso-ciativas apoyadas

Agricultura y plagas(caso PROMIPAC)

Familias productorasque han sido parte de procesosde capacitación

Familia residenteen los caseríos y el centro po-blado de los Municipios ruralescon los cuales se trabaja

Empresas asociativasapoyadas

Instituciones sociasdel proyecto en laimplementación

Organizaciones socialesde baseque agrupan a ciudadanos ytienen representatividad local

Gobiernos localessocios

Instituciones educativassocias

Tabla No. 10: Ejemplos de unidad de análisis en 3 ejes temáticos

Ejemplo


Proy

ecto

Niv

el


(3de8R.)

Impa

cto

Unid

adde

anál

isis

Munic

ipalidad

socia

Indi

cado

r(e

jem

plos

)

%de

Munic

ipios

socio

sque

haninstitu

cionalizadoyleg

itimadoespacio

sdec

oncerta

cióninclus

ivos

Particip

ación

crecien

tede

mujeres

yjóvenes

enespacio

smunicipales

deconcertac

iónins

titucio

nalizados

%de

losMu

nicipios

quep

articipa

ncon

suexperienciaen

eldis

eñode

políticasr

egion

alesy

nacio

nales

%de

munic

ipios

(conc

onvenio

dedesarro

lloeconóm

ico)enlos

cuale

sseh

aincreme

ntado

lainv

ersió

nprivadaf

ruto

depo

líticase

xplícitasd

eprom

oción

resu

ltado

Munic

ipalidad

socia

70%de

Munic

ipios

dondelas

autorid

ades

ylos

líderes

hand

efinid

ostem

asloc

alesd

elaa

gendap

ública

70%de

gobie

rnos

locale

sque

generany

difundeninfo

rmación

financie

raytécnic

aclaray

transparente

(mecanism

o“id

a-vuelta”)do

sveces

alaño

100%

deMu

nicipios

enlos

cuale

selpresupuesto

particip

ativo

responde

alos

están

daresd

efinid

osya

planesd

emedian

o-larg

opla

zo20

gobie

rnos

locale

shan

definido

surolenp

romo

cióne

conómica,h

ancreado

lafun

cióna

decuando

suestru

ctura

ydestinando

recursos

Alme

nos8

gobie

rnos

locale

scuenta

ncon

unpla

nded

esarrollo

económ

icoloc

alEn

alme

nos8

cadenasd

eproducción

sehaninstitu

cionalizadome

canis

moslocale

sdec

oncerta

ciónp

ública-p

rivada

Organiz

acion

essocia

lesapoyadas

50%Mu

nicipios

enlos

cuale

slas

organiz

acion

essocia

lesse

involu

cran

yparticipa

nenlae

laboración

deprop

uesta

sdea

justes

denorm

asy

políticasd

edescentr

alizació

n70

%de

organiz

acion

essocia

lesde

base

quep

articipa

nene

lpresupuesto

particip

ativo

llevandoprop

uesta

sapartird

eacuerdo

sdes

usbases

Redde

Munic

ipalidades

Rurales

delPerú

(REM

URPE

)10

0%de

políticas,norm

asyp

royecto

sdelCN

D(Centro

nacio

naldelaD

escentr

alizació

n)yd

elos

minis

terios

quet

oman

encuenta

estra

tegias

diferencia

dasp

aralos

munic

ipios

rurales

Pobla

ciónd

elos

Munic

ipios

socio

s%de

lapo

blació

nque

sesie

ntedebid

amente

informa

dasobree

lproceso

dedescentra

lización

%de

lapo

blació

nque

percibe

mejor

asen

lacalidad

ycob

ertur

adelos

servicio

spúblicos

clave

Producto

res/as

delíne

asde

producción

priorizadas(en

Munic

ipiosc

onconve

nioDE

L)No

Munic

ipios

enlos

cuale

sseh

animple

menta

doexperiencias

deprom

oción

económ

icayd

onde

losprod

uctorese

videncia

nuna

mejor

aen

susingresos

Organizacion

essocia

lesapoyadas

(socie

dadcivilo

rganizada)

%de

lasorganiz

acion

esqueh

antoma

doinicia

tivad

eresolu

ciónd

eproble

masimp

ortan

tesen

suloc

alidad

Tabl

aN

o.11

:Ag

rupa

ción

delo

sin

dica

dore

spo

run

idad

dean

ális

is,e

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

58

Ejem

plo

Proceso

D

Proy

ecto

Niv

el

EMPRENDER(Microempresasrurales)

Impa

cto

resu

ltado

Unid

adde

anál

isis

Familia

sprod

uctoras

Gob

iernolocal

Indi

cado

r(e

jem

plos

)

%de

increm

ento

enem

pleo

familia

rge

nerado

(promediode

Node

jornales

porfamilia

/año)

%de

increm

ento

deingresofamilia

ranualpromedioproviniendode

laslíneasapoyadas

Node

prod

uctores/as

socios

delasem

presas

asociativas

constituidas

Node

clientes

yNode

proveedo

respo

rem

presaasociativa

Noytipode

acciones

deapoyoalDEL

Cincorporadas

enlaplanificación

demediano

plazo

Empresas

asociativas

Gob

iernolocal

Node

empresas

quemanejan

unconjunto

deherram

ientas

dege

stión(alm

enos

80%de

lasem

presas

apoyadas)

Node

empresas

quecubren

elpuntode

equilibrio

(alm

enos

45%)

%de

increm

ento

delm

onto

deventas

anualespo

rem

presa

(alm

enos

20%anual)

%de

increm

ento

delm

onto

asignado

anualmente

porelgo

bierno

locala

cada

línea

deprod

ucción

priorizadaen

suterritorio

Node

instancias

deconcertación

entornoacadenasprod

uctivas

institucionalizadas

porelgo

bierno

local

(alm

enos

3).

Tabl

aN

o.11

:Ag

rupa

ción

delo

sin

dica

dore

spo

run

idad

dean

ális

is,e

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

59

Ejem

plo


PROMIPAC(MManejointegraldeplagasencultivos)

Impa

cto

Familiasp

roducto

ras

%de

familia

sde

agricultoresqueimplem

entanprácticas

demanejointegralde

plagas

(MIP)ensu

finca

Node

prácticas

MIPquesonconocidasyaplicadas

porlasfamilia

sprod

uctoras

Node

personas

capacitadasen

MIPquecomparten

voluntariamente

susconocimientos

enelespacio

familia

rycomunal

%de

reduccióndelN

ode

personas

conintoxicación

agudaen

lascomunidades

%de

dism

inuciónde

residuos

deplaguicidasen

elagua

enlascomunidades

atendidas

Node

familia

squeconocenlanorm

ade

aplicaciónde

losdías

acosechade

insumos

químicos

Node

familia

sconbo

degasfitosanitariasen

buenas

condicionesqueperm

itenlano

contam

inación

alimentaria

Node

familia

squeaumentaronsu

rendimientopo

rtipode

cultivo

respecto

delaño

anterio

r

Costosde

insumos

deprod

ucción

portipode

cultivo

Costo

prom

ediode

manejode

plagas

portipode

cultivo

Variación

eningresos

familia

respo

rtipode

cultivo

resu

ltado

Instituciones

socias

Instituciones

educativas

%de

instituciones

socias

queincorporan

MIPen

lasacciones

financiadas

porotrosmandantes

oentidad

coop

erante

Node

instituciones

socias

quedisponen

deun

sistem

aprop

iode

prom

ociónde

MIP,validadoen

sumedio

Node

tesispo

rañosobretemas

MIPcuyosresultado

sse

usan

Node

ensayosparticipativos

entreagricultoresytécnicos

quesonsistem

atizados

ydifundidos

cada

año

Proy

ecto

Niv

elIn

dica

dor

(eje

mpl

os)

Unid

adde

anál

isis

Tabl

aN

o.11

:Ag

rupa

ción

delo

sin

dica

dore

spo

run

idad

dean

ális

is,e

jem

plos

deap

licac

ión

en3

ejes

tem

átic

os

Ejem

plo

60

Proceso

D

61

Tarea 2: cuando se tienen agrupadas todas lascategorías de información que habrá de levan-tarse a nivel de una misma fuente o unidad, amenudo se considera necesario proceder a unapriorización entre los indicadores. Por ejemplo,la encuesta dirigida a las familias campesinas vaa resultar demasiado larga y es convenienteprescindir de información no esencial.

El análisis de las prácticas enseña que despuésdel primer año de implementación, el esquemade MEI muchas veces es revisado con el propó-sito de simplificarlo. Se va reduciendo el númerode parámetros a medirse para limitarse a loesencial y lo manejable.

• Aclarar los indicadores

ProcedimientoPrecisar y puntualizar en forma de una nota ladefinición que se da a los indicadores aclarando,cuando sea necesario, los conceptos y lo queefectivamente se va a medir.

Esta actividad adquiere bastante importanciacuando varias personas e instituciones asocia-das están involucradas en el levantamiento delos datos de un mismo indicador. El encuestadorno debe tener duda sobre la información quehabrá de recoger.

Ejemplo de un indicador que demanda mayor de-finición:

“La comunidad aplica las normas aprobadassobre uso de tierra y gestión de recursos hí-dricos”.

¿Qué información se va a levantar con grupos fo-cales de comuneros para disponer de evidenciade que la comunidad “aplica” sus normas?

En este ejemplo se ha considerado útil, paraoperativizar el indicador, plantear una sucesiónde 3 preguntas:

a) ¿Cuáles son las restricciones establecidas y lassanciones previstas por las normas comuna-les vigentes sobre uso de tierra y gestión de re-cursos hídricos? (Por ejemplo, prohibición deinvasión por el ganado de tierras de recolec-ción de agua y pago de multa).

b) Para estas restricciones, ¿cuál es el númerode quejas registradas anualmente por las au-toridades comunales?

c) ¿Cuáles son el numero y el tipo de sancio-nes que han sido efectivamente aplicadasconforme a lo que estipula la norma?¿Qué proporción representan en relación altotal anual de quejas registradas en la co-munidad? El ejemplo evidencia la necesidadde contar con un entendimiento común entrelas personas encargadas de levantar la infor-mación sobre los datos precisos que debe-rán proporcionar, de manera que luego sepuedan consolidar datos que provienen de di-ferentes sitios.

En el Anexo No 2_a se presenta como ejemploel cuadro resumen del MEI del Proyecto APODER2008-2011, que incluye una columna de “defini-ciones” que explica los principales términosutilizados en la formulación de los indicadores.

ConsejoUna breve nota que especifica, para cada indi-cador de impacto y resultado, los términos utili-zados, que revela su significado y la técnica derecolección puede resultar muy útil cuando secoopera con entidades que tienen rotación fre-cuente de personal (por ejemplo, técnicos públi-cos de gobiernos locales y regionales). La notaconstituye un soporte para la inducción y capa-citación de una persona, recién nombrada, en-cargada de proveer datos.

• Definir el método

AclaraciónEn la operatividad del MEI es necesario combinara menudo una serie de métodos. Existen mu-chas posibilidades: métodos cualitativos, cuan-titativos o cualicuantitativos, más o menosparticipativos, o que requieren de una mayor omenor utilización de recursos. Cada uno de losmétodos elegidos proporcionará informacióncon grados diversos de exactitud y defiabilidad13.

13 FIDA (2002) Guía para el S y E de proyectos. Roma-Italia.


62

Tipo de métodosPara el MEI participativo los métodos se agrupan del modo siguiente:

• Métodos muestrales;

• Métodos básicos de MEI (análisis de las partes interesadas con cuestionarios);

• Métodos de debate en grupo (como “lluvia de ideas”, grupos focales y simulación desituaciones);

• Métodos para distribución espacial de la información (como mapas temáticos y transectos);

• Métodos para el seguimiento cronológico de los cambios (como diarios, líneas de tiempoy monitoreo por fotografías);

• Métodos para analizar los vínculos y relaciones (como diagramas de impacto y árboles deproblemas);

• Métodos para jerarquizar y priorizar (por ejemplo matrices)

Es probable que se utilicen otros métodos especializados en relación con disciplinas técnicasespecíficas. Para asegurar esta inclusión en un plan de MEI se debe recurrir a expertos entécnicas específicas.

Ejemplos de métodos de MEI

La elección de un método para recoger o analizar datos cualitativos o cuantitativos dependeno sólo del tipo de información que se quiera obtener sino también de las capacidades yrecursos disponibles, de cómo se utilizará la información y del grado de precisión en losdatos.

Datos cualitativos Datos cuantitativos

Métodos paragrupos

Estudios de casos, “lluvia de ideas”,grupos de discusión, análisis FODA,técnicas de simulación desituaciones, mapas, transectos(recorridos sistemáticos), SIG,tendencias históricas/cronología,calendarios estacionales, imágenesvivas, visualización, diagramas deflujo, jerarquización del bienestar

Técnica de gruposnominales, mapas,transectos, tendenciashistóricas/cronología,calendarios estacionales,diagramas de flujo, matricesde puntuación yjerarquización

Métodos paraindividuos

Entrevistas semiestructuradas,estudios de caso, mapas, transectos,diarios, tendenciashistóricas/cronología, calendariosestacionales, diagramas de flujo

Mediciones biológicas,cuestionarios estructurados,mapas, transectos, SIG,diarios, diagramas de flujo

Proceso

D

63

ProcedimientoTarea 1: definir, por unidad de análisis, los métodos para recoger la información, identificando conclaridad el grado de precisión deseado, las necesidades de información cuantitativa y cualitativa, loparticipativo del proceso y si se va a recoger información desde individuos y/o desde grupos.

Tarea 2: decidir si se trabajará con una muestra o con la población entera; si se opta por una mues-tra se debe calcular su tamaño y aplicar el muestreo.

MuestraUna muestra es un subconjunto de casos o individuos extraídos de una población. Lasmuestras se obtienen con la intención de inferir propiedades de la totalidad de la población,para lo cual deben ser representativas de las mismas.

El muestreo se refiere a la técnica para la selección de una muestra a partir de una población.Este proceso permite ahorrar recursos, obteniendo resultados parecidos a los que se lograríansi se realizase un estudio de toda la población. Entre las razones para optar por el muestreoestán:

• Reducción de costos: al estudiar una pequeña parte de la población, los gastos delevantamiento y tratamiento de los datos serán menores que si los obtenemos del total dela población.

• Rapidez: al reducir el tiempo de levantamiento y tratamiento de los datos, se consigueinformación de manera más rápida.

• Viabilidad: la elección de una muestra permite la realización de estudios que serían difícileso imposibles de hacer sobre el total de la población.

El tamaño de la muestra se determina para obtener una estimación apropiada de undeterminado parámetro poblacional. Para realizar este cálculo hay que tomar en cuenta tresfactores:

1. Definir claramente el marco del muestreo, es decir conocer la población que se quieremonitorear.

2. Decidir el tamaño adecuado de la muestra, determinando el nivel de confianza aceptabley considerando los recursos disponibles

3. Seleccionar el método de muestreo aceptable

Una adecuada selección del tamaño muestral no es suficiente; es necesario definir conprecisión el grupo que se va a monitorear, para lo cual existe una alternativa de métodos: elmuestreo aleatorio, que da a los individuos de una población las mismas posibilidades de serseleccionados, y el muestreo no aleatorio, que supone una selección más deliberada entreuna población, en base a criterios.


64

Cálculo del tamaño de la muestra cuando no se conoce con precisión el tamañode la población

Fórmula que se aplica en el caso de que no se conozca con precisión el tamaño de la po-blación, donde:n es el tamaño de la muestraZ es el nivel de confianzap es la variabilidad positivaq es la variabilidad negativaE es la precisión o error

Hay que tomar nota de que debido a que la variabilidad y el error se pueden expresar pormedio de porcentajes, hay que convertir todos esos valores a proporciones cuando elcaso lo amerite.

Cálculo del tamaño de la muestra cuando sí se conoce el tamaño de la población

Fórmula que se aplica en el caso de que sí se conozca con precisión el tamaño de la po-blación, donde:

n es el tamaño de la muestra;Z es el nivel de confianza;p es la variabilidad positiva;q es la variabilidad negativa;N es el tamaño de la población;E es la precisión o el error.

n = Z2 p qE2

n = Z2 p q NN E2 + Z2 p q

Proceso

DConsejos• Antes de elegir el método se debe tomar en

cuenta que:

- En algunos casos no vale la pena contarcon una muestra; el análisis se puedehacer sobre la población global debido aque su tamaño es manejable.

- Los programas de desarrollo enfrentan li-mitaciones de tiempo y de recursos dispo-nibles para monitorear a toda la población;por lo tanto, la técnica de muestreo es idealpara priorizar y realizar un monitoreo de loque está ocurriendo. La mejor opción podráser levantar información sobre una mues-tra representativa con porcentaje de erroraceptable (lo aceptable estadísticamentees 5%, pero deberá ser definido por el pro-yecto considerando los recursos disponi-bles y el hecho de que se buscantendencias y no datos exactos).

- En algunos casos cada indicador (de ca-rácter social, económico, de política pú-blica, biótico, etc.) requiere de unamuestra específica debido a que la unidadde análisis es distinta.

- La muestra debe dar información quesirva a los actores que intervienen en elproyecto; por lo tanto, los criterios y elmétodo para seleccionar a los individuosque serán monitoreados deben ser con-certados y acordados, ya que está enjuego su representatividad.

- Cuando el número de la población total esmuy elevado, se aconseja hacer estudiosde caso (véase el recuadro a continua-ción), definiendo criterios de selección

- A modo de referencia, véase el Anexo No 7:"Definición de muestra para el caso delejemplo APODER".

Estudios de casoUn estudio de caso es un método que permite documentar una serie de datos y hechos enrelación con una persona, un espacio, un hogar o una organización, a fin de obtenerpercepciones acerca de cambios ocurridos. La ventaja es que se incrementa el nivel deprofundidad en el análisis. La representatividad no es alta, pero permite entender procesos ytendencias de cambio que están ocurriendo.

La necesidad de un estudio de caso puede derivarse de una encuesta general en la queaparezca un tema particular que necesita tratarse con más detenimiento.

Desde una perspectiva de MEI, los estudios de casos dan vida a datos que de lo contrarioserían impersonales, y permiten conocer a fondo el contexto y los factores en que se basanlos datos generales.

Por lo general, los estudios de casos no se consideran representativos, por lo cual esconveniente efectuarlos en combinación con métodos que requieran de muestras más grandes,como las encuestas o cuestionarios.

A título de ejemplo, el proyecto APODER realizó al margen del MEI estudioscomplementarios de algunos casos para analizar con mayor profundidad lo que estabaocurriendo en la práctica del “presupuesto participativo municipal”, de la “asociación entreMunicipalidades rurales”, etc.

65


Consejos• Dependiendo de los temas definidos para rea-

lizar análisis de casos, se debe identificar elnúmero de casos, intentando que sean con-trastantes y que reflejen situacionesdistintas.

• Los casos deben ser seleccionados y defini-dos con personas clave que conozcan la rea-lidad que se va a analizar y apoyen ladefinición de tipologías y categorización.Cabe recalcar que se debe analizar más deun caso por tipología identificada; esto esmuy importante debido a que los casos ana-lizados se vuelven un referente para elanálisis.

• Los datos de los estudios de caso deben ser-vir de insumos para reflexionar en grupos.Por ejemplo: los datos de un estudio sobreuna familia productora serán analizados porla junta de regantes, de modo que la infor-mación sea validada y retroalimentada.

• Puede resultar viable que para indicadoresmás cualitativos se busque la información apartir de estudios de caso y para lo más fac-tual se defina una muestra.

• Diseñar instrumentos

ProcedimientoTarea 1: construir los instrumentos de recolec-ción de información por método y unidad de aná-lisis. En la medida de lo posible, establecer unsolo instrumento por unidad de análisis.

Por ejemplo, si el método seleccionado para re-coger información a nivel de la familia campe-sina (unidad de análisis) es la encuestaestructurada, agrupar en un cuestionario únicotoda la información que se plantea recoger, se-parando en diferentes capítulos los temas a tra-tarse.

Tarea 2: una vez elaborado el instrumento,plantearse cómo se procesará la informaciónque se va a levantar. Se trata de bosquejar unatabla de síntesis (“cuadros y gráficos de sa-lida”) que permitirá realizar la consolidación y

cruces de datos con el fin de disponer dedatos relevantes respecto de los indicadores,así como de explicaciones del porqué de lasvariaciones.

Consejosa) Un instrumento para levantamiento de infor-

mación debe ser sencillo, concebido comouna ayuda para las personas que lo van a uti-lizar, con poca exigencia de tiempo para lle-narlo.

b) En la etapa de diseño de los instrumentos sedebe buscar que estos permitan levantar in-formación directamente relacionada con losindicadores, debido a que constituye unriesgo aprovechar la elaboración de un ins-trumento para intentar recoger datos no ini-cialmente previstos y que repentinamenteparecen interesantes de recabar.

c) La preparación a la par de los instrumentos yde sus tablas de síntesis (cuadro de salida)permite verificar si se podrá dar efectiva-mente uso a toda la información conseguiday si podrá ser interpretada. Este es un pasonecesario que a menudo conduce a revisarel diseño del instrumento de levantamientoinicial, precisarlo y ajustarlo a la informaciónrealmente necesaria.

d) Para la validación de cada instrumento tieneque hacerse una prueba de aplicación a pe-queña escala antes de pasar a un uso gene-ralizado.

Una reunión de presentación y capacitacióna las personas encargadas de su futura utili-zación puede constituir un buen espacio paraproceder a una primera aplicación de los ins-trumentos con miras a su validación y ajuste.

e) Un indicador da cuenta de un dato final; mu-chas veces requiere de un pequeño procesoinvestigativo específico para obtenerlo.Para definir y estandarizar este proceso,puede ser útil desarrollar una tabla que in-cluya todas las variables involucradas parael cálculo, como se ilustra en el siguienterecuadro.

66

Proceso

D

67

El indicador de impacto del proyecto EMPRENDER formulado,en su primera fase, fue:

“Incremento anual de los ingresos monetarios familiares generados en líneas priorizadasde producción agrícola”

La pregunta que surgió fue ¿cómo se va a proceder para recabar este dato a nivel de lasfamilias agricultoras? En reunión con los técnicos encargados del seguimiento a losproductores y responsables de proveer el dato, se decidió aplicar una tabla-herramienta quefacilitó y uniformizó la construcción del dato final:

Tabla para calcular a nivel de cada familia productora el dato final anual

(1) P. ej., quintal por ha.

(2) para el cálculo del costo de producción, el agricultor disponía de un registro detallado: un cuadro que especificaba la informaciónnecesaria.

Cultivopromovido

Cantidad Unidad1

Producciónbruta porcampaña

Cantidad Preciounitario

Ingresobruto

VentaCostos deproduc.2

Papa

Haba

…

Ingreso netopor campaña


Proy

ecto

Niv

el


(3de8R.)

Impacto

resultado

indi

cado

r

(seescribe

enesta

colum

naelcódig

ode

losind

icado

resq

uecorre

sponden)

Unid

adde

anál

isis

Munic

ipalidad

socia

Mét

odo

Encuesta

estru

cturada

agrupo:

-Alc

alde

-Ge

rente

M.-

Rep.

S.civ

il

Inst

rum

ento

Cuestionario

(21p

reg.)

peri

odic

idad

inicio

yfin

defas

e

Resp

.Apl

icac

.in

stru

men

to

Resp.M

EIcone

l/la

Coordin

ad.d

ezona

Resp

.Pro

cesa

rin

fo

Coord.

Reg.

+Re

sp.M

EI

Pobla

ciónd

elos

Munic

ipios

socio

sEncuesta

muestra

lajefes

familia

Cuestionario

(véaseA

nexo

No6.a)

LB+fin

fase

Resp.M

EIcon

Entre

vistad

ores

locale

s

Resp.M

EI+DirP

y

Producto

res/asd

elíne

asde

producción

priorizadas(en

Munic

ipios

conc

onvenio

DEL)

Encuesta

censalalTécn.

munip

alDE

LCu

estionario

(ordena

datose

xisten

tes)

LB+fin

fase

Técn.m

unicipalD

ELCo

ord.

Reg.

+Re

sp.

MEI

Organiz

acion

essocia

lesy

econ.apoyadas(socie

dadc

ivilorg

aniza

da)

Encuesta

estru

cturada

aPd

teOrg.

Cuestionario

(19preg

.)Técn.facilitador

Inst.

aliada

Coord.

Reg.

+Re

sp.

MEI

Organiz

acion

essocia

lesapoyadas

Estud

iode

casos

Esquem

areg

istro

anual

Técn.facilitador

Coord.

Reg.

+Re

sp.

MEI

Redd

eMunicip

alidades

Rurales

delPerú

(REMU

RPE)

Encuesta

alad

irectiva

Cuestionario

(5preg

.)anual

Resp.M

EI+DirP

yRe

sp.M

EI+DirP

y

Munic

ipalidad

socia

Sistem

ader

egistro

censal

Ficha

pora

socia

ción

de Munic

ipios

anual

Sec.

Técn.a

socia

ción

Coord.

Reg.

+Re

sp.

MEI

Ficha

por

Munic

ipiocon

convenioDE

L

anual

Técn.m

unicipalD

ELCo

ord.

Reg.

+Re

sp.

MEI

Tabl

aN

o.12

:D

efin

ició

nde

inst

rum

ento

spo

run

idad

dean

ális

is,e

jem

plo

deap

licac

ión

en3

ejes

tem

átic

os

68

Ejem

plo

Proceso

D

Proy

ecto

Niv

el

EMPRENDER(microempresasrurales)

Impa

cto

Resultado

indi

cado

r

(seescribe

enesta

colum

naelcódig

ode

losind

icado

resq

uecorre

sponden)

Unid

adde

anál

isis

Familia

sprod

uctoras

Mét

odo

Encuesta

muestrala

socios/as

Inst

rum

ento

Cuestionario

(6partes,3

2preg

.)(véase

AnexoNo6.b.)

peri

odic

idad

LB+fin

fase

Resp

.Apl

icac

.in

stru

men

to

Técn.facilitador

Inst.a

liada

con

Resp.M

EI

Resp

.Pro

cesa

rin

fo

Resp.M

EI

Gob

iernolocal

Encuesta

estructurada

aautorid

ady

director

deplanificación

Cuestionario

(11preg

.)LB

+fin

fase

Técn.

Responsable

DEL

Resp.M

EI

Empresas

asociativas

Encuesta

estructurada

gerentede

empresa,

administrador

ypresidente

dela

asociación.

Cuestionario

(5partes,2

9preg

.)

anual

Técn.facilitador

Inst.a

liada

con

Resp.M

EI

Resp.M

EI

Gob

iernolocal

Sistem

ade

registro

Fichapo

rgo

bierno

local

conconvenio

anual

Técn.

Responsable

DEL

Resp.M

EI

Tabl

aN

o.12

:D

efin

ició

nde

inst

rum

ento

spo

run

idad

dean

ális

is,e

jem

plo

deap

licac

ión

en3

ejes

tem

átic

os

69

Ejem

plo


PROPIMACManejointegraldeplagasencultivos

Impa

cto

Resultado

(seescribe

enesta

colum

naelcódig

ode

losind

icado

resq

uecorre

sponden)

Familia

sprod

uctoras

Encuesta

acasos

seleccionado

sMapas

parlantes

Calendario

agrícola

Guías

deentre

vistas

con

esquem

asa

llenarc

onlainfo.

proporcionada

demanerade

visualizar

sus

respuestas

(véase

AnexoNo

6.c)

LB+fin

fase

Técn.Inst.

aliada

con

Resp.M

EIen

cada

país

Resp.M

EIen

cada

país

Instituciones

socias

Sistem

ade

registro

Fichade

registro

Porperío

dode

capacitación

Técnico

responsablede

resultado

Técnico

responsablede

resultado

Instituciones

educativas

Sistem

ade

registro

Fichade

registro

Porperío

dode

capacitación

Técnico

responsablede

resultado

Técnico

responsablede

resultado

Proy

ecto

Niv

elin

dica

dor

Unid

adde

anál

isis

Mét

odo

Inst

rum

ento

peri

odic

idad

Resp

.Apl

icac

.in

stru

men

toRe

sp.P

roce

sar

info

70

Tabl

aN

o.12

:D

efin

ició

nde

inst

rum

ento

spo

run

idad

dean

ális

is,e

jem

plo

deap

licac

ión

en3

ejes

tem

átic

os

Ejem

plo

Proceso

D

71

• Organizar laimplementación

Las actividades de un proyecto se planifican yse ejecutan a diferentes niveles y con diversosactores institucionales. De igual modo, en el pro-ceso de monitoreo se recoge información de di-ferentes procedencias (territorios, instituciones,etc.) lo que requiere de una buena organización

y una función de coordinación para facilitar ycontrolar la ejecución.

Un esquema que permita visualizar los flujos deinformación puede constituir un instrumento útilpara distinguir y relacionar los niveles de levan-tamiento, procesamiento y de progresiva valida-ción y comunicación de la información, conformea la siguiente propuesta.

El flujo está muy relacionado con las caracterís-ticas del proyecto, dependiendo de sus nivelesde actuación y de los actores asociados.

Este esquema puede ser complementado conotro que visualice los flujos de información entreniveles y actores relacionados.

Las actividades del MEI tienen que estar inclui-das en los planes operativos del proyecto y delas instituciones socias.

El dispositivo del MEI gana al estar descrito enun documento (idealmente como capítulo delplan operativo de fase) que informe tambiénsobre los mecanismos y acuerdos para su im-plementación.

En el Anexo No 11 se presenta, a manera deejemplo, el índice del documento de presenta-ción de un dispositivo del MEI.

Un capítulo del plan operativo anual (POA) o, sise considera más conveniente, un subcapítulodel plan de cada resultado, estará dedicado alas actividades de implementación del MEI du-rante el año.

En resumen, para tener éxito en la implementacióndel MEI, resulta importante respetar 4 principios:

a) Contar con un compromiso institucional: in-terés e involucramiento de la dirección delproyecto y de las instituciones socias para fa-cilitar la puesta en práctica y para asignar losrecursos requeridos

b) La responsabilidad de la implementación esde todo un equipo y no recae solamente en lapersona encargada de la coordinación; lostérminos de referencia del personal técnicodel proyecto y los convenios de cooperacióncon las entidades socias deben incluir un ar-tículo que se refiera a las responsabilidadesen la implementación del MEI

c) Reconocer el rol clave de el/la coordinador/adel MEI (véase el Anexo No 8: "Perfil del Co-ordinador/a del MEI de un programa dedesarrollo"), que debe disponer de la autori-dad para dar seguimiento a su implementa-ción y estar apoyado/a institucionalmentepara hacer respetar los plazos y la calidad dela información.

d) Asociar a consultores especializados paraciertas tareas específicas pero no delegar eldiseño y la implementación a una consultoríaexterna.

Ámbito

M&E contexto

Levantamiento

Instr. Resp.

Procesamiento

Instr. Resp.

Comunicación

Medio y destinatario Resp.

M&E impacto

M&E resultados

M&E de la gestión

Instr.: instrumento; Resp.: responsable

Tabla No. 13: Flujo de información de instrumentos de apoyo


72

D.5 Paso 5: Levantamiento y procesamiento de lainformación

• La función de la línea basepara establecercomparaciones

AclaraciónPara monitorear y evaluar se requiere establecerun punto de partida que se llama “línea base” ysirve de referencia para apreciar los futuros cam-bios. Constituye la primera medición de los indi-cadores contemplados en el MEI. Estainformación es clave porque describe la situaciónde partida en función de la cual se apreciará elcambio a futuro.

Dentro del ciclo de un programa, la línea basedebe realizarse cuando éste se inicia; de lo con-trario, no se contará con datos que permitan es-tablecer comparaciones posteriores conformese avance en la implementación del proyecto. Alno contarse con la línea base se corre el riesgode que la evaluación posterior tenga un altogrado de subjetividad al momento de juzgar larelevancia de los avances y de los cambios.

Consejos• Se reitera la importancia de levantar la infor-

mación en los primeros meses de ejecución,aunque se tiene conciencia de que hay muchasrazones adversas, como no haber establecido

una relación de suficiente confianza con lossocios y/o la falta de tiempo por la intensidaddel trabajo en la etapa de arranque. Sin em-bargo es una prioridad impostergable.

• Para algunos indicadores el valor de la líneabase es cero y entonces no requiere de medi-ción. Por ejemplo, “No de Municipalidades ru-rales que cuentan con una oficina depromoción económica” es cero en el caso deque la Ley que les atribuye responsabilidad enesta materia recién hubiese sido promulgada.

• El levantamiento de la línea base debe servista como una etapa esencial para la valida-ción del MEI. Permite verificar si los indica-dores son pertinentes en cantidad manejabley si los métodos elegidos y las herramientasson idóneos.

• Hay que asegurarse de que la recolección dedatos de la línea base contemple todas lasáreas geográficas y la población que intere-san al proyecto.

• Es necesario asegurar que la muestra y loscasos analizados durante el levantamiento dela línea base se volverán a estudiar en las me-diciones siguientes.

• Hay que tomar en consideración que la reco-lección y la consolidación de los datos re-quieren de un gran trabajo para concluir enpocos datos relevantes que permitan puntosde comparación posterior.

Proceso

D

73

• Capacitación para ellevantamiento de lainformación

El MEI tiene mucha potencialidad para promoverel empoderamiento y el fortalecimiento institu-cional. Sin embargo, necesita a menudo de unprograma de capacitación y acompañamiento enfavor de los socios locales.

Consejosa) Se debe previamente definir el perfil de las

personas que van a estar asociadas en el le-vantamiento de la información, definiendo re-querimientos específicos y habilidades.

b) El proceso de capacitación debe empezarpor informar sobre la estrategia del pro-grama y sus alcances, incluyendo el MEI, yexplicar la información específica que se pre-tende levantar.

c) Las personas deben entender bien el/losinstrumentos previamente a su aplicación.Esto reviste especial importancia cuandoson diferentes entrevistadores y diferenteslugares de aplicación, debido a que la cali-dad del análisis a realizarse posteriormentedepende de la confiabilidad y comparaciónde los datos.

d) En la capacitación se recomienda incluir ejer-cicios piloto que sirvan para verificar el nivelde dificultad que presentan los instrumentosdiseñados. Es una oportunidad para que laspersonas en proceso de capacitación apor-ten con mejoras antes de pasar a una apli-cación masiva de los instrumentos.

• Procesamiento de los datosDespués de levantar los datos, se trata de codi-ficarlos, almacenarlos y procesarlos de modo talque se conviertan en información útil. Es im-portante resaltar que de la calidad y coherenciade los datos con los que se cuente va a depen-der la calidad del análisis posterior.

En esta etapa es fundamental contar con una he-rramienta para el procesamiento de la informa-ción. Se puede usar una base de datos diseñada

específicamente para este fin, utilizando un pro-grama especializado como SPSS o una hoja decálculo en Excel.

En función del tipo de indicadores que se hayanestablecido, se realizará el procesamiento.

• Para indicadores cuantitativos se realizaránagregaciones, promedios, porcentajes, ran-gos o procedimientos estadísticos más com-plejos como correlaciones e inferencias.

• Para datos cualitativos el procesamientopuede ser diverso: se puede trabajar con his-torias de vida, relatos de cambios, agrupa-ción de ideas, matrices, línea de tiempo,mapas conceptuales, entre otros.

Otro tema fundamental al que contribuye el pro-cesamiento de la información es buscar que nosea solamente descriptivo sino que aporte conel análisis y la búsqueda de explicaciones lógi-cas. Se recomienda cruzar variables recal-cando que se requiere de conocimientotécnico, habilidad en manejo de datos y curio-sidad intelectual.

Consejosa) El desarrollo de la herramienta informática

debe realizarse de manera inmediata unavez que se cuente con los instrumentosaprobados.

b) Antes de armar una aplicación informática es-pecífica hay que apreciar bien los beneficiosde utilizar hojas Excel. Es un asunto de be-neficio/costo que debe ser evaluado por elequipo del proyecto. La naturaleza iterativadel MEI puede hacer que se requieran, concierta periodicidad, ajustes en la programa-ción del sistema de procesamiento. Resultaentonces más práctico empezar con una apli-cación sencilla y fácilmente adaptable.

Por otro lado, un sistema bien definido conuna herramienta amigable puede permitir unamayor apropiación y uso de la informaciónpor un mayor número de personas dentrodel equipo, así como de los socios y aliados.No hay receta única en este sentido; es algoque hay que analizar antes de tomar unadecisión.


74

c) Un inconveniente mayor se presenta cuandoal codificar los datos, a menudo se observaque el registro de las respuestas en los ins-trumentos de recolección contiene debilida-des (información que no se puede leer,preguntas que no tienen respuesta, etc.). Serecomienda por ello que una persona haga,en el sitio mismo del levantamiento, un pri-mer control de calidad con el fin de evitar queerrores o fallas solo aparezcan en el mo-mento en el cual se procesan los datos demanera centralizada.

d) Otro momento de la verificación de datosocurre al trasladar las respuestas a la basede datos. Esta tarea debe ser realizada poruna persona que entienda bien la lógica delos datos que se van a procesar. No se tratasolo de sumar cifras. Se debe disponer detiempo y capacidad para reflexionar sobre losdatos que se van ingresando y con autoridadpara regresar, si es necesario, a la fuente ori-ginal en el caso de aquellos datos que llamanla atención. El procesamiento de datos de di-ferentes procedencias es un reto.

e) Con miras a incrementar la sostenibilidad delsistema debe buscarse la gestión descentra-lizada de información a nivel de cada actor,

aportándoles con datos que son útiles a sunivel. Este puede ser un primer paso paraque ellos fortalezcan sus prácticas de MEI.

f) Hay que contemplar que los reportes de losdatos cualitativos y cuantitativos serviránpara la difusión de la información a diferen-tes usuarios. Mientras más visuales y fácilesde entender sean los reportes, más fácil va aser llegar a los usuarios. De lo contrario losreportes se vuelven memorias institucionalesque aportan poco a los actores locales y alos decisores. Véanse a modo de ejemplo lastablas de síntesis del procesamiento de la in-formación generada en el MEI de los 3 casospresentados en el documento, sus cuadrosde salida, gráficos e informe:

a. Anexo No 2_b: "Aplicación MEI – CasoAPODER".

b. Anexo No 5: "Cuadro de presentación deindicadores de monitoreo – Ejemplo APO-DER".

c. Anexo No 3: "Aplicación MEI – Caso EM-PRENDER".

d. Anexo No 4: "Aplicación MEI – Caso Líneabase PROMIPAC".

D.6 Paso 6: Análisis, uso y comunicación de lainformación

• Análisis de la informacióngenerada

1. Luego de la recolección y procesamiento hayque estudiar detenidamente la informacióndisponible (conjunto de datos sobre hechos,opiniones organizadas por indicador). El aná-lisis tiene las siguientes funciones:

- Traza una imagen de la situación o de unproceso comparando, por ejemplo, los re-sultados planeados con los reales, anali-zando a qué obedecen las diferencias,observando las variaciones entre diferen-tes territorios o grupos poblacionales,cruzando diferentes variables para anali-zar su correlación.

- Refina la comprensión de lo que está su-cediendo mediante la discusión de la in-formación procesada con los interesadospara obtener una percepción más precisa,entender las aparentes contradicciones ylas conexiones entre distintas variables,comparar la evolución entre diferentes te-rritorios, diferentes grupos sociales e in-terpretar cuáles son las razones.

- Cuando este análisis se realiza en formaparticipativa, limita los prejuicios abriendoun debate sobre la manera de interpretarla información y refuerza la aceptaciónpor parte de los diferentes actores de lasconclusiones, debido al análisis compar-tido que integra las diferentes visiones.

Proceso

DEl análisis de la información del monitoreo vaa la par con la reflexión crítica. Por reflexióncrítica se entiende no limitarse solo a la re-colección, procesamiento y presentación delos datos sino interpretar lo ocurrido y lasexperiencias vivenciales para entender porqué está sucediendo, cuáles son las posiblesconsecuencias y si va a requerir de ajustesen la manera de actuar. Una recomendaciónpara que los actores involucrados en un pro-yecto sean más reflexivos es planificarcuándo y cómo se va a proceder a un trata-miento crítico de la información a nivel micro(comunidad, microempresa, por ejemplo) ymacro (gobiernos regionales socios del pro-yecto, redes empresariales nacionales deuna línea de producción). Los problemas nose ven como errores sino como oportunidadde aprendizaje.

El análisis de la información, que tiene queser sistematizada, de fácil acceso y com-prensible, lleva a identificar las leccionesaprendidas que se pueden definir como el co-nocimiento, fundamentado, que se deriva dela experiencia y que se puede generalizar ypermite mejorar la acción.

2. Utilidad del monitoreo y la evaluación

No se puede limitar el M&E a generar y pro-cesar información, sino que constituye unaresponsabilidad ponerla a disposición enforma accesible y promover su uso. La res-ponsabilidad para el buen uso de la informa-ción proporcionada por el sistema del MEIreside, en última instancia, en los nivelesaltos de las instituciones que suelen confor-mar el Comité de orientación y supervisióndel proyecto, de las instituciones socias yaliadas, y de la misma dirección del proyecto.

Para que un sistema MEI aporte a la gestiónde una intervención debe reunir por lo menostres condiciones:

a) Producir información pertinente (en di-recta relación con la acción) y en tiempooportuno (para que sirva de retroalimen-tación en momentos de planificación). Pa-recería obvio, pero en la realidad sevuelve muy desafiante para la unidad delMEI llegar a tiempo con información pro-

cesada, consolidada y presentada enforma atractiva en los momentos semes-trales y anuales de balance-planificación ycon datos y comentarios relevantes en lassesiones del Comité de orientación-su-pervisión.

b) Aportar con evidencias sobre lo que estásucediendo, balanceando de manera ob-jetiva lo positivo con las dificultades y loselementos más débiles. Transparentar loque está pasando, con suficiente infor-mación y no solo con lo que convienemostrar.

c) Crear y mantener un entorno de uso de in-formación y una cultura de aprendizaje,promoviendo una reflexión formativa (porejemplo, planteando al final de un cuadrosintético de datos preguntas que invitan adar una explicación de lo que está suce-diendo). El monitoreo, para no desapro-vechar toda su utilidad, no debe serentendido como un mecanismo para au-tojustificar lo que se va ejecutando sinopara promover la reflexión y el aprendizajeen aras de mejorar la acción.

La información generada por el sistema gene-ralmente sirve para las siguientes funciones:

1. Rendir públicamente cuenta de los resultadosde la intervención. Incrementar la transpa-rencia sobre el uso de los recursos financie-ros y del tiempo invertido.

2. Evidenciar y documentar, a través de losdatos relacionados a los indicadores y a suanálisis, los avances en la cadena de los cam-bios que la acción persigue. Extraer, enforma participativa, conclusiones y propues-tas de mejora a futuro.

3. Revisar, a la luz de lo logrado en un periodo de-terminado, las estrategias y las metas de la ac-ción para el próximo periodo de planificación.Valorar y utilizar la retroalimentación proce-dente del monitoreo como punto de partidapara tomar decisiones e iniciativas. Es funcióndel liderazgo de un/a director/a de proyecto,con base en el MEI, no solo producir informessino abrir una reflexión que retroalimente di-rectamente la planificación.

75


76

Producto de la actividadEj: los productores/asconocen las exigenciasy los lineamientos de laproducción orgánica

Resultado logradoEj: los productores aplican losconocimientos adquiridos, losadaptan a su situación ycertifican sus productos

Indicador de impactoEj: se han aumentado y se mantienen estables losingresos monetarios de losfruticultores

ImpactoEj: los agricultores vendensu producción frutícolaorgánica en mercados más estables y a mejor precio

Brecha deatribución

ActividadEj: realizar un curso decapacitación sobre laproducción orgánica defrutales

Gráfico No. 4: Gráfico de cadena de cambio que permite interpretar los avancesen relación al impacto que se está buscando

Se trata de conseguir una visión clara sobrequé funciona y qué no, cuáles son los elemen-tos de la estrategia que se pueden valorar a fu-turo porque han generado efectos positivos,cómo se podría lograr mayor eficiencia y efi-cacia y conseguir mejor desempeño y respon-sabilidad.

4. Identificar lecciones a partir de la práctica,extrayendo enseñanzas que sirven para ajus-tar la acción del proyecto y que, por su gradode generalización, pueden ser difundidaspara servir a otros.

• Uso de la información paralos actores clave

Los enfoques actuales de las acciones dedesarrollo tienen implicaciones en los propiossistemas de planificación y de monitoreo-eva-luación, sobre todo en los siguientes aspectos:

• Partir de la demanda y de las iniciativasen marcha, favoreciendo la inclusión, lacapacidad de autogestión y el empodera-miento, lo que significa que los actoresasuman responsabilidades desde la planifi-cación hasta la ejecución y evaluación enlas acciones que les competen.

77

• Gestión descentralizada de las acciones dedesarrollo y de los servicios públicos con asig-nación de responsabilidad al nivel más cercanoposible de los actores, lo que lleva a fortalecerlas capacidades de planificación, seguimientoy evaluación en los gobiernos locales y orga-nismos públicos descentralizados.

• Alineamiento de las acciones apoyadas porla cooperación internacional con las políti-cas estatales y, por consiguiente, con lossistemas públicos de planificación y de in-formación existentes.

A fin de que el MEI relacionado a un proyectosea entonces útil para las diferentes catego-rías de actores involucrados en la acción, serecomienda tomar en consideración las nece-sidades de información de estos actores.

Partiendo de la información que va a generarel sistema de monitoreo, se puede definir concada categoría de actores clave su necesidadde estar informado y su participación en elciclo de recolección y uso de la información.

Grupode actor

Xxx

Información/datosTipo deinfo quenecesita

Rol/participación

En larecolección

En la organiza-ción y análisis

En el reporte(y a quién)

En el uso pararetroalimentar ac-

ciones

En lacomunicación

externaFrecuencia Contenido

y forma

Zzz

Los acuerdos y planes de cooperación entre estosactores y el proyecto tienen que incluirse, en elconvenio de cooperación, en un artículo referido alsistema de monitoreo-evaluación. Esto permite evi-denciar cuáles son los datos que se comprome-ten a levantar y proporcionar, la informaciónconsiderada útil para su gestión y que desean al-macenar y usar a su nivel, y las capacidades quenecesitan desarrollar (personal entrenado, aseso-ría en temas especializados, disponibilidad enequipo informático y recursos, etc.).

Se debe promover la institucionalización de seg-mentos del sistema de monitoreo-evaluación enlas instituciones interesadas, de forma tal que elanálisis de los datos sirva a su gestión y retroa-limente su planificación.

Los 3 proyectos elegidos en esta publica-ción pueden dar luces sobre posibles acto-res interesados en gestionar información asu nivel.

APODER EMPRENDER PROMIPAC

Poblaciónobjetivo“socios”

- Organización de base dela sociedad civil

- Asociación deMunicipalidades rurales

- Municipalidad con piloto dedes. econ. (Oficina DEL)

- Gobierno regional

- Unidad de producciónfamiliar

- Empresa asociativa- Consejo provincial

(Gerencia des. econ.)

- Unidad de producciónfamiliar

- Asociación deproductores (escuela decampo)

Instituciónde servicio“aliados”

- ONG aliada, nivel regionaly nivel nacional

- Institución facilitadoraprovincial

- Institución de servicio

Contraparte - Centro nacional de ladescentralización (CDE)

- Asociación de Municipalidadesdel Ecuador, Regional SierraCentro

- Escuela Agrícola delZamorano

Ejemplo


78

• La comunicación de lainformación

Difusión por los actoresLa difusión de las conclusiones del monitoreo-evaluación es un componente de una estrategiade comunicación institucional, dirigida al interiory al exterior, que genera interés y apoyo en losactores.

Los responsables de las instituciones socias(Asociación de Municipalidades rurales, empresaasociativa, asociación de productores, etc.) sebenefician al difundir información que resulta delmonitoreo-evaluación tanto a sus miembros (ren-dición de cuentas, base para la definición deorientaciones) cuanto al exterior en su ámbito deactuación (a aliados, a autoridades, a los mediosde comunicación) para tener mayor visibilidad yreforzar su posición.

Se pueden mencionar, a manera de ejemplos:

• en el eje de la Gobernabilidad: una Municipa-lidad que informe en su página web con datosactualizados sobre los proyectos financiadosen el marco del presupuesto participativo;

• en el eje del Desarrollo económico local: unaasociación de apicultores que difunde datossobre la evolución de la producción y de losprecios en su zona de producción;

• en el eje de Gestión sostenible de recursosnaturales: una gerencia de recursos natura-les del gobierno regional que dispone de fi-chas de monitoreo sobre el manejo defuentes de agua en áreas priorizadas.

Los socios de un proyecto se encuentran en unamejor posición de discusión y negociacióncuando desean incidir en políticas y/o estable-cer alianzas con otras entidades y/o conseguircofinanciamiento de agencias estatales o decooperación internacional.

Difusión por el propio proyectoEs una obligación del proyecto brindar informa-ción sobre sus resultados y su impacto y la in-versión realizada. Las conclusiones delmonitoreo-evaluación tienen muchos destinata-rios potenciales:

• organización nacional responsable y cofinan-ciadora;

• agencia cooperante;

• entidades socias;

• miembros de los comités directivos y aseso-res;

• instituciones aliadas y coejecutoras;

• integrantes de los equipos técnicos;

• otros proyectos que trabajan en el mismo te-rritorio o la misma temática, etc.

La transmisión de conclusiones anuales o defase lleva a utilizar medios visuales, como gráfi-cos, diagramas de tendencia, mapas, para pre-sentar lo que está sucediendo en formasintética.

Si los informes de evaluación a mitad y final defase son para muchas instituciones de coopera-ción una obligación contractual, se recomiendaelaborar adicionalmente fichas con ilustracionesque resuman los avances por resultado y las hi-pótesis de impacto. Esta documentación de fácillectura y costo reducido puede ser utilizadacomo soporte para flashes informativos en es-pacios existentes de intercambio de informacióndel sector o interinstitucional, y remitida a losmedios de comunicación para invitarles a infor-mar sobre la acción y sus actores sobre la basede los logros alcanzados.

Las instituciones que han validado la propuesta

Aprendizajes desdela práctica del MEI

Aprendizajes desdela práctica del MEI

E. APRENDIZAJES

Aprendizajes

E

81

MEI ASOCAM a partir del año 2003 –en particular APODER, EMPRENDER y PROMIPAC– hicieron hin-capié en 3 lecciones que se presentan a continuación.

E.1 El MEI tiene que ser útilLa utilidad del sistema se demuestra ante todoen dos aspectos:

a) Brindar periódicamente (por lo menos anual-mente) información para las instancias de di-rección y de orientación-supervisión delproyecto, de manera que las decisiones ge-renciales se tomen sobre la base de informa-ción precisa y con alto grado de objetividad.Un requisito imprescindible es que la informa-ción llegue a tiempo en forma procesada y concomentarios preliminares y preguntas abiertasque invitan a un análisis más profundo.

b) Organizar el almacenamiento y el acceso demodo tal que los responsables de las institu-ciones socias (asociación de productores/as,grupo de la sociedad civil, empresa asociativa,Municipalidad, etc.) dispongan en tiempo realde los datos que les sirvan directamente paramejorar su gestión y para comunicar tanto in-ternamente como hacia otros (véase el casoECOBONA que se presenta en recuadro). La ar-ticulación con sistemas estadísticos existentesy utilizados (por ejemplo, SIG del gobierno re-gional) puede constituir una parte de la solu-ción para facilitar el almacenamiento y acceso.

Sistema de monitoreo vinculado a un sistema informáticoEl Programa Regional para la Gestión Social de Ecosistemas Forestales Andinos, ECOBONA, decidió romper con lacentralidad de los dispositivos de monitoreo y crear un sistema en línea que brinde información de libre acceso y abajo costo, que permita la participación de todos los actores en el proceso de accountability del Programa y queconstituya una experiencia interactiva de aprendizaje.

La información que el sistema despliega puede ser visualizada desde dos perspectivas: la primera, a través de unamatriz general donde se ven los resultados por indicador para cada país (Bolivia, Ecuador y Perú) o, la segunda,entrando en el detalle de los métodos utilizados para el levantamiento de los datos.

El siguiente paso fue entregar a los actores locales y a otros actores interesados la dirección de acceso al sistema(www.intranetbosquesandinos.info) y una clave de visitante al mismo (usuario: smevi, clave: smevi) la cual permite lalectura de la información mas no la alteración de la misma.

Esta metodología de trabajo le ha permitido al equipo en los 3 países y 6 áreas de acción hacer uso del sistema comoun apoyo para los procesos de planificación, presentación de informes y rendición de cuentas. El tiempo que tomó lacreación del sistema, la capacitación y la apropiación se convirtió en una inversión con altos réditos pues actualmenteeste sistema no solo permite realizar un monitoreo constante de las acciones, sino también que los actores locales, lossocios y aliados del Programa puedan utilizar la información allí presentada, ya sea como una fuente de consulta o comouna posibilidad de compartir e intercambiar.

El reto que tiene ahora el Programa es lograr que los actores locales retroalimenten la información del sistema, lausen en sus procesos de planificación local y, de esta manera, se promueva una cultura de monitoreo que permitiráfocalizar mejor las acciones y utilizar eficientemente los recursos disponibles.

ECOBONA – M-A Barrionuevo – dic. 2008

Aprendizajes desde la práctica del MEI

82

La experiencia de las instituciones que validaronla propuesta enseña que el MEI gana en utilidadsi cumple con los siguientes criterios:

• Claridad conceptual y operativa con lenguajehomogéneo.

• Diseño sencillo (por ejemplo, número redu-cido de indicadores) con herramientas deaplicación progresiva.

• Tiempo dedicado a que los socios de la acciónse pongan de acuerdo sobre la selección de

los indicadores. La experiencia muestra que unbuen nivel de entendimiento sobre los indica-dores que se van a utilizar para medir los efec-tos de la acción realizada en cooperaciónrefuerza entre los actores el consenso en tornoa la finalidad que se persigue.

La discusión sobre indicadores incluye los va-lores que los actores atribuyen a la acción demanera mucha más explícita que la formula-ción de la jerarquía de objetivos.

• Mayor transparencia

¡No es porque el MEI constituya una obliga-ción que su valor es bien comprendido! Lasacciones de desarrollo realizadas en coope-ración entre diferentes actores públicos y pri-vados constituyen un espacio favorable parapromover elementos concretos de una cul-tura democrática a la cual el MEI aporta entres aspectos:

a) Necesidad de rendir cuentas, más auncuando se hace uso de fondos públicosnacionales e internacionales que tienencomo misión aportar a la reducción de lapobreza.

b) Toma de decisiones basada en informa-ción objetiva y evidencias sobre lo queestá realmente sucediendo.

E.2 Aportar a una nueva cultura

Aprendizajes

E

83

c) Reflexión crítica para analizar con mayor pro-fundidad la adecuación de la acción en funcióndel contexto, de los intereses y capacidadesexistentes, y de sus reales efectos.

• Capacidad de observar, documentar y analizar

Corresponde incluir en los planes de coope-ración el desarrollo de capacidades para laspersonas y sus organizaciones en planifica-ción-monitoreo y evaluación. Por capacidadse entiende “la facultad de individuos y orga-nizaciones de desempeñar funciones demodo eficaz, eficiente y sostenible”14. Loscursos de capacitación pueden proporcionaruna base valiosa pero gran parte de las ca-pacidades se adquieren en el trabajo me-diante la experiencia concreta, idealmentecon asesoría periódica en el terreno. A me-nudo, a las personas encargadas del MEIlocal les falta experiencia en materia de re-portar sobre avances y logros. A partir de laexperiencia del proyecto APODER es posiblerecomendar tres actividades:

a) Facilitar la participación de los técnicosmunicipales y de asociaciones de munici-pios en cursos formales que les permitanentender mejor la importancia de docu-

mentar, monitorear y reportar (módulo delDiplomado en desarrollo territorial).

b) Organizar talleres para aprender a anali-zar datos y extraer lecciones.

c) Promover la instalación y el uso de aplica-ciones informáticas que faciliten el trabajode procesamiento y de almacenamiento dedatos a nivel municipal.

• Proveer datos confiables

El otro aspecto complementario al desarrollode capacidades es la definición y aplicaciónde reglas que son condiciones necesariaspara que se implemente el MEI en sus dife-rentes niveles. La experiencia de APODERmuestra que se pueden aplicar reglas bas-tante estrictas sin perjudicar la relación decooperación. Los informes semestrales quedeben entregar los socios y aliados tienen unesquema estandarizado que obliga a presen-tar datos procesados de monitoreo. Cuandoesta parte no se ha llenado, el informe esconsiderado como no entregado, lo que blo-quea el último desembolso anual conforme alacuerdo firmado y a las prácticas en la ad-ministración pública.

¿Quién debe responder de los logros, proble-mas, impacto y lecciones aprendidas de una ac-ción de desarrollo? No hay una respuesta únicapero cada proyecto y sus socios deben plan-tearse dos preguntas centrales:

• ¿Dónde se va a situar la persona o la unidadencargada de coordinar el MEI?

• ¿Cuáles son las instituciones que van a asu-mir responsabilidad en la implementación delMEI y cuáles serán sus funciones?

A partir de la práctica de los 3 proyectos pre-sentados en esta guía se pueden hacer las si-guientes recomendaciones prácticas:

a) Nombrar a una persona responsable del MEIpara elaborar los instrumentos, verificar, con-solidar, almacenar y gestionar los datos ypara brindar asesoría y capacitación a laspersonas e instituciones involucradas en laimplementación. En el caso de APODER y EM-PRENDER, que trabajan con un número limi-tado de socios, esta función ocupa el 60% de

E.3 Determinar funciones y responsabilidades

14 PNUD-1998.

tiempo de una persona experimentada, ubicada en la unidad central del proyecto bajo supervisióndirecta de la dirección.

b) Involucrar a todo el equipo en la tarea del MEI, del nivel central al nivel local, con reparto de res-ponsabilidades no solo por zona geográfica sino por tema y por hipótesis de impacto (por ejem-plo, cada miembro del equipo tiene la responsabilidad de coordinar la implementación del MEI paralos indicadores relacionados a una hipótesis de impacto).

c) Acordar, desde un inicio y de manera formal, el rol de cada entidad socia y aliada en el levanta-miento, agregación estadística y reporte periódico de la información, y planificar el acompaña-miento técnico que eso requiere.

d) No tercerizar el diseño completo y/o la implementación del MEI, por ser un sistema de gestión delos actores del desarrollo, pero contratar a un consultor asociado (o firma consultora) para un ele-mento determinado del proceso

- cuando se necesiten conocimientos técnicos específicos; o,

- para compensar la falta de tiempo del personal del proyecto.

84

AnexosAnexos

86

ANEXOS(disponibles en versión digital en:)

www.asocam.org/biblioteca/ASO_MEI_Anexos_herramientas.pdf

1 Algunas dimensiones a contemplarse para definir indicadoresde interculturalidad y género

2 Aplicación del MEI – Caso APODERa) Datos por indicador de impacto y de resultadob) Resumen de evaluación de contexto e impacto

3 Aplicación del MEI – Caso EMPRENDER

4 Aplicación del MEI – Caso PROMIPAC

5 Datos por indicador de impacto y resultado - ASO APODER (Fase II)

6 Ejemplos de herramientaa) Formato de encuesta familiar – caso APODERb) Ficha por productor – (para manejo de información en la organización del MEI)c) Monitoreo de manejo de plagas a nivel familiar – 2 herramientas - caso

PROMIPAC

7 Definición de muestra – Ejemplo APODER

8 Perfil de Coordinador/a de MEI en la dirección de un Programa deDesarrollo - Ejemplo - Descripción

9 Rol de los actores clave en el monitoreo y evaluación

10 Revisión de Marco Lógico de proyecto (ML)

11 Dispositivo MEI

87

Bibliografía Citada

COSUDE, DAL, 2003.

de Rham, Philippe; Camacho, Patricia y Maître, Adrian (2001). Informe del Estudio Regional"Evaluación de Impacto en Cinco Casos". ASOCAM, Disponible enwww.asocam.org/index.shtml?x=5700

Earl, S.; Carden, F.y Smutylo T. (2002). Mapeo de Alcances. Incorporando aprendizaje y reflexiónen programas de desarrollo. Ottawa, IDRC.

Evaluación Participativa por Productores – EPP. Guía Metodológica para la evaluación del efectoe impacto del desarrollo tecnológico. PASOLAC Centroamérica, 2001. Disponible enwww.asocam.org/index.shtml?x=6640

FIDA (2002) Guía para el S y E de proyectos. Roma-Italia.

Herweg, Karl y Steiner, Kurt (2003). "Monitoreo y valoración del impacto. Instrumentosa usar en proyectos de desarrollo rural con enfoque en el manejo sostenible de la tierra".Disponible en:Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdfVolumen II Utilería: www.asocam.org/biblioteca/MVI_014.pdf Berna, CDMA, GTZ.

Hipótesis de Impacto Campesinas. Nota conceptual No 2. ATICA, mayo 2002. Disponible enwww.asocam.org/index.shtml?x=8270

Nota de la División Latinoamérica. COSUDE, 2007.

PNUD-1998.

Rotondo, E. (2007). “Lecciones aprendidas en el desarrollo de la capacidad evaluativa para lalucha contra la pobreza rural de un programa regional”. II Conferencia RELAC, Bogotá, 17-21de julio.

88

SiglasAPODER Programa de Apoyo a la Descentralización en Espacios Rurales

ANAPIH Asociación Nacional de Apicultores en Honduras

ASOCAM Plataforma Latinoamericana de Gestión de Conocimientos

BM Banco Mundial

CO Campo de Observación

CND Consejo Nacional de la Descentralización

COSUDE Agencia Suiza para el Desarrollo y la Cooperación

DEL Desarrollo Económico Local

DELC Desarrollo Económico Local Concertado

FAO Food and Agriculture Organization

FODA Fortalezas, Oportunidades, Debilidades y Amenazas

HI Hipótesis de Impacto

I Indicador

IC Fundación Suiza para el Desarrollo y la Cooperación Internacional

LB Línea Base

M&E Monitoreo y Evaluación

MIP Manejo Integral de Plagas

ML Marco Lógico

MEI Monitoreo y Evaluación orientados al Impacto

OSB Organización Social de Base

PASOLAC Programa para la Agricultura Sostenible en Laderas de Centroamérica

PC Plan de Capacidades

POA Plan Operativo Anual

POF Plan Operativo de Fase

PROMIPAC Programa de Manejo Integrado de Plagas en América Central

PT Plan de Trabajo

REMURPE Red de Municipalidades Rurales del Perú

RRHH Recursos Humanos

RRNN Recursos Naturales

SIG Sistemas de Información Geográfica

SIA Sistema de Información Apícola

SPSS Statistical Package for the Social Sciences

UNICEF United Nations International Children's Emergency Fund

89

Lista de participantesTaller regional de validación de

contenidos de la primera versión de la serieHonduras del 11 al 13 de julio de 2006

País Entidad/Proyecto ParticipanteBolivia

CORLAP Geraldine ZeunerAOS Renata Hofmann

EcuadorCAMAREN Sandra VallejoCESA Juan Diego Unda

PerúAPODER Rosa Lyn JoyAPODER Matthias BachmannMASAL Roberto BerlinPREVAL Antonio Pozo

HondurasAGROPYME Rosa EscolánPROMIPAC Rhina DomínguezPROMIPAC Ernesto GarayPROMIPAC Zenia Flores *PROMIPAC Alfredo Rueda *

NicaraguaPROEMPRESA Johanna SánchezPROMIPAC Francis PorrasECOMERCADOS Magali LadislasCORMAN José Luis SandinoPASOLAC Nelson CastellónProyecto Rioplus (GTZ) Maria Delfina Flores

El SalvadorPROMIPAC Gloria Mejía

RegionalASOCAM/IC Philippe de RhamASOCAM / IC Lorena ManceroIC Martin Fischler

Esta guía, en su versión 2008, busca aportar respuestas a las dificultades que encuentran los programas e instituciones al establecer mecanismos de monitoreo y evaluación (M&E). El análisis de varias prácticas de monitoreo y evaluación muestran que el marco conceptual a menudo carece de claridad, que persisten dificultades metodológicas en la implementación y que la evaluación se centra más en el desempeño que en el impacto.

No se trata, entonces, de proponer una metodología nueva y exclusiva, que se desmarca de otras y que alimenta el debate entre especialistas, sino de facilitar la puesta en práctica de una evaluación de acciones de desarrollo que sea asequible, amigable y útil. El propósito es conseguir que el M&E se vuelva una práctica institucionalizada de gestión estratégica y de calidad orientada al impacto y al aprendizaje. Se apuesta a un sistema autogestionado, no demasiado complejo, que acompañe la intervención desde el inicio y que sea de provecho.

CD con contenidos de:

Monitoreo y Evaluaciónde Acciones de DesarrolloOrientadas al Impacto

Productos disponibles sobre el tema:

Serie metodología y casos “Monitoreo y Evaluación de acciones de desarrollo orientadas al impacto” www.asocam.org/biblioteca/ASO_MEI_Guia.pdf www.asocam.org/biblioteca/ASO_MEI_Anexos_Herramientas.pdf

Informe estudio regional “evaluación de impacto en casos analizados A nivel regional” www.asocam.org/biblioteca/ASO_EST_MVI.pdf

Síntesis de la conferencia electrónica “los sistemas de seguimiento y evaluación en el área de desarrollo rural sostenible y medioambiente” www.asocam.org/biblioteca/ASO_MEI_Conferencia.pdf

Todos los productos sobre Monitoreo y Evaluación están disponibles en:

www.monitoreoyevaluacion.info

Portal temático especializado que incluye todos los productos de la Plataforma ASOCAM en eltema, así como una completa biblioteca virtual con publicaciones clave y un listado de entidadesreferentes en monitoreo y valoración de impacto en América Latina.

Versión digital disponible en:www.monitoreoyevaluacion.info

Monitoreo y evaluaciónde acciones de desarrollo

orientadas al impacto

Serie Metodologías y casos

Hernando Sarmiento N39-77 y Hugo MoncayoTeléfono: (593-2) 2447 292

e-mail: [email protected] - Ecuador

www.asocam.org

ASOCAM, Plataforma Latinoamericana de Gestión de conocimientos para el Desarrollo Local en Áreas Rurales, está integrada por 50 entidades localizadas en siete países.

Cuenta con mecanismos de trabajo que promueven la construcción colectiva y rescatan aprendizajes a partir de la práctica.

Los resultados de estos procesos son difundidos en diferentes productos comunicacionales que presentan enfoques y orientaciones en temas prioritarios del desarrollo rural para fortalecer y enriquecer las prácticas institucionales.

B.2 El Monitoreo y Evaluación orientados al impacto (MEI)

Documents

Transcript of B.2 El Monitoreo y Evaluación orientados al impacto (MEI)