Taller de Apoyo para la Elaboración de Evaluaciones Internas...
Transcript of Taller de Apoyo para la Elaboración de Evaluaciones Internas...
Taller de Apoyo para la Elaboración de Evaluaciones Internas 2015
BIENVENIDOS
evalua.df.gob.mx
El Proceso Incremental de los Lineamientos para la Evaluación Interna de los Programas Sociales
evalua.df.gob.mx
2010
Diagnóstica*
2011
Operación y Resultados
2012
Evaluación Global y de Satisfacción
2013
Diagnóstica y de sistematización de los ejercicios de evaluación anteriores
2014
Diseño, Operación y Monitoreo
2015
Integral
Introducción al Taller
Evaluaciones Internas Realizadas 2010-2014
evalua.df.gob.mx
37
46
12
80
120
54
38 24
56 56
91 84
36
136
176
0
20
40
60
80
100
120
140
160
180
200
2010 2011 2012 2013 2014
Delegaciones Área Central Total
Introducción al Taller
Porcentaje de Cumplimiento de la Evaluación Interna 2013-2014
evalua.df.gob.mx
0.0%
20.0%
40.0%
60.0%
80.0%
100.0%
Delegaciones Área Central Total
60.2%
91.8%
70.1%
97.6% 100.0% 98.3%
2013 2014Nota. Total de Programas Sociales 2012: 194 2013:179
Introducción al Taller
Calidad de las Evaluaciones Internas 2013-2014
evalua.df.gob.mx
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
Central Delegacional Total
7.1%
57.7%
36.6%
67.9%
32.1%
47.0%
25.0%
10.3% 16.4%
Insatisfactorio
ParcialmenteSatisfactorio
Satisfactorio
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
Área Central Delegaciones General
0.0%
35.7%
18.5% 23.1%
50.0%
37.0%
76.9%
14.3%
44.4%
2013 Diagnóstica y de
sistematización de los ejercicios de
evaluación anteriores
2014 Diseño, Operación
y Monitoreo (preliminar)
Introducción al Taller
Percepción de las Evaluaciones Internas 2014
evalua.df.gob.mx
¿Qué necesidades de capacitación o asesoría requiere el programa social por parte de Evalúa DF?
0.0%
20.0%
40.0%
60.0%
80.0%
100.0%
Diseño de Reglasde Operación
Metodología yCriterios deEvaluación
Interna
Utilidad de lamedición del
Índice deDesarrollo Socialy de la Pobreza
Seguimiento yMonitoreo de
programassociales (diseñode indicadores)
54.1%
73.4% 83.5% 83.5%
Al 94.5% le gustaría que para la Evaluación Interna 2015, además de cumplir con la normatividad y requisitos establecidos, el Evalúa DF reconociera el esfuerzo de las dependencias y delegaciones que hayan realizado con mayor calidad sus procesos de evaluación
Introducción al Taller
Introducción al Taller
evalua.df.gob.mx
Objetivo del Taller: Brindar a las personas encargadas de la elaboración de las evaluaciones internas 2015 las herramientas teóricas y prácticas que les permitan desarrollar este proceso de forma óptima y, por ende, tomar decisiones para el mejor desempeño de sus programas sociales.
Formato del Taller: 8 sesiones teórico-prácticas de 3 horas (una por semana) donde se desarrollarán los aspectos solicitados en los Lineamientos para la Evaluación Interna 2015 de los Programas Sociales Operados en 2014 en el Distrito Federal, publicados por Evalúa DF, en la GODF.
Ruta Crítica
evalua.df.gob.mx
Publicación de Lineamientos
(marzo)
Taller para Elaboración de Evaluaciones
Internas
(8 sesiones,
abril y mayo)
Revisión Interna de
Evaluaciones
(junio)
Publicación de Evaluaciones
Internas
(30 de junio)
Premio de Mejores Prácticas
(septiembre)
Introducción al Taller
Evaluación Interna 2015
Evaluación integral del programa social, con énfasis en la construcción y seguimiento de un sistema de indicadores a través de la Metodología de Marco Lógico (ROP, 2015).
evalua.df.gob.mx
Análisis Cuantitativo
Análisis Cualitativo
FODA Conclusiones y Recomendaciones
RETROALIMENTACIÓN
COBERTURA Cobertura y localización Cobertura acumulada del programa durante
el período de operación de la presente administración
OPERACIÓN Evaluación de
procesos Cumplimiento de metas física,
financieras y de resultados Análisis de costos
RESULTADOS Beneficios económicos y sociales
PERCEPCIÓN Y SATISFACCIÓN Percepción de beneficiarios o derechohabientes y otros actores clave
DISEÑO Diagnóstico de la situación inicial Validez de los Indicadores
Introducción al Taller
Contenidos Generales de las Sesiones del Taller
evalua.df.gob.mx
Introducción al Taller
Sesión Temas Centrales Relación con el Contenido del Informe
1
- Introducción al Taller
- Qué es la evaluación. Propósitos y Limitaciones
- Tipos de evaluación
- Metodologías de análisis y fuentes de información
I. Introducción
II. Metodología de la Evaluación Interna
2015
V.2. Percepción de las Personas Beneficiarias o
Derechohabientes
2
- Identificación de problemas sociales a través del Árbol
del Problema
- Identificación de alternativas de acción a través del
Árbol de Objetivos
III. Evaluación del Diseño
III.2. Árbol del Problema
III.3. Árbol de Objetivos y de Acciones
3
- Consistencia normativa de los programas sociales
- Alineación de los programas sociales con la política
social del Distrito Federal
- Resumen Narrativo
III.1. Consistencia Normativa y Alineación con la
Política Social del Distrito Federal
III.4. Resumen Narrativo
4
- Construcción de la Matriz de Indicadores a través de la
Metodología de Marco Lógico
- Lógica Vertical y Lógica Horizontal
III.5. Matriz de Indicadores del Programa Social
III.6. Consistencia Interna del Programa Social
5
- Análisis de involucrados del programa social
- Complementariedad o coincidencia con otros
programas sociales
- Objetivos de corto, mediano y largo plazo
III.7. Análisis de Involucrados del Programa
III.8. Complementariedad o Coincidencia con
otros Programas Sociales
III.9. Objetivos de Corto, Mediano y Largo Plazo
Contenidos Generales de las Sesiones del Taller
evalua.df.gob.mx
Introducción al Taller
Sesión Temas Centrales Relación con el Contenido del Informe
6
- Cobertura del programa social.
Identificación y cuantificación de la población
potencial, objetivo y beneficiaria
- Congruencia de la operación del programa
con su diseño
- Valoración de los procesos del programa
social
IV. Evaluación de Cobertura y Operación
IV.1. Cobertura del Programa Social
IV.2. Congruencia de la Operación del Programa
con su Diseño
IV.3. Valoración de los Procesos del Programa
Social
7
- Mecanismos de seguimiento del padrón de
beneficiarios o derechohabientes
- Mecanismos de seguimiento de indicadores
- Mecanismos de seguimiento de
recomendaciones
IV.4. Seguimiento del padrón de beneficiarios o
derechohabientes
IV.5. Mecanismos de seguimiento de indicadores
IV.6. Avances en las Recomendaciones de la
Evaluación Interna 2014
8
- La Matriz FODA. Definición y aplicación en la
evaluación de programas sociales
- Construcción de estrategias de mejora como
resultado de la evaluación interna
- Conclusiones del Taller
V. Evaluación de Resultados y Satisfacción
V.3. FODA del Programa Social
VI. Conclusiones y Recomendaciones
VI.2. Estrategias de Mejora
VI.3. Cronograma de Instrumentación
evalua.df.gob.mx
Introducción al Taller
Sesión
1 • Introducción al Taller
• ¿Qué es la evaluación? Propósitos y Limitaciones
• Tipos de evaluación
• Metodologías de análisis y fuentes de información
¿Qué es la Evaluación?
evalua.df.gob.mx
Apartado Contenidos
I. Introducción
-Describir los propósitos y limitaciones de la evaluación interna realizada al programa social en cuestión.
-Informar si se han realizado las evaluaciones internas de años anteriores al programa social (de 2010 a 2014), incluyendo la referencia de publicación en la Gaceta Oficial del Distrito Federal (número y fecha de publicación)
El tema a desarrollar a continuación corresponde al primer apartado solicitado en la Evaluación Interna 2015:
¿Qué es la Evaluación?
evalua.df.gob.mx
Una evaluación de programas sociales es el conjunto ordenado y sistemático de procedimientos que permiten establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él que apunten a su mejoramiento.
(Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Fernández-Ballesteros 1996)
¿Qué es la Evaluación?
Juicios de valor
evalua.df.gob.mx
•La medida en la cual una política o programa, y su lógica de intervención responden a las necesidades de la población. Pertinencia
•Se refiere a la medida en que una política o programa llega a su población objetivo. Focalización
•Clarifica a cuántos de sus posibles beneficiarios un programa entrega sus beneficios. Cobertura
• Son valoraciones al respecto de las actividades y procedimientos que se realizan durante la implantación de la política o programa para determinar cómo éste está actuando. Proceso
•Determina si los resultados que se obtienen son adecuados a los medios utilizados. Eficiencia
•Se refiere a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. Eficacia
•Establecen en qué medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto. Efectividad
•Observan el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.
De satisfacción
Ley de Desarrollo Social para el Distrito Federal
Artículo 42. Las evaluaciones constituyen procesos de aplicación de un método sistemático que permite conocer, explicar y valorar al menos, el diseño, la operación, los resultados y el impacto de la política y programas de Desarrollo Social. Las evaluaciones deberán detectar sus aciertos y fortalezas, identificar sus problemas y en su caso, formular las observaciones y recomendaciones para su reorientación y fortalecimiento.
[…] la evaluación interna es la que deben efectuar anualmente y conforme a los lineamientos que emita el Consejo de Evaluación, las Dependencias, Órganos Desconcentrados, Delegaciones y Entidades de la Administración Pública del Distrito Federal que ejecuten programas sociales.
[…]los resultados de las evaluaciones internas y externas serán publicados en la Gaceta Oficial del Distrito Federal, incluidos en el Sistema de Información del Desarrollo Social y entregados a la Comisión de Desarrollo Social de la Asamblea Legislativa del Distrito Federal. En el caso de las evaluaciones que realice el Consejo de Evaluación, sus resultados serán publicados y entregados una vez que tengan carácter definitivo, mientras que, los resultados de las evaluaciones internas serán publicados y entregados en un plazo no mayor a seis meses después de finalizado el ejercicio fiscal.
Artículo 42 C. El Consejo de Evaluación tiene las siguientes atribuciones:
[…] VI. Definir anualmente los lineamientos para la realización de las evaluaciones internas.
evalua.df.gob.mx
¿Qué es la Evaluación? Marco Normativo
Reglamento de la Ley de Desarrollo Social para el Distrito Federal
Artículo 64. La evaluación del Programa y los programas consistirá en una valoración cuantitativa y cualitativa, que dé cuenta, al menos, del logro de los objetivos y metas esperados, y del impacto alcanzado, en función de las prioridades y objetivos de corto, mediano y largo plazo que en cada caso correspondan.
Además, dicha valoración deberá incluir la aplicación de los criterios, lineamientos y mecanismos para controlar efectivamente que los recursos, apoyos, subsidios y beneficios de carácter material y económico que hubiere otorgado la Administración Pública del Distrito Federal, para la ejecución de los programas de desarrollo social, se ajusten a las previsiones legales correspondientes y no hayan sido utilizados con fines políticos, electorales, de lucro y otros distintos a los establecidos por la normatividad aplicable.
Artículo 65. Con base en los indicadores y metodología de evaluación, establecidos en los programas de desarrollo social, las entidades, dependencias y Órganos desconcentrados de la Administración Pública del Distrito Federal, responsables de su ejecución, deberán llevar a cabo a final de cada año una evaluación interna.
evalua.df.gob.mx
¿Qué es la Evaluación? Marco Normativo
Reglamento de la Ley de Desarrollo Social para el Distrito Federal
Artículo 67. Las evaluaciones internas y externas estarán disponibles en el Sistema, y serán dadas a conocer al Consejo y a la Comisión para su opinión y sugerencias, las que servirán en la elaboración y modificación, en su caso, de los lineamientos y mecanismos de operación de los programas.
Artículo 69. En las evaluaciones internas y externas deberá recogerse ampliamente la opinión de los participantes o beneficiarios.
Estatuto Orgánico del Consejo de Evaluación del Desarrollo Social del Distrito Federal
Artículo 9:
“El Comité tendrá las siguientes atribuciones:
(…)
V. Definir los lineamientos para la realización de las evaluaciones internas.”
evalua.df.gob.mx
¿Qué es la Evaluación? Marco Normativo
La evaluación como un proceso de mejora
Más allá de lo que la reglamentación señala y de las definiciones técnicas con que se cuente, se presentan interrogantes clave al momento de enfrentarse a un proceso de evaluación:
evalua.df.gob.mx
Propósitos de la Evaluación
La búsqueda del desarrollo ha sido un elemento importante en las aspiraciones y acciones que ha atendido la sociedad, debido a que se concibe a éste como el conjunto ideal de características que deben presentar los individuos de una sociedad; bajo las cuales tienen satisfechas sus necesidades. El desarrollo ha sido abordado desde diferentes perspectivas, donde la idea central que ha predominado en la mayoría de los conceptos, lo expresan como un proceso mediante (y durante) el cual mejora la calidad de vida de la sociedad.
En una sociedad que pugna por transparentar el uso de los recursos públicos y ejercer éstos de la manera más eficiente posible la evaluación es necesaria por:
La existencia de recursos limitados.
Se vuelve un mecanismo indispensable de apoyo a la democracia y la rendición de cuentas:
Las acciones de los servidores públicos son sujetas del escrutinio público
La ciudanía requiere conocer si el gasto público llega a la población objetivo
Permite conocer si los programas se instrumentan como se tiene dispuesto por ley
Efectivamente los programas alcanzan sus objetivos
La existencia de información confiable y oportuna proporciona apoyo a las políticas públicas
evalua.df.gob.mx
Propósitos de la Evaluación
Percepción de las Evaluaciones Internas 2014
evalua.df.gob.mx
En la experiencia del Programa Social en cuestión, ¿cuál ha sido la utilidad de realizar las evaluaciones internas con base en los Lineamientos emitidos por Evalúa DF?
0.0% 20.0% 40.0% 60.0% 80.0% 100.0%
Como mecanismo de monitoreo y seguimiento deldesempeño del programa social
Para la corrección o mejoramiento de los diferentes procesosdel programa social
Como instrumento de planeación
Para sustentar los avances del programa en el cumplimientode sus objetivos
Para la mejor toma de decisiones
Para la sistematización y mejor utilización de la informacióndel programa social
Para solicitar presupuesto para el programa social
Sólo como un requisito más por estar obligados a realizarla(no ha tenido utilidad)
94.3%
93.3%
92.4%
91.4%
89.5%
86.7%
61.0%
9.5%
Propósitos de la Evaluación
Ésta es una pregunta clave, pues es el objeto mismo del proceso de evaluación (y parte medular del taller). Además, representa un aspecto que la literatura no suele clarificar pues es diferente evaluar un programa que evaluar una política. Evaluar un programa, además de evaluar procedimientos, productos y resultados, es una forma de conocer si las hipótesis de base del programa, sus conceptos centrales y su particular teoría, funcionan para los problemas que este pretende resolver. (Fernández-Ballesteros, 1996) Además de ello se debe tener claro que en el caso de los programas, dependiendo de sus objetivos y alcances deben considerarse diferentes parámetros. Con ella se establece si el programa evaluado es el responsable de un cambio en el bienestar de la población y, si es así, de que magnitud ha sido y el costo de alcanzarlo. Dependiendo de la “madurez” del programa pueden plantearse diferentes opciones para evaluar un programa social. Además, cada entidad es capaz de definir necesidades específicas que requieren ser valoradas. Bajo tales argumentos existen diferentes tipos de evaluación: apartir del ciclo de vida del proyecto o bien en función de sus alcances.
evalua.df.gob.mx
Propósitos de la Evaluación
Taller de Apoyo para la Elaboración de Evaluaciones Internas 2015
Receso de 10 minutos
evalua.df.gob.mx
La evaluación a lo largo del ciclo del proyecto
Preparación del proyecto
Se busca generar información sobre experiencia en proyectos similares y prácticas óptimas. En esta etapa, un proyecto debe incluir datos de referencia e indicadores de desempeño que son esenciales para el trabajo futuro de monitoreo y evaluación del desempeño de los proyectos (línea base) .
Ejecución del proyecto
En esta etapa el proceso de evaluación adopta la forma de monitoreo continuo. Su propósito es respaldar la mejora continua de la ejecución del proyecto.
Conclusión y/o resultados del proyecto
El proceso de evaluación después de la terminación del proyecto reexamina la identificación y diseño original e indaga sobre su ejecución y desempeño de desarrollo.
evalua.df.gob.mx
Tipos de Evaluación
Clasificación de las Evaluaciones de Acuerdo al Ciclo de Vida
El Banco Interamericano de Desarrollo (BID) considera dos tipos de evaluaciones como principales, la formativa en la etapa de preparación y ejecución del proyecto y la sumativa, que se realiza inmediatamente o un tiempo después de terminado el proyecto.
evalua.df.gob.mx
Ciclo de vida del proyecto
Tipo de evaluación Herramientas formales de
evaluación Productos
resultados del proceso
Preparación
Aprendizaje formativo: "Durante"
Evaluación ExAnte
Marco Lógico
Diseño de proyectos mejorados y "evaluables”
Instrumentos de análisis económico, financiero, ambiental e institucional
Diagnóstico de evaluabilidad
Listado de datos de referencia
Ejecución Evaluaciones
Intra y Pos
Matriz de Marco Lógico. Ejercicios de Proyectos Mejorado
Seguimiento o Monitoreo de la Ejecución Mejor desempeño de
los proyectos Evaluación intermedia de ejecución
Operación Aprendizaje sumativo "Después"
Evaluación Ex-post
Evaluación Post (resultados) Diseño de Proyectos;
(Post Proyecto) Evaluación Ex Post o de impacto Políticas y Estrategias.
Fuente: CEPAL 2005. “Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas”
Tipos de Evaluación Clasificación de las Evaluaciones de Acuerdo al Ciclo de Vida
La evaluación a partir de su alcance
evalua.df.gob.mx
Tipo de Evaluación Objetivo Interrogantes a Responder
Evaluación Diagnóstica
La valoración diagnóstica de una evaluación permite determinar la situación inicial de la problemática social, estableciendo para ello determinados indicadores a de modo de producir una línea de base contra la cual comparar posteriormente los resultados del proyecto. Adicional a la magnitud del problema social, muchas de las veces el diagnóstico inicial requiere establecer las características sociales económicas, políticas y/o culturales de la población en que se ejecutará el proyecto ya que pueden convertirse en elementos decisivos al momento de implantación un acción social.
¿Cuál es la naturaleza y magnitud del
problema?
¿Cuáles son las características de la población
con el problema?
¿Cuáles son las necesidades de la población
¿Qué servicios se necesitan?
Tipos de Evaluación
La evaluación a partir de su alcance
evalua.df.gob.mx
Tipo de
Evaluación Objetivo
Interrogantes a Responder
Evaluación de
Diseño
Retoma el diagnóstico de la problemática social detectada, la población potencial y objetivo que la padece. Pero además, explora los mecanismos a través de los cuales el programa pretende contribuir a la solución del mismo. Es decir, la lógica y consistencia entre las acciones ejecutadas y los objetivos a alcanzar. Establece:
• La problemática social y su magnitud
• Población potencial y objetivo,
• Evidencia de acciones similares como mecanismo de respuesta a problemáticas equiparables
• Establecimiento de la lógica interna del programa
• Establecimiento de las bases para la construcción de una matriz de indicadores
• Alineación programática del proyecto con los ejes de la política social en el Estado
¿Qué tipo de beneficiarios se van a atender?
¿Cuáles son los mejores esquemas de
distribución de los beneficios?
¿Cómo se identificará, incorporará y
mantendrá a los beneficiarios?
¿Cómo deberá organizarse el programa?
Tipos de Evaluación
La evaluación a partir de su alcance
evalua.df.gob.mx
Tipo de Evaluación Objetivo Interrogantes a Responder
Evaluación de
Operación/Resultados
Se analiza el buen desempeño de las
acciones operativas y de gestión del
Programa y la consecución de los objetivos
establecidos por el programa.
Busca establecer cómo los procesos del
programa conducen al logro de las metas.
Una vertiente de la evaluación de resultados
es la evaluación de satisfacción, la cual
analiza la percepción subjetiva (aunque no
por ello menos valiosa) de la población
atendida, beneficiaria de los bienes y
servicios que entrega el proyecto.
¿Se cumplen los objetivos administrativos y
de servicios?
¿Existe falta de cobertura?
¿Los beneficiarios están satisfechos con el
servicio o los beneficios?
Evaluación de Eficiencia
y Costos
Establecer la relación de los logros o
alcances a los que ha llegado el programa y
costos asociados para para ello.
¿Los recursos son utilizados eficientemente?
¿Es el costo razonable en comparación a los
beneficios?
¿Existen posibles alternativas para lograr
beneficios similares a uncosto menor?
Tipos de Evaluación
evalua.df.gob.mx
Tipo de Evaluación Objetivo Interrogantes a Responder
Evaluación de Impacto
La mayor parte de las evaluaciones de impacto apuntan a establecer causalidades mediante métodos experimentales o cuasi-experimentales. Su lógica se basa en determinar qué hubiera ocurrido si el programa no se hubiera implementado. Por lo tato se requiere del establecimiento de “grupos de tratamiento y control” (contrafactulaes) Para este tipo de evaluaciones se requiere controlar rigurosamente los posibles efectos no atribuibles al programa.
¿Los servicios otorgados tienen efectos
positivos en los beneficiarios del programa?
¿Existen efectos adversos de los servicios
para los beneficiarios?
¿Existe efectos sobre el problema
diagnosticado?
Fuente: “Evaluación de Programas Sociales”. Pérez Yarahuán Gabriela (2010).
Tipos de Evaluación
La evaluación a partir de su alcance
evalua.df.gob.mx
Tipos de Evaluación
La evaluación a partir de su alcance
Aunque no necesariamente los diferentes tipos de evaluación se desarrollan en forma lineal, es importante considerar ésta como un proceso continuo y de mejora suponiendo ir avanzado en forma progresiva en cada una de las etapas de evaluación, siendo el análisis previo el insumo para el desarrollo de la siguiente.
evalua.df.gob.mx
Diagnóstico del problema o necesidad
Diseño
Operación-Procesos-Implementación
Eficiencia-Costos
Impacto
Tipos de Evaluación
Percepción de las Evaluaciones Internas 2013-2014
evalua.df.gob.mx
0%
20%
40%
60%
80%
Área Central Delegaciones
34% 27%
64%
50%
2013 2014
Encuestas Contestadas 2013: 84 (47 del Área Central y 37 de Delegaciones) 2014: 109 (55 del Área Central y 54 de Delegaciones)
Nota. Total de Programas Sociales 2012: 194 2013:179
¿El área o alguna persona de sus integrantes se encarga exclusivamente de las tareas de monitoreo y evaluación
del Programa Social?
¿El área que se encargó de la evaluación interna, participa en la operación del programa social evaluado?
0.0%
20.0%
40.0%
60.0%
80.0%
Área Central Delegaciones
27.8%
69.6%
23.6%
79.6%
2013 2014
Limitaciones de la Evaluación
evalua.df.gob.mx
Limitaciones de la Evaluación
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
La insuficienciade personal
La falta deinformación
suficiente pararealizar el
análisis
El corto tiempopara realizarla
La falta depersonal
calificado enmonitoreo yevaluación
La falta desistematización
de lainformación
La dificultad ofalta de claridadde lo solicitado
en losLineamientos
62.9%
54.3% 52.4% 51.4% 50.5%
42.9%
¿Cuáles son las principales dificultades que encontró al realizar la evaluación interna 2014? (puede seleccionar más de una opción)
1. Formación de equipos. 2. Selección de un Programa Social a evaluar. 3. Redacción de los Propósitos y las Limitaciones de la Evaluación Interna 2015 (10 minutos).
4. Lectura en voz alta y retroalimentación (10 minutos).
evalua.df.gob.mx
Actividad 1: Propósitos y Limitaciones de la
Evaluación Interna 2015
Evaluación Integral 2015
¿Qué se evaluará?
¿Para qué se Evaluará?
Limitaciones de la Evaluación
Diseño
Cobertura y Operación
Resultados y Satisfacción
Evaluación Interna 2015
Evaluación integral del programa social, con énfasis en la construcción y seguimiento de un sistema de indicadores a través de la Metodología de Marco Lógico (ROP, 2015).
evalua.df.gob.mx
Análisis Cuantitativo
Análisis Cualitativo
FODA Conclusiones y Recomendaciones
RETROALIMENTACIÓN
COBERTURA Cobertura y localización Cobertura acumulada del programa durante
el período de operación de la presente administración
OPERACIÓN Evaluación de
procesos Cumplimiento de metas física,
financieras y de resultados Análisis de costos
RESULTADOS Beneficios económicos y sociales
PERCEPCIÓN Y SATISFACCIÓN Percepción de beneficiarios o derechohabientes y otros actores clave
DISEÑO Diagnóstico de la situación inicial Validez de los Indicadores
Actividad 1: Propósitos y Limitaciones de la
Evaluación Interna 2015
Metodología de la Evaluación
Diseño de la Evaluación:
Para cualquier evaluación se consideran los Términos de Referencia como la base para el diseño de la evaluación. En este caso vamos a considerar de acuerdo a la Ley de Desarrollo Social y a las atribuciones del Evalúa DF, los Lineamientos para la Evaluación Interna 2015 de los Programas Sociales del Distrito Federal Operados en 2014. (Gaceta Oficial del Distrito Federal (2015). Décima Octava Época, Nº 48 publicada el 11 de marzo de 2015. Páginas 53 a 72).
Con esta base se debe realizar el diseño de la evaluación, el cual para el apartado de la Metodología de la Evaluación Interna 2015, contempla 4 subapartados:
evalua.df.gob.mx
II. Metodología de la Evaluación Interna 2015
II.1 Descripción de la evaluación.
II.2 Área Encargada de la Evaluación
II.3 Metodología de la Evaluación
II.4 Fuentes de Información
Metodología de la Evaluación
II.1 Descripción del Objeto de la Evaluación
• Breve descripción de la puesta en marcha del programa social (año de creación, modificaciones más relevantes que ha sufrido desde entonces)
• Indicar el objetivo general y los objetivos específicos del programa social. (De acuerdo a las Reglas de Operación 2014).
• Describir las caractaerísticas generales del Programa Social (Área encargada de la operación, los bienes y/o servicios que otorga, o componentes, con qué periodicidad y en qué cantidad, de acuerdo a lo contenido en las Reglas de Operación 2014).
II.2 Área Encargada de la Evaluación
• Indicar el Área que realiza la evaluación interna del Programa Social y las funciones.
• Presentar mediante un cuadro cada uno de los perfiles de los integrantes del área que realiza la evaluación y sus funciones.
evalua.df.gob.mx
Puesto Género Edad Formación
profesional Funciones
Experiencia en
M&E Exclusivo M&E
Metodología de la Evaluación
II.3. Metodología de la Evaluación
• Explicar la metodología utilizada para la evaluación (cuantitativa y/o cualitativa).
• En congruencia con el Presupuesto Basado en Resultados, metodología empleada a nivel
nacional y adoptada por el Gobierno del Distrito Federal, se debe indicar que para la construcción de indicadores se seguirá la Metodología del Marco Lógico, la cual como instrumento de evaluación puede utilizarse durante el desarrollo de la planificación del programa, para llevar a cabo una auto-evaluación e igualmente, sirve de punto de referencia durante toda la vida del programa, fundamentalmente para hacerle un monitoreo (método de control del progreso físico en la realización y costo de la obra) y evaluaciones (globales y puntuales) de ejecución y de finalización del programa. (Matos, Ruth, 2005. Una propuesta para la evaluación de programas sociales: Lineamientos Generales. Gaceta Laboral, Maracaibo, v. 11, n. 1,abr. 2005)
• Indicar la ruta crítica de los procesos de evaluación (indicar el tiempo empleado para realizar la evaluación interna en sus diferentes etapas).
evalua.df.gob.mx
Dada la amplitud de los elementos que se pueden analizar en torno a un proyecto de análisis evaluativo no existe una metodología o instrumentos únicos para llevar a cabo este proceso.
evalua.df.gob.mx
Modelos y técnicas de evaluación
Modelos Técnicas
• Análisis de contrafactuales • Revisión de resultados y efectos • Evaluación de procesos • Marco lógico • Análisis costo-beneficio • Satisfacción de beneficiarios • Modelos participativos e integrales • Análisis de involucrados • Grupos focales • Matriz de Fortalezas, Oportunidades,
Debilidades y Amenazas • Análisis de caso
• Técnicas cuantitativas: modelos econométricos, medidas de dispersión, indicadores e índices…
• Técnicas cualitativas: entrevistas, encuestas, grupos focales…
• Técnicas de triangulación: información por terceros (entrevistas semiestructuradas)
Metodología de la Evaluación
Metodología de la Evaluación
Diseño Metodológico:
Básicamente consiste en hacer la selección del procedimiento metodológico que se utilizará para evaluar el programa social.
Este diseño debe considerar desde el principio:
Las necesidades de información
Los criterios de evaluación
Indicadores
Con el propósito de conocer cómo ha de recopilarse y analizarse la información requerida. Parte de estos aspectos se abordarán más adelante, sin embargo no deben dejarse de lado.
Para realizar el diseño de la evaluación no se trata únicamente de seleccionar una serie de técnicas para recoger información y sus diferentes tipos de análisis, sino primordialmente definir el Enfoque Metodológico de la Evaluación.
evalua.df.gob.mx
Metodología de la Evaluación
Principales enfoques metodológicos:
Aunque existen diversas consideraciones para la clasificación de los enfoques metodológicos para la evaluación de los programas sociales, destacamos el Enfoque Cuantitativo, Enfoque Cualitativo y el Enfoque Participativo.
evalua.df.gob.mx
Enfoques
Cuantitativo
Cualitativo
Participativo
Metodología de la Evaluación
Características de los Principales Enfoques Metodológicos para la Evaluación de Programas Sociales :
evalua.df.gob.mx
Evaluación Cuantitativa Evaluación Cualitativa Enfoque Participativo
Perspectiva desde fuera: punto de vista del evaluador.
Perspectiva desde dentro: punto de vista de los actores.
Perspectiva construida por el equipo evaluador de forma conjunta con los(as)
principales implicados(as).
Lenguaje numérico. Lenguaje verbal.
Lenguaje verbal y numérico. No es tan importante el tipo de lenguaje sino cómo se construye éste. El lenguaje ha de ser fruto de una fuerte implicación de la población
involucrada.
Énfasis en los aspectos “objetivos”, observables y
cuantificables.
Énfasis en los aspectos subjetivos: captación y comprensión de
actitudes, conductas, valores, motivaciones internas.
Énfasis en los aspectos subjetivos, pero no sólo se captan, sino que se van configurando
entre todo el grupo.
Análisis estadístico. Análisis de contenido por parte del
equipo evaluador.
Análisis de contenido por parte tanto del equipo evaluador como de los(as)
implicados (as).
Resultados generalizables. Resultados limitados en su
generalización. Resultados concretos, aplicables a la
realidad donde se han construido.
Metodología de la Evaluación
Perspectiva actual:
Hay una evolución en los diseños metodológicos para la evaluación de programas sociales hacia un concepto más amplio, de tal forma que los aspectos cualitativos cobran cada vez mayor relevancia y las técnicas cuantitativas tienden a integrarse como un elemento más del proceso evaluador.
Se recomienda, combinar la utilización de métodos cuantitativos con los cualitativos, ya que estos últimos aportan dinamismo y variedad de perspectivas que los primeros no tienen.
Para el diseño metodológico no existe un procedimiento general, hay algunos aspectos a considerar para cada programa. Para tomar una decisión es necesario valorar entre otros aspectos los siguientes:
evalua.df.gob.mx
Aplicabilidad del instrumento a las características del programa social
Capacidad que se tiene para llevar a cabo las técnicas seleccionadas
Fiabilidad Validez
Calidad intrínseca
Disponibilidad Costos
Relevancia
Metodología de la Evaluación
Enfoques metodológicos y sus ventajas:
evalua.df.gob.mx
Una ventaja de la evaluación con enfoque cuantitativo es que
permite medir cuestiones en un grupo de variables y, además
posibilita la agregación y tratamiento estadístico.
La evaluación con enfoque cualitativo tiene la ventaja de producir una mayor riqueza de detalles sobre los grupos o
variables, aunque sea de difícil agregación y estandarización.
Metodología de la Evaluación
La Comisión de la Unión Europea para la Evaluación combina el enfoque de “Arriba abajo”, que permite evaluar el impacto total y efecto del programa, con estudios “de abajo a arriba”, mediante los que es posible analizar las relaciones de causalidad y determinar el impacto de cada acción específica a través de la información recogida de las personas participantes y las personas beneficiarias del programa.
Comparativo de las características de enfoques metodológicos en evaluación.
evalua.df.gob.mx
Metodología de la Evaluación
Enfoque Inductivo y Enfoque deductivo:
evalua.df.gob.mx
Enfoque Inductivo Enfoque hipotético-deductivo
Se basa principalmente, en métodos cualitativos de análisis orientados a explorar y descubrir la lógica de las relaciones causales, partiendo de lo concreto para derivar en comportamientos generales.
Se asocia normalmente con la evaluación libre de objetivos, puesto que no parte de hipótesis de causalidad preconcebidas.
Se identifica con la evaluación centrada en objetivos
Emplea técnicas cuantitativas (método experimental fundamentalmente) para la determinación de las principales variables
Establece hipótesis específicas de comportamiento antes de iniciar la recogida de datos.
Metodología de la Evaluación
Consideraciones :
• Al igual que con los modelos Cuantitativo y Cualitativo, en la actualidad se suele combinar ambas perspectivas. A través de la inducción se identifican las cuestiones y variables a estudiar, y luego se contrastan con los resultados de forma deductiva.
• Una consideración importante es que no hay una metodología de evaluación única ya que los programas no son iguales. El alcance de la evaluación de impactos de un programa social puede ir desde la descripción de los impactos, hasta la búsqueda empírica de una causalidad entre acciones e impactos.
• Otra consideración es que, la calidad de la evaluación no depende tanto del uso de un método determinado, como de la utilidad de la información generada para cada caso en particular.
evalua.df.gob.mx
Metodología de la Evaluación
Técnicas y Herramientas para la Evaluación:
Una vez desarrollados los criterios de evaluación y las diferentes preguntas o elementos de cada uno de ellos se procede a la selección de las técnicas de recopilación de información. En la tabla siguiente se presentan de manera resumida algunas de las más utilizadas.
evalua.df.gob.mx
Técnicas Cuantitativas Técnicas Cualitativas Técnicas Participativas
• Encuesta • Medición Directa • Censo • Análisis económico
financiero
• Observación estructurada • Entrevista en profundidad
o semi estructurada • Grupos de discusión • Análisis documental • Estudios de caso
• Análisis de acontecimientos críticos
• Ranking de riqueza o bienestar
• Matrices de clasificación y puntuación
• Diagramas de Venn
Metodología de la Evaluación
Triangulación metodológica:
La triangulación consiste en la utilización de distintos tipos de técnicas para dar cuenta de una realidad determinada. A través de la triangulación es posible contrastar la información, asegurando la fiabilidad de la misma. De la misma forma es importante triangular en la elección de las fuentes de información, buscando fuentes diversas, incluso contradictorias, para obtener una visión más objetiva de la realidad social analizada.
evalua.df.gob.mx
Metodología de la Evaluación
Ventajas de usar la triangulación de técnicas cuantitativas, cualitativas y participativas:
•Se pueden incorporar controles de coherencia con la ayuda de procedimientos de triangulación que permiten realizar dos o más estimaciones independientes de las variables clave (ingreso, opiniones sobre los programas, motivos para hacer uso de los beneficios del programa y efecto específico de un programa).
•Se pueden obtener diferentes perspectivas. Por ejemplo, aunque el equipo evaluador considere el ingreso o el consumo como indicadores clave del bienestar de un hogar, los estudios de caso podrían revelar que las mujeres están más preocupadas por la vulnerabilidad(definida como la falta de acceso a sistemas de apoyo sociales tiempos de crisis), impotencia o exposición a la violencia.
•Los análisis se pueden conducir en diferentes niveles. Las encuestas pueden proporcionar buenas estimaciones del bienestar individual, familiar y a nivel de la comunidad, pero son mucho menos eficaces para analizar los procesos sociales (conflicto social, motivos para usar o no usar los servicios, entre otras informaciones) o para el análisis institucional (el eficaz funcionamiento de los servicios de salud, educación, créditos y otros servicios, y cómo son percibidos por la comunidad).
•También se pueden proporcionar oportunidades de retroalimentación para interpretar de forma más ajustada los resultados. Los informes de encuestas a menudo incluyen referencias a aparentes incoherencias en los resultados o a las diferencias interesantes entre las comunidades o grupos que no se pueden explicar con los datos. La mayor flexibilidad de la investigación cualitativa permite regresar al terreno para reunir datos adicionales.
evalua.df.gob.mx
Actividad 2: Metodología de la Evaluación
1. Se entrega a cada participante una tarjeta que contiene los nombres de las
principales técnicas utilizadas en la evaluación de programas sociales; en otras
tarjetas se encuentra la descripción de las diversas técnicas; de la misma
forma están los principales enfoques a los cuales pertenecen las técnicas.
2. Se solicita que integren un mapa conceptual con la información de las diversas
tarjetas entregadas.
3. Se verifica y comenta entre todos los participantes la información contenida
en el mapa conceptual.
evalua.df.gob.mx