Evaluación de Impactos - CAMARA DE DIPUTADOS
Transcript of Evaluación de Impactos - CAMARA DE DIPUTADOS
![Page 1: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/1.jpg)
Evaluación de Impactos
Salvador Schiavon: Presidente
![Page 2: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/2.jpg)
Capítulos 1. El Entorno Complejo a la Evaluación
2. La Dificultad de Evaluación de Impacto
3. Análisis y ejemplos de evaluaciones
4. La Determinante del Grado de Dificultad de la Evaluación de Impacto
5. Procedimiento: Evaluación de Impacto
![Page 3: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/3.jpg)
El cerebro está diseñado para actuar,
no para pensar.
![Page 4: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/4.jpg)
Un análisis correcto requiere profundizar en: “lo que se ve, en lo que no se ve ”
![Page 5: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/5.jpg)
Además de “lo que se cree ver y lo que no se quiere ver ”
![Page 6: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/6.jpg)
Un mundo saturado de “Información”
![Page 7: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/7.jpg)
Un mundo complejo, una sociedad feminizada
![Page 8: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/8.jpg)
Capítulo 2
•La Evaluación de Impactos y Tipos de Indicadores
![Page 9: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/9.jpg)
Donde la disponibilidad de recursos es menor:
Se destina menos tiempo a analizar los objetivos de su uso y sobre todo, estudiar las alternativas de su gasto
La inversión de tiempo de los ejecutivos (Símon, 1977)
![Page 10: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/10.jpg)
Todos lo queremos, así queremos gobierno
![Page 11: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/11.jpg)
Pero el problema es mantenerlo
![Page 12: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/12.jpg)
“De buenas intenciones están empedrados los caminos al infierno”
Es necesario evaluar impactos, no resultados
![Page 13: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/13.jpg)
Evaluación de Impacto
• Determinar si un programa produjo los efectos deseados
• Cuantificar estos efectos
Y lo más importante:
Valorar si estos resultados son, o no son, atribuibles al programa
![Page 14: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/14.jpg)
¿Fue el programa la causa de los resultados?
Definimos “impacto” como el cambio causado por el programa
Los resultados no son impactos
¿Resultados o Impactos?
![Page 15: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/15.jpg)
Como dijo Einstein “No todo lo que cuenta puede ser contado”
![Page 16: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/16.jpg)
Tipos de Evaluación
Punto de medición
Tipo de medición
Lo que se está
midiendo Indicadores
Productos Monitoreo Esfuerzo Implementación de actividades
Resultados Evaluación Efectividad Uso de productos y producción sostenida de beneficios
Impacto Evaluación de impacto
Cambio Diferencia respecto a la situación-problema original
Fuente: Elaboración propia tomando como eje: John Hailey, Rick James y Rebecca Wrigley, Aceptar el Reto: Evaluación de los Impactos del Desarrollo de Capacidad Organizacional, INTRAC
![Page 17: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/17.jpg)
Indicadores de precisión
• Son aquellos donde se puede valorar alguna
circunstancia, suceso o reporte de forma precisa y sin lugar a dudas.
• Por ejemplo: 43,000 cursos de capacitación fueron impartidos.
![Page 18: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/18.jpg)
Indicadores de Significancia
• Son aquellos que no pueden soportar mucha precisión en su medición, suelen ser más cualitativos que cuantitativos.
• Por ejemplo la afirmación de que el 30% de los que asistieron a los cursos los consideraron aburridos y sin contenido.
![Page 19: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/19.jpg)
Tipos de “Cliente” para indicadores
• Generalmente a los que aportan los recursos suelen interesarles más los indicadores de precisión; ellos quieren sólo ver resultados de la operación del programa y los efectos en la población beneficiaria.
• Mientras que los indicadores de significancia son de interés para aquellos tomadores de decisiones que tienen interés en mejorar la operación del programa.
![Page 20: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/20.jpg)
Capítulo 3 3.1 Análisis de Evaluaciones de
PROÁRBOL 3.2. Evaluación experimental de una
intervención sobre el empleo 3.3. Evaluación de impacto de la
educación
![Page 21: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/21.jpg)
El tema de evaluación de impacto se menciona mucho, pero parece ser
que nunca se ejecuta
![Page 22: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/22.jpg)
Se realizó un ejercicio de revisión de
evaluaciones de los programas de CONAFOR, relacionando lo que en
ellas se denomina impacto
![Page 23: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/23.jpg)
Se analizaron 19 evaluaciones correspondientes al periodo 2007-2009
Se disgregaron las conclusiones en 218 bulles para análisis
Se encontraron 21 menciones de impacto
![Page 24: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/24.jpg)
Caracterización
de conclusiones
relacionadas a la
evaluación de
impactos
Tipo de caracterización Cantidad
a) Sólo se menciona la palabra impacto 12
b) Se acerca a una evaluación de impactos
1
c) Se menciona la necesidad de evaluación de impactos
4
d) Se menciona que no hay evaluaciones de impactos
4
Total 21
Fuente: Elaboración propia en base a percepción e interpretación cualitativa de las conclusiones de las evaluaciones
![Page 25: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/25.jpg)
EVALUACIÓN EXTERNA DEL PROGRAMA PARA EL DESARROLLO FORESTAL (PRODEFOR) EJERCICIO FISCAL 2007
General
• Evaluar la gestión y los impactos de los Apoyos para el Desarrollo Forestal de la Comisión Nacional Forestal desde el año 2003 al 2007.
Particulares 1. Verificar el cumplimiento en el apego a las reglas de operación
2. Analizar el cubrimiento de metas anuales y de largo plazo de los Apoyos para el Desarrollo Forestal.
3. Evaluar los impactos sociales, económicos, ambientales y en la producción forestal, derivados de los apoyos otorgados por el ProÁrbol en su modalidad de los Apoyos para el Desarrollo Forestal.
4. Obtener un diagnóstico de gestión a partir de la visión de los diferentes actores que participan en los Apoyos para el Desarrollo Forestal.
5. Estimar los impactos de los Apoyos en la Producción y Productividad Forestal en el país para los ejercicios fiscales comprendidos en
el período 2003-2007.
P. 9
![Page 26: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/26.jpg)
EVALUACIÓN EXTERNA DEL PROGRAMA PARA EL DESARROLLO FORESTAL (PRODEFOR) EJERCICIO FISCAL 2007
“Como se mencionó anteriormente, 62% de los no beneficiarios han solicitado apoyos en años anteriores, específicamente entre 2003 y 2006, muchos de los cuales han sido otorgados en tiempo y forma.
APOYOS SOLICITADOS 2003-2006
![Page 27: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/27.jpg)
Dayton, Ohio
• Diseños de evaluación simples pueden
producir resultados poderosos
Programa pro-empleo a gente pobre:
Proveer a los empleadores con subsidios si contratan a gente pobre
![Page 28: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/28.jpg)
Tratamiento 1: Se le dice al empleador que si contrata al beneficiario consigue un crédito fiscal de $500.00 US
Tratamiento 2: Se le dice al empleador que si contrata al beneficiario consigue un crédito fiscal de $500.00 US
Grupo de control: Sólo salen a buscar empleo
• Todos los participantes en la evaluación eran desempleados pobres, y se distribuyeron aleatoriamente
![Page 29: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/29.jpg)
Tasas de empleo después de dos meses:
Control 20%
Tratamiento 1 14%
Tratamiento 2 13%
![Page 30: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/30.jpg)
Podemos exagerar el impacto de la escolaridad en los ingresos
Resultado: Un año adicional de escolaridad en los
E.E.U.U. incrementa los ingresos alrededor de un 5 a 10 por ciento al año.
• Hecho 1: Las personas con un nivel de IQ más alto tienen ingresos mayores.
• Hecho 2: Las personas con un nivel de IQ más alto estudian por más tiempo.
![Page 31: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/31.jpg)
Capítulo 4
4. La Determinante del
Grado de Dificultad de la Evaluación de Impactos
![Page 32: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/32.jpg)
El grado de dificultad en la evaluación de impactos
El objetivo de un programa determina generalmente
el grado de dificultad y
el costo de la evaluación
de impactos
![Page 33: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/33.jpg)
“Poco importa la perfección de los medios
si existe confusión en los objetivos” Albert Einstein
La gran barrera en la evaluación de impactos la constituye generalmente los
propios objetivos del programa
![Page 34: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/34.jpg)
El objetivo es la clave
• Si el objetivo es incrementar el ingreso neto, entonces se debe medir el impacto del programa en el ingreso neto
• Si el objetivo es mejorar la calidad de vida, igualmente se debe medir el impacto del programa en la calidad de vida.
![Page 35: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/35.jpg)
El inicio del problema
• Medir el Ingreso Neto es difícil, muy difícil, pero medir la Calidad de Vida, sin duda lo es mucho más.
Especialmente en procesos intrínsecamente complejos, intangibles y con frecuencia poco definidos.
Como por ejemplo: desarrollo de capacidades
![Page 36: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/36.jpg)
Objetivos vs realizable
Se observa que el proceso de determinar objetivos tiende a buscar más el que suene interesante que a la probabilidad de una correlación fuerte y sólida entre la acción desarrollada y su efecto plausible.
![Page 37: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/37.jpg)
5 Procedimiento en
Evaluación de impactos
![Page 38: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/38.jpg)
Inicio de una evaluación de Impactos
Los participantes y los no-participantes
son distintos.
El Problema de Selección
![Page 39: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/39.jpg)
Los participantes son una muestra no-aleatoria de la población elegible
Son diferentes de los no participantes
Igualmente difieren de ellos mismos antes del programa
Participantes y no participantes Una realidad compleja
![Page 40: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/40.jpg)
La selección ya es Sesgo
Las decisiones que hacen los individuos aún sin respuesta a incentivos socio-económicos; ya es sesgo
La participación en una situación en un problema
no son eventos aleatorios
Por ello no basta con selección de personas con o sin problema no basta
![Page 41: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/41.jpg)
Principio de Evaluación de Impactos
Construir modelos:
De la decisión para solicitar el ingreso a un programa. De la decisión para aceptar a un solicitante
De decisión para participar y desertar o no desertar
Necesitamos comprender por qué las personas
participan o no en los programas
![Page 42: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/42.jpg)
Para Evaluar impactos
Se debe resolver el problema de evaluación: Información
Se debe construir un resultado “contrafactual”
Usando los datos pre-programa del participante.
Usando datos de los no participantes.
Una evaluación de impactos inicia por resolver el Problema de Selección de manera acertada
![Page 43: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/43.jpg)
Las estrategias de evaluación de impactos
Participantes
No-participantes
A B
C D
Pre/post = B - A
Cruzadas = B - D
Combinación = (B - D) - (A - C) o (B - A) - (D - C)
Periodo del Programa
![Page 44: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/44.jpg)
Evaluación de Impactos por
experimento
![Page 45: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/45.jpg)
Los experimentos sociales pueden resolver el problema de la evaluación.
Los resultados son creíbles y fácilmente comprensibles.
Pueden ayudarnos a convertirnos en mejores evaluadores de programas.
![Page 46: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/46.jpg)
Diseño del experimento Visualizar a los posibles participantes al programa.
Utilizar la asignación aleatoria para crear un grupo
de control de los solicitantes elegibles que sean
voluntarios para participar
Evitar que los miembros del grupo de control reciban
los servicios del programa
Comparar los resultados post-programa del grupo
control y el grupo de tratamiento
![Page 47: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/47.jpg)
Asignar Aleatoriamente
• Grupo de tratamiento
• Grupo de control
El punto clave:
La regla de asignación no está correlacionada con algún atributo del individuo.
![Page 48: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/48.jpg)
Los resultados promedio de los controles son buenas aproximaciones;
De lo que los resultados promedio de los tratamientos hubieran sido;
Sin exposición al programa.
![Page 49: Evaluación de Impactos - CAMARA DE DIPUTADOS](https://reader036.fdocument.pub/reader036/viewer/2022081701/62e395f4f91c5a69d62c5ce9/html5/thumbnails/49.jpg)
Colofón
Isaiah Berlín menciona que hay dos tipos de experto:
• Experto Zorra, que sabe de muchos temas y nada bien de alguno en específico
• Experto Erizo, que sabe solo una cosa, pero lo sabe muy bien.
Para una evaluación de impacto, como para cualquier problema complejo donde los modelos estándar de investigación son insuficientes; se requiere más de expertos zorra, que de expertos erizo.