Evaluando Programas de Intervención en Actividad Física

Andrea Torres, MPHCentro Colaborador CDC/OMS para

Actividad Fisica y SaludDivisión de Actividad Física y Salud

CDC

Visión General

• Evaluación: Definición y Principios

• Manual de evaluación de Actividad física – 6 Pasos

• Elementos de evaluación en Latino America

Qué es Evaluación?

El examen y la valoración sistemática de las características de un programa y sus efectos. La evaluación es diseñada para generar información

que pueda ser utilizada por quienes tengan interés en la mejoría o efectividad de un programa o

iniciativa.

Para qué Evaluar?

• Para evaluar los efectos y costos de un programa.

• Por responsabilidad• Para progresar • Para identificar las mejores prácticas• Como herramienta de planeación• Para investigación

• Aprender a definir terminos basicos de evaluacion.• Aprender a aplicar estandares de evaluacion.• Aprender a trabajar con los interesados.• Revisar enfoques de evaluacion.• Revisar modelos de evalucion y utilizandolos para enfocar la

evaluacion.• Saber si el programa esta listo para ser evaluado• Disenar metodos de recoleccion de datos• Recolectar datos• Analizar datos• Escribir reportes de evaluacion.

Conocimiento y herramientas escenciales para la evaluacion de

programas

La evaluación debe ser planeada con base en:

El programa Grupos objetivo y necesidades Objetivos reales y alcanzables El programa esta listo para ser evaluado?

Proceso de implementacion de una la evaluación

• Identificar necesidades

Establecer metas y objetivos medibles

Evaluar progresos hacia los objetivos

Terminología de Evaluación

•Eficacia: Probar las intervenciones bajo condiciones ideales con un diseño óptimo del estudio.

Efectividad: Probar las intervenciones basadas en campo no el trabajo de intervención como proyecto, para una población definida en el mundo real.

Eficiencia:Resultados en comparación con los esfuerzos para obtenerlos – frecuencia de costos o costo –efectividad.

Evaluación

ProblemaGrupos afectadosBarrerasAccesoOportunidades

Presupuesto.PersonalEquipoInfraestructura

Actividades implementa-das

CubrimientoCalidad

Cambios en

ConocimientoActitudesHabilidadesAuto-estima

Comporta-miento

Indicadores de Salud

Cambios en

Resultados atribuibles a la intervencion

Que voy a medir?

Terminologia?EVALUACIONFORMATIVA

EVALUACION DE PROCESO EVALUACION SUMATIVA /RESULTADOS/IMPACTO

MONITOREODE

MONITOREO DE MONITOREO DE RESULTADOS EVALUANDO

RECURSOS PRODUCTOS CORTO PLAZO

MEDIANO PLAZO

LARGO PLAZO

IMPACTO

EVALUACION DE PROGRAMAS

Source: Janet T. Bertrand, 2005

Evaluación Formativa

• Que tiene mayor probabilidad de funcionar?

Mejores prácticas en promoción de salud

Idea o concepto de desarrollo

Desarrollando y haciendo pilotos de materiales.

Grupos focales

Evaluación Formativa

• Grupos focales y entrevistas con compañeros sobre sus necesidades

• Revisando las mejores prácticas de otros programas como Agita Sao Paulo

• Prueba piloto e una compañía.

Evaluación de Proceso• El programa se implementó como se proyectó?• Calidad de los componentes del programa• Tasa de asistencia • Concientización de la audiencia sobre el mensaje• Apropiación del mensaje aprendido• Satisfacción de los participantes

Evaluación de Proceso

• Compañías involucradas

• Talleres realizados

• Promotores entrenados

• Compañías participantes en eventos comunitarios

• Efectos a corto y largo plazo del programa• Estado o la condicion que el programa quiere

cambiar en la poblacion objetivo. • Efectos en la comunidad

Evaluación de Impacto y Resultados

Evaluación de Impacto y Resultados

• Nivel de Actividad Física en la comunidad.

• Disminucion de factores de riesgo (sobrepeso)

• Tasas de enfermedad y de costos.

Evaluación de Impacto y Resultados

• Nivel del resultado esperado: Estado de cierta condicion en un momento especifico: nivel de actividad fisica.

• Cambios en el resultado esperado: Diferencia del nivel de actividad fisica en diferentes momentos.

• Efecto del programa: proporcion de el cambio atribuible unicamente al programa

Evaluación de Impacto y Resultados

Identificar un resultado o meta relevante para su programa. Evidencia previa: modelos y teorias Interesados: cada programa tiene su

racional.

Evaluación de Impacto y Resultados

Modelo de creencia en salud

Modelo ecologico

Aumento de percepcion de “amenaza” de no adoptar un comportamiento y del beneficion de adoptarlo

Intervenciones en multiples niveles: individual, familiar, ambiente, lugar de trabajo, politicas

Cambio en el comportamiento

Evaluación de Impacto y Resultados

Programa de reduccion de comportamientos delincuanciales en jovenes

Programa Resultados a corto plazo Resultados a largo plazo

Adultos mentores de jovenes en riesgo

Jovenes se exponen a los valores y comportamientos del mentor

Jovenes reducen su expocision a pares que generen influencias negativas

Jovenes usan su tiempo libre positivamente

Jovenes disminuyen sus comportamientos de delincuencia

Multiples dimensiones puden ser medidas para

este resultado

Mecanismo de Evaluación de Programas

Manual de Evaluación de Actividad Física

Manual de Evaluación de Actividad Física

1. Comprometer a los interesadosIncluir personas interesadas en el programa: ejecutantes, socios, participantes, posibles oponentes y tomadores de decisión.

2. Describir el Programa ClaramenteHacia donde se dirige el problema, descripción de las fases de planeación, implementación y mantenimiento del programa, y finalmente, definir y comunicar como trabajan unidas todas las fases (Ej. el “modelo lógico").

Descripcion del programa

• Step 1. Describir el programa– Proposito– Teoria/racional– Objetivos– Estrategia– Resultados esperados

Metodo de Evaluación de ProgramasManual de Evaluación de Actividad

Física3. Aclarar el Enfoque

Realice una pregunta clara y sencilla y asegure su vínculo con el problema. Incluya procesos de aclaración y/o resultados de evaluaciones de interés

4. Recolección de datosPlanee la recolección de datos, seleccione grupos de control adecuados, Diseño de valores de línea de base apropiados y decisiones acerca del tiempo necesario para construir una medición adecuada “cambio”

Estructura de Evaluación de ProgramasManual de Evaluación de Actividad

Física

5. Desarrollar Conclusiones

Análisis de datos e interpretación.

6. Comunicar Resultados

Promover la importancia de los productos tangibles de la evaluación, diseminarlos y hacerles seguimiento (adecuadamente)

www.iuhpe.org

Observaciones en Evaluación

• Todas las intervenciones en Actividad Física deben ser evaluadas. La evaluación comienza con la planeación del programa.

• Existen muchos programas buenos, pero muy pocos bien evaluados.

Involucre interesados principales

Las asociaciones, comunidades y universidades pueden ser muy útiles.

Observaciones en Evaluación

Evaluación de proceso así como de resultado

Cuantitativo y cualitativo

Adaptar la evaluación tanto a los interesados como a la situación.

La evaluación es comunmente subvalorada comparada con la “ciencia”

Adecuados recursos deben ser destinados para evaluación. 10% es recomendado.

Observaciones en Evaluación

Los resultados de la evaluación deben ser usados para

ajustar los programas y las políticas

Compatir resultados con los interesados

En América Latina se necesita entrenamiento académico y práctico.

El manual de actividad física del CDC proporciona un buen marco de referencia.

GRACIAS!