Evaluación experimental: ¿Cómo se implementan?. Cómo...Qué tan diferentes son las personas...

Evaluaciones experimentales: ¿Cómo se implementan?

Claudia Martínez A.

Profesora Asistente de Economía

Universidad de Chile

[email protected]

mailto:[email protected]

Oport./Restricc. Unidad Muestreo Diseños Pasos

Objetivos

2

Después de esta sesión, los participantes serán capaces de: Identificar los diferentes métodos de aleatorización.

Entender las ventajas y desventajas de cada método de aleatorización dadas sus restricciones respectivas.

Identificar el nivel apropiado de aleatorización.


Esquema de la presentación

3

1. Oportunidades de aleatorizar y restricciones prácticas

2. Unidad y método de aleatorización

3. Muestreo vs. Asignación aleatoria

4. Diseños de aleatorización

5. Aleatorización paso por paso


1. Oportunidades de aleatorizar y restricciones prácticas


Oportunidades de aleatorizar Introducción de un nuevo programa o diseño

de programa Cuando el programa es innovador y no se conoce

su impacto • El investigador puede colaborar en el diseño del

programa.

Cuando se quiere testear un nuevo diseño en un programa ya vigente.

Un programa empieza a ofrecer sus servicios en nuevos lugares y/o a nuevas personas Cuando un proyecto se expande pero no hay

suficientes recursos para abastecer a todos los nuevos clientes.

5

Oport./Restricc.


Oportunidades de aleatorizar

Situaciones de exceso de demanda Cuando no hay suficientes recursos para abastecer

de forma inmediata a todos los clientes potenciales.

Cuando hay falta de demanda Cuando hay más recursos que clientes y se busca

estimular la demanda.

6

Oport./Restricc.


Restricciones: Timing

Necesidad de lanzar programa.

Necesidad de llevar a escala rápido.

Tomar tiempo puede beneficiar: Implementación de programa.

Evaluación de impacto del programa.

Pilotear.

No evaluar muy temprano, ni muy tarde.

7

Oport./Restricc.


Restricciones: Externalidades ¿Qué son las externalidades?

Las externalidades ocurren cuando el grupo de control se ve afectado de alguna forma por el tratamiento.

Por ejemplo, quiero medir el impacto de entregar chocolates (tratamiento) sobre la felicidad de los participantes de este curso. ¿Qué pasaría si yo le entregara chocolates a sólo mitad

de los participantes de este curso? • Los participantes podrían compartir el chocolate con sus

compañeros que no recibieron.

• Los compañeros que no reciben el chocolate podrían sentir envidia.

8

Oport./Restricc.


Restricciones: Externalidades

¿Por qué podría ser un problema?

Recordemos el objetivo: estimar el contrafactual. El grupo control deja de representar “lo que hubiera

pasado” en ausencia de la intervención

¿Puede interesarme medir las externalidades? Externalidades positivas

• Vacunas que causan menos trasmisión de una enfermedad.

Externalidades negativas • Contaminación.

9

Oport./Restricc.


Restricciones: Justicia

¿Es justo aleatorizar?

Las loterías son simples. Comunes y transparentes. Se pueden hacer públicas.

10

Oport./Restricc.


Restricciones: Tamaño muestral

Si el programa es muy pequeño, esto puede ser un problema para medir el impacto.

Algunos de los factores que determinan el tamaño de la muestra necesaria para medir impacto son: La magnitud del efecto que se desea identificar. Qué tan diferentes son las personas dentro de la

muestra en términos de los indicadores que vamos a medir.

Si aleatorizamos a nivel de individuos o grupos.

11

Oport./Restricc.


2. Unidad y método de aleatorización


Unidad de aleatorización Existen dos posibilidades:

Aleatorizar al nivel individual.

Aleatorizar al

nivel de cluster.

T

T T

C

C

C

T

C

¿A qué nivel aleatorizar?

13

Unidad


Unidad de aleatorización

Suponga se quiere estudiar el impacto de entregar un computador a cada niño.

14

Unidad


Unidad de aleatorización: Individual

Unidad


Unidad de aleatorización: Clúster

Unidad


Unidad de aleatorización: Clase

Unidad


Unidad de aleatorización: Escuela Unidad


En una campaña de educación sexual donde se ofrecen charlas a estudiantes en sus aulas de clase, ¿a qué nivel aleatorizarías si supieras que los estudiantes interactúan bastante con niños de diferentes grados?

A. A nivel de estudiante

B. A nivel de aula de clase

C. A nivel de grado

D. A nivel de colegio

A. B. C. D.

25% 25%25%25%


Unidad de aleatorización

Algunas consideraciones: ¿Cuál es la unidad de tratamiento? ¿Sobre qué

unidad se quiere tener efectos? Por ejemplo: ¿Intervenimos escuelas o niños?

¿Cuál es la unidad de análisis? Por ejemplo: ¿Vamos a investigar el impacto de un

programa sobre escuelas o sobre niños?

Externalidades

Viabilidad

23

Unidad


3. Muestreo vs. Asignación Aleatoria


Muestreo versus asignación

Antes de entrar a los diseños, hablemos sobre la diferencia entre asignación aleatoria y muestreo aleatorio.

25

Muestreo

Oport./Restricc. Unidad Muestreo Diseños Pasos Muestreo aleatorio vs. Asignación aleatoria

El Muestreo

aleatorio es para

lograr una muestra

que sea

representativa de la

población de

interés


La Asignación

aleatoria a los grupos

de tratamiento

y control elimina el

sesgo selección

Muestreo aleatorio vs. Asignación aleatoria


4. Diseños de aleatorización


Diseño de una evaluación aleatoria

Población objetivo

No en la evaluación

Muestra de evaluación

Población total

Asignación aleatoria

Grupo de Tratamiento

Grupo de Control

29

Miremos diferentes

diseños de

asignación aleatoria

Diseños


Aspectos de un programa

Hay tres aspectos de un programa que se pueden aleatorizar:

1. Acceso: Elegimos a quiénes se les ofrece el programa

2. Momento de acceso: Elegimos cuándo ofrecemos el programa

3. Estímulo: Elegimos quiénes reciben incentivos para

participar en el programa

30

Diseños


Diseños de aleatorización

Diferentes opciones: Lotería básica.

Diseño aleatorio por etapas.

Diseño de rotación.

Asignación aleatoria en la “burbuja”.

Diseño de estímulos.

Las alternativas no son excluyentes.

31

Diseños


Lotería básica

Las unidades (individuos, hogares, escuelas, etc.) se asignan aleatoriamente al grupo de tratamiento y al grupo de control.

El grupo de tratamiento obtiene acceso al programa; el grupo de control no.

32

Diseños


Tratamiento

Control

Lotería Básica


Diseños de asignación aleatoria - recapitulación

• Lotería Básica Diseño

• La suscripción al programa es mayor al número de cupos

Son más útiles cuando…

• Familiares.

• Fáciles de entender.

• Fáciles de implementar.

• Se pueden implementar en público.

Ventajas

• Desgaste diferencial. Desventajas

34

Diseños


Diseño por etapas

Cuando todos los candidatos deben recibir el programa, podemos escoger aleatoriamente quién participa en la primera etapa y quién participa en las etapas subsiguientes.

En una fase dada, los grupos que no han participado aún forman el grupo de control. Los participantes forman el grupo tratado.

35

Diseños

Oport./Restricc. Unidad Muestreo Diseños Pasos Diseño por etapas

Ronda 3 Tratamiento: 3/3

Control: 0 1

1

1 1

1

1

1

1

1

1 1

1

1

1

2

2

2 2

2

2

2 2

2

2

2

2 2

2

2

2

3

3 3 3

3

3

3

3 3

3

3 3

3

3

3 3

3


Control: 2/3


Control: 1/3

La evaluación

aleatoria finaliza


Diseños por etapas

¿Cuándo es útil?:

Nadie está siendo excluido totalmente:

A la larga, todos obtienen algo.

Progresa/Oportunidades (1997) se implementó en etapas.

¿Qué posible restricción podría tener?

37

Diseños



• Diseño por etapas Diseño

• El programa es universal, pero se implementa en etapas.


• Fáciles de entender.

• La restricción es fácil de explicar.

• El grupo de control cumple, porque ellos esperan beneficiarse más tarde.

Ventajas

• La anticipación del tratamiento puede afectar la conducta a corto plazo.

• Es difícil medir el impacto a largo plazo. Desventajas

38

Diseños


Aleatorización en “la burbuja”

Cuando la selección de los participantes de un programa se basa en un puntaje (e.g. programas de crédito, becas, o basados en necesidades), una lotería simple puede no ser viable.

La lotería se lleva a cabo solo para aquellos que están ligeramente por encima o ligeramente por debajo de cierto umbral de elegibilidad

39

Diseños

Oport./Restricc. Unidad Muestreo Diseños Pasos Asignación aleatoria en “la burbuja”

Dentro de la

burbuja,

compare el

tratamiento

con el control

Muy apropiados Claramente no

elegibles

Tratamiento

Control


Aleatorización en “la burbuja”

41

¿Costo de sacrificar buenos candidatos? Ejemplo: Microfinanzas.

La institución implementadora podría estar dispuesta a aleatorizar en “la burbuja”. Las personas “en la burbuja” están en el límite de elegibilidad.

Las personas justo por encima del umbral no son elegibles, pero casi.

Karlan and Zinman (2007) Aleatorizan la asignación de crédito entre las solicitudes

“marginales” de un banco en Sudáfrica, establecidas por un sistema de “credit scoring”.

¿Qué efecto del tratamiento se mide?

¿Qué significa esto para la validez externa?

Diseños



• Burbuja Diseño

• No se quiere aleatorizar dentro de todos los elegibles.

• Hay personas “en la burbuja”, próximos al umbral de elegibilidad.


• Los que “deben” recibir el programa lo reciben. Ventajas

• Mide el impacto sobre aquellos que están en la burbuja. Desventajas

42

Diseños


Diseño de rotación

Las unidades elegibles se asignan aleatoriamente a dos grupos, y ambos grupos se turnan para recibir el programa.

El grupo que participa en el programa es el grupo tratado durante un periodo, y el otro grupo es el control. Posteriormente, se intercambian.

43

Diseños


Fase 1 Tratamiento: 1/2

Control: 1/2

Diseño de rotación

Fase 2 Tratamiento en

Fase 1

Control ——————————————————————————

Control en

Fase 1

Tratamiento

Fase 1 Tratamiento: 1/2

Control: 1/2


• Rotación Diseño

• Todos deben recibir el tratamiento en algún momento

• No hay suficientes recursos para cubrir a todos a la vez


• Más datos que en el diseño por etapas. Ventajas

• Dificultad de medir efectos a largo plazo. Desventajas


45

Diseños


Diseño de estímulos En ocasiones, es práctica o éticamente imposible asignar el

acceso al programa en forma aleatoria. Pero la mayoría de los programas tiene una aceptación inferior al

100%.

Puede asignarse aleatoriamente el estímulo de recibir tratamiento.

Ejemplo: Elecciones en Perú Votación en Perú es obligatoria y la ausencia supone una multa.

En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres.

Se hizo una asignación aleatoria de los barrios de Lima, de modo que en algunos se proveía información acerca de la reducción de la multa y en otros no.

46

Diseños

Oport./Restricc. Unidad Muestreo Diseños Pasos Diseño de estímulos

Estimular

No estimular

Participó

No participó

Cumplió

No cumplió

Compare los

estimulados con los no

estimulados

No compare participantes

con no participantes

Ajuste por incumplimiento en la

fase de análisis

Estos deben estar correlacionados



• Estímulo Diseño

• El programa debe estar abierto a todos los recién ingresados.

• Cuando la aceptación es baja, pero se puede mejorar fácilmente con un estímulo.


• Se puede asignar en forma aleatoria a nivel individual, aún cuando el programa no sea administrado a ese nivel.

Ventajas

• Mide el impacto de aquellos que responden al estímulo.

• Necesita un aliciente suficientemente grande para mejorar la aceptación.

• El estímulo mismo puede tener un efecto directo.

Desventajas

48

Diseños


Tratamiento Múltiples

Para testear: Distintos componentes.

Diferentes intervenciones posibles.

Distintas hipótesis

Se puede aleatorizar múltiples tratamientos y

analizar cómo se comparan unos con otros, y

cómo se complementan.

49

Diseños


Tratamiento 1

Tratamiento 2

Tratamiento 3

Tratamientos múltiples


Te gustaría evaluar un programa de formación laboral, asignando a la mitad de los candidatos a participar en él. No obstante, no todos los candidatos a los que se les da la oportunidad de participar se inscribirán en el programa. ¿Qué método de aleatorización escogerías si no puedes forzar a participar?

A. Lotería básica

B. Lotería en la burbuja

C. Diseño por etapas

D. Diseño de rotación

E. Diseño de estímulo A. B. C. D. E.

20% 20% 20%20%20%


¿Qué diseño de aleatorización escogerías si quieres que todos los candidatos reciban el programa en algún momento del tiempo?

A. Lotería básica

B. Lotería en la burbuja

C. Diseño por etapas

D. Diseño de rotación

E. Diseño de estímulo

A. B. C. D. E.

20% 20% 20%20%20%


5. Aleatorización paso por paso


Pasos: Aleatorización individual

Seleccionar lugar de estudio Dentro del lugar elegido, aplicar criterio de elegibilidad:

Ej.: programa ofrecido solo a mujeres

54

Pasos


Pasos: Aleatorización individual

Aleatorizar acceso al programa entre participantes elegibles para formar el grupo Tratamiento

Encuestar a las personas del grupo Tratamiento (reciben programa) y del grupo Control (no reciben programa)

55

Pasos


Pasos: Aleatorización por clúster

Opcional: Aleatorizar selección de departamentos.

Dentro de los departamentos elegidos, aplicar criterio de elegibilidad:

Ej.: solo comunidades grandes

56

Pasos


Pasos: Aleatorización por clúster

De las comunidades elegibles, asignar aleatoriamente algunas al grupo Tratamiento (reciben programa) y el resto al grupo Control (no reciben programa)

encuestado

no encuestado

Encuestar una muestra aleatoria de personas de ambos grupos: Tratamiento y Control

57

Pasos


¿Pero cómo aleatorizar en la práctica?

Lotería desde una canasta.

Excel

Programas estadísticos Stata

Optimal Design

58

¡Gracias!

Claudia Martínez A.

Profesora Asistente de Economía

Universidad de Chile

[email protected]

mailto:[email protected]

Evaluación experimental: ¿Cómo se implementan?. Cómo...Qué tan diferentes son las personas...

Documents

Transcript of Evaluación experimental: ¿Cómo se implementan?. Cómo...Qué tan diferentes son las personas...