Post on 27-Nov-2014
Tema 3 - Extensions del disseny experimental
Objectius
- Saber diferenciar entre un disseny quasiexperimental i un experimental.
- Aprofundir en el coneixement de la validesa interna.
- Conèixer les característiques principals dels dissenys quasi-experimentals i els dissenys de cas
únic.
- Saber valorar les principals amenaces a la validesa interna associades als dissenys quasi-
experimentals.
Esquema
3.1 Conceptes bàsics: criteris de demarcació i àmbits d’aplicació
3.2 Ampliació i sistematització de les amenaces contra la validesa
3.3 Dissenys quasi-experimentals
3.3.1 Estructures bàsiques de comparació: preexperiments
3.3.1.1 Disseny pre-post amb un sol grup
3.3.1.2 Disseny només post simple (simultani o de cohorts)
3.3.2 Dissens pre-post
3.3.2.1 Disseny pre-post amb grup control no equivalent (grup de quasi control)
3.3.2.2 Disseny pre-post amb quasi control en una cohort anterior (cicles institucionals)
3.3.3 Dissenys només post
3.3.3.1 Dissenys només post amb grups duplicats (simultani)
3.3.4 Disseny de sèrie temporal interrompuda
3.3.4.1 Disseny simple de sèrie temporal interrompuda
3.3.4.2 Disseny de sèrie temporal interrompuda amb grup control no equivalent (grup de quasi control)
3.4 Dissenys de cas únic
3.4.1 Característiques generals
3.4.2 Estructura bàsica de comparació: dissenys AB
3.4.3 Dissenys de retirada: el disseny ABAB i les seves variants
3.4.4 Disseny de línia base múltiple
3.1 Conceptes bàsics: criteris de demarcació i àmbits d’aplicació
Demarcació: tant en els experiments com els quasiexperiments hi ha manipulació de la
variable independent. Exemple: si vull estudiar com una persona introvertida té un rendiment
més alt en tasques de rendiment lògic que una persona extravertida. En aquest cas no podria
fer servir ni un experiment ni un quasiexperiment perquè no puc manipular la variable
independent.
En un quasiexperiment no hi ha aleatorització, en el cas dels experiments sí. A l’hora de
realitzar un quasiexperiment agafo grups de participant ja formats i establerts. En aquest cas
perdré validesa.
Per tant, tenim que, en tots dos tipus es manipulen les variables independents i s’estableixen
relacions causals (com una cosa té que veure amb una altra). Com que en el quasiexperiment
no hi ha aleatorització no hi haurà tant control com en un experiment. Un últim punt de
demarcació seria els àmbits d’aplicació:
Aplicat
Valoració de l’efecte d’una intervenció o tractament
Normalment els quasiexperiments són disseny que s’utilitzen més en context aplicat. Un altre
àmbit on tenen molta utilització serien els d’avaluació de programes de l’àmbit psicosocial.
3.2 Ampliació i sistematització de les amenaces contra la validesa
Definicions bàsiques:
- Validesa interna: supervisió del procés amb ares d’establir, o contrastar, relacions causals
entre les variables independents i les dependents.
- Validesa externa: l’establiment de les condicions que permetin la generalització dels resultats
a l’àmbit natural en què apareixen els processos investigats.
Taula 3.2. Validesa de la investigació adreçada a avaluar l’efecte d’un Tractament T sobre una
Resposta R estudiada en unes determinades Unitats U (subjectes) dins del Context C i en
l’Ocasió O. Tipus i Amenaces. TRUCO
Validesa de conclusió estadística. ¿Existeix una relació funcional establerta/clara entre T i R?
Per poder treballar i saber si existeix o no la relació cal avaluar la validesa de conclusió
estadística. Aquesta té que veure amb estudiar les condicions en la dif. que s’observa entre el
tractament i control i que aquesta sigui prou rellevant per dir que l’efecte és diferent de l’efecte
nul.
La segona pregunta que ens formulem és:
Validesa interna. Suposant l’anterior, T és la causa de R o R s’hagués pogut obtenir en
absència de T?
Principals amenaces:
• Història: fa referència a la possibilitat de que es produeixin circumstàncies externes a la
investigació que passin al mateix temps que té lloc l’aplicació del tractament i la recollida de la
resposta.
• Maduració: l’efecte degut a canvis interns que es produeixen en els participants com a
conseqüència del pas del temps. Poden ser canvis biològics (gana, envelliment, cansament…),
psicològics (avorriment…)
• Administració de proves: efecte que té administrar una prova sobre les conclusions
obtingudes en una administració anterior de la prova. Exemple: s’administren dues proves però
els resultats de la segona prova canvien als de la primera per la manera i el context en què
s’administren les proves.
• Instrumentació: es produeix quan en el decurs del període de la investigació es produeixen
canvis en la calibració dels instruments de mesura.
• Regressió estadística (a la mitjana): tendència que tenen les dades extremes a retornar al seu
valor promig.
• Pèrdua no aleatòria de subjectes/Mortalitat experimental: recull el fet que en el moment de
perdre casos, la pèrdua de participants, no es produeix de manera equilibrada amb els dos
grups que comparem.
• Selecció: es produirà un problema quan els participants dels grups que comparo tinguin
alguna diferència (no siguin homogenis) que pugui interferir en la causació, en la valoració de
l’efecte de la VI sobre la VD.
Validesa de constructe. Suposant l’anterior, l'operativització que s’ha realitzat de T i R
(indicadors) representen als constructes T i R d’interès?
Principals amenaces:
a) Relacionades amb l’operacionalització dels constructes T i R
Explicació preoperacional inadequada
b) Relacionades amb el comportament de les U (unitats d’estudi = Participants)
Endevinació d’hipòtesis (efecte Hawthorne): els subjectes creuen saber què és el que
ha de passar en aquell estudi i modifiquen el seu comportament en funció del
coneixement o creença.
Artefactes del subjecte: tots aquells problemes causats pels fets de que els subjectes
representen papers que no són els seus papers habituals.
Artefactes de l’experimentador (efectes biopsicosocials de l’experimentador,
expectatives de l’experimentador): BIOPSICOSOCIALS: el fet de que l’experimentador
sigui d¡un determinat sexe, que tingui algun tipus de predisposició per algun tipus de
participant... EXPECTATIVES: a vegades tenim tendència a ser més o menys sensibles
en funció de les nostres preferències o creences.
Validesa externa. Suposant l’anterior, els resultats obtinguts amb unes determinades U
(mostra de subjectes), C (lloc en el qual es realitza la investigació) i O (ocasió d’estudi) es poden
generalitzar a d’altres U, C i O?
Validesa de població: Exemple: puc generalitzar el que he analitzat amb una mostra de
300 participants a la resta de població?
Validesa ecològica: Exemple: puc generalitzar el que he realitzat en un determinat
context a altres contexts?
Validesa històrica: Exemple: puc generalitzar ocasions diferents en què s’ha fet
l’estudi?
3.3 Dissenys quasi-experimentals
3.3.1 Estructures bàsiques de comparació: preexperiments
O = Observacions; Subíndex = situacions diferents ; X = tractament que volem estudiar
3.3.1.1 Disseny pre-post amb un sol grup
Ritmes circadians i trastorn afectiu emocional
Els resultats de diverses recerques semblen indicar que alguns trastorns afectius estan
relacionats amb els ritmes circadians. De fet, molts pacients amb trastorn afectiu emocional
mostren una certa manca d'ordre en els ritmes biològics circadians com insomni primari,
hipersòmnia, etc. D'altra banda, existeix un tractament que ajuda a reajustar els circadians: la
fototeràpia. Un psicòleg manté la hipòtesi que la fototeràpia pot tenir efectes positius en el
trastorn afectiu emocional. Així, selecciona una mostra de 10 pacients diagnosticats de
trastorn afectiu emocional, i els aplica fototeràpia. Tant abans com després d'aplicar el
tractament mesura en els pacients mitjançant qüestionaris el grau depressió.
[O = Observació; X = Fototeràpia]
1 = primera mesura de l’observació
2= segona mesura de l’observació
3.3.1.2 Dissenys només post simple (simultani o de cohorts)
La línia discontínua simbolitza que els grups no han estat escollits a l’atzar. La C fa referència a
la situació control.
Existeix el disseny post simple simultani i el disseny post simple de cohorts (quan s’estudia
amb un context institucional, p.e. escoles, on la gent entre per remeses, tinc l’opció de
comparar les respostes de grups dif., d’anys dif. de la mateixa institució).
3.3.2 Dissenys pre-post
3.3.2.1 Disseny pre-post amb grup control o equivalent (grup de quasi-control)
Una millora metodològica del disseny pre-post amb un sol grup consisteix en incloure en la
investigació un grup de control. La mesura és instantània.
És més difícil aconseguir graus de semblança similars als que s’aconsegueixen quan s’investiga
en un context experimental, donat que no es pot fer servir l’assignació aleatòria. Es per això
que es considera no equivalent al grup control que s’inclou en aquest tipus de dissenys. Per
tant, enlloc d’anomenar al grup control “control no equivalent”, l’anomenarem grup de quasi
control.
3.3.2.2 Disseny pre-post amb quasi control en una cohort anterior (D. De cicles institucionals)
- Participan 2 grupos.
- Un grupo recibe la intervención que queremos estudiar y otro grupo actúa de control.
- Lo que le diferencia del diseño anterior es que son grupos que forman parte de una misma
institución.
La línia ondulada expressa la restricció, fonamental en aquest disseny, de que sigui la cohort
immediatament anterior i de la mateixa institució. La mesura no és instantànea.
Observe que el cumplimiento de este requisito facilita el igualamiento de muchas variables
extrañas entre las dos cohortes, lo cual redunda en la validez del diseño.
Podríamos pensar que no hay más que decir de este diseño, comparamos (O4 – O3) respecto a
(O2 – O1) y determinamos la posible diferencia. Sin embargo, hay varias cosas muy
importantes que discutir.
Primera: debemos estar seguros que no es posible establecer un grupo de cuasi control que,
simultáneamente al experimental, sea formado con el plan antiguo. Seguramente lo podíamos
encontrar en otro colegio, pero la cantidad de variables extrañas que esto acarrearía lo hace
desaconsejable. ¿Lo podemos hacer dentro del propio colegio? En este ejemplo, cuando se
cambia el plan de estudios se hace para todas las clases del mismo curso. Luego no es posible.
De nuevo aparece una de las notas de los diseños cuasi experimentales: la investigación
aplicada nos constriñe en el grado de control del diseño. No podemos tomar las medidas que
nos gustarían para mejorar el control y la posterior atribución de causalidad.
Segunda: debemos poder asumir que las dos cohortes contiguas mantienen diferencias
mínimas entre ellas. Observe que la cohorte del plan antiguo actúa como grupo de cuasi
control de la cohorte del plan nuevo, luego ha de ser lo más equivalente posible.
No sería válida la investigación si las dos cohortes, en los años anteriores, han estudiado con
planes de estudio distintos. Al llegar al comienzo del curso en estudio, ambas cohortes han
debido tener una formación previa similar y nosotros debemos asegurarlo con datos. En
general, la similitud de las cohortes contiguas hay que discutirla en cada contexto de
investigación.
Tercera: las cohortes han podido tener una formación similar, pero ser de hecho distintas.
Todos hemos oído a los profesionales de la educación decir -no sabemos si con razón- que tal
promoción fue especialmente mala. Observe que esto se daría a pesar de haber tenido
antecedentes similares. Debemos asegurarnos de que las dos cohortes, cuando van a ser
medidas en O, y O' son lo más parecidas posible. ¿Cómo?, midiéndolas en un conjunto de
variables relevantes respecto a la variable dependiente en estudio. En nuestro ejemplo
podemos medir su rendimiento anterior y su motivación por el logro escolar. ¿Qué pasa si nos
encontramos con individuos con puntuaciones muy extremas en uno de los grupos? La forma
de actuar es la misma que si estuviéramos con un experimento: controlar la variable por
eliminación.
Cuarta: ya nos hemos asegurado que las dos cohortes contiguas son equivalentes respecto a la
variable dependiente. ¿Hay otras amenazas a la validez? Como en todos los diseños
longitudinales hay que controlar los posibles efectos debidos a la historia. Por ejemplo, en el
entorno escolar debemos controlar que los alumnos en estudio de las dos cohortes han tenido,
mayoritariamente, a los mismos profesores. Si no es así debemos acotar la investigación a los
grupos que lo cumplen. Debemos controlar que no ha ocurrido alguna circunstancia anormal
en ese año escolar que se pueda enmascarar con el cambio de planes de estudio (huelga,
profesor enfermo, accidente de algún compañero, etc.). Por otro lado, la validez puede estar
amenazada, previamente a la investigación, existe una tendencia a lo largo del tiempo en el
rendimiento de las sucesivas generaciones, las cohortes. La forma de controlar esto es ampliar
el número de cohortes de cuasi control. Podemos medir dos o tres cohortes anteriores al
cambio y establecer que no existe una tendencia ascendente (o descendente) que se pueda
enmascarar con la variable independiente.
Resum dels dissenys pre-post
A la izquierda aparece el diseño más elemental, con un solo grupo, sobre el que se desarrolla el
resto. Este diseño no es aconsejable por su debilidad.
En los tres diseños con cuasi control hay una serie de observaciones en el tiempo donde se ha
aplicado un tratamiento (X). En los tres se detecta de forma absoluta la cuantía del efecto del
tratamiento por las diferencias entre los dos grupos de observaciones, pre y post aplicación. La
interpretación de esta diferencia en términos causales está amenazada, principalmente, por la
historia, que puede haber hecho que el cambio se deba a la aparición de una variable en el
tiempo. La forma como los tres evitan esta amenaza es relativizando el cambio del grupo
experimental respecto al cambio en un grupo cuasi control. En los dos primeros casos la
comparación del cambio de las puntuaciones experimentales y cuasi controles se hace de
forma simultánea (1-2, 1-2); en el primero se utiliza otro grupo de sujetos seleccionados por su
parecido con los experimentales y en el segundo se utiliza un conjunto de puntuaciones
tomadas a los mismos sujetos en otra variable. En el tercer caso, el cuasi control se lleva a cabo
comparando el cambio de la situación experimental (3-4) con el registro en un período anterior
(1-2) en la cohorte antecedente. Finalmente, recuerde que en los contextos cuasi
experimentales no tiene mucho sentido preguntarnos cuál de los tres diseños expuestos es el
mejor, sino si puedo ajustar a mi objetivo alguno de ellos.
3.3.3 Dissenys només post
Diseños cuasi experimentales donde el investigador no puede tomar medidas antes del
tratamiento porque ésta ha sido aplicado cuando accede a su estudio.
Tanto el diseño con cohortes sucesivas o con un grupo de cuasi control formado ad hoc tiene
una amenaza fundamental que debemos ser capaces de rechazar en el contexto de nuestra
investigación: ¿las puntuaciones X O, son mayores que C O porque el tratamiento las ha hecho
mejorar, o porque ese grupo de sujetos ya era superior antes de aplicarle el tratamiento?
Tenemos una seria amenaza de selección.
¿Cómo mejoramos el diseño? Añadiendo grupos de puntuaciones de cuasi control. ¿Cómo
podemos rechazar la amenaza de selección en el diseño simple sólo post? Añadiendo grupos
experimentales y cuasi controles; así, la esperada superioridad de los primeros sobre los
segundos no dependerá de la selección de los grupos.
El esquema en el que todas las medidas se
producen en el mismo momento es:
En definitiva, en cada investigación habrá que
justificar que el diseño cuasi experimental elegido
tiene validez, permitiendo rechazar,
fundamentalmente, las amenaza de historia y la
selección de los sujetos.
Lo característico de los diseños sólo post es que contrastan la influencia de una variable a
través de distintos grupos de sujetos, por lo tanto, el diseño experimental hubiera sido inter-
sujeto con grupos al azar. Las restricciones en estos diseños son mayores que en los pre-post,
porque no hay medidas previas. Hay menos controles, más amenazas y, por, tanto, hemos de
ser más cautos todavía en la interpretación de la causalidad.
Resumen: La característica común a todos estos diseños es que el investigador no puede tomar
medidas pre. El problema de un contraste simple es la dificultad de rechazar la amenaza de la
selección. Para superar esta dificultad se aumentan los grupos observados, ya que es poco
probable que en dos grupos experimentales se den, simultáneamente, puntuaciones
superiores al cuasi control no debidas al programa. Cuando se desea contrastar dos
programas, con efectos esperados distintos, se reduce más el error de selección, al ser muy
poco probable que la selección de los sujetos produzca puntuaciones que coincidan
exactamente con el sentido de las hipótesis sobre los programas. Las cohortes añaden la
especificidad de aplicarlos en contextos institucionales, con las similitudes del entorno y con
las restricciones de la selección y del paso del tiempo.
3.3.4 Disseny de sèrie temporal interrompuda
3.3.4.1 Disseny simple de sèrie temporal interrompuda
Diseño cuasi experimental en el que se
registra una serie de medidas de un
grupo, habiendo introducido un
tratamiento en la mitad del proceso.
3.3.4.2 Disseny de sèrie temporal interrompuda amb grup control no equivalent (grup de quasi
control)
Diseño cuasi experimental en el que el efecto de la
intervención en una serie de observaciones es
contrastado con otra serie de observaciones en un
grupo cuasi control sin intervención.
Resumen: Las características comunes de estos diseños son: repetición en el tiempo de las
observaciones antes y después de la intervención y prueba del efecto absoluto de la
intervención con los mismos sujetos. En los dos de la derecha existe otra serie para relativizar
la influencia de dicha intervención; en el primer caso, el cuasi control se lleva a término
utilizando otro grupo de sujetos y en el segundo, usando otra variable de los mismos sujetos.
3.4. Disseny de cas únic (mirar llibre de text de Leon y Montero)
3.4.1. Característiques generals
Són estudis pensats per fer amb un sol cas. Són estudis en què encara estem dintre del
paradigma manipulatiu. En aquests dissenys pot haver o no aleatorització però tots els
dissenys de cas únic tenen manipulació de la VI.
S’utilitzen aquests disseny en diverses situacions:
Quan hi ha problemes pràctics per disposar de mostres més grans.
Objeccions ètiques per a establir un grup control.
Necessitats de valorar l’efectivitat individual.
Experimentació sobre processos molt bàsics amb una clara base biològica.
Objectiu dels dissenys de cas únic: valorar l’efecte d’una variable independent sobre la variable
dependent. Estudiar relacions causals.
Recordatori: Criteris de causalitat
(mirar llibre: concepte de línia base)
En aquest disseny es pot establir una relació entre les dues variables, una associació (consum
d’alcohol i tractament). També es dóna la temporalitat (en el cas dels dissenys ex post facto,
l’únic cas que permet temporalitat en absència de manipulació és l’etiològic de cohorts).
Fases en el disseny de cas únic:
1. Establir la línia base (requeriment: estabilització)
2. Introduir el tractament (Manipulació)
Uniforme (cada dia, aplicar la mateixa dosi)
Puntual (aplicació del tractament en un moment determinat i una única vegada)
Gradual (progressivament s’augmenta la intensitat del tractament)
3. Interpretar
3.4.2. Estructura bàsica de comparació: disseny AB
“A” fa referència a una etapa del procés d’investigació en què es mesura la VD en absència de
tractament. “B” fa referència a una etapa de mesura de la resposta en què s’ha introduït el
tractament.
Limitacions del disseny AB:
Reactivitat positiva (el fet que una persona canvia el seu comportament habitual
simplement per formar part d’una investigació).
Història (canvis contextuals que es poden relacionar amb el suposat efecte del
tractament).
Maduració (aprenentatge, estats relacionats amb motivació).
Per millorar aquest disseny podem augmentar el nombre de fases
3.4.3 Dissenys de retirada: el disseny ABA
Es recula el tractament retirant-lo. “A” simbolitza una fase sense tractament i “B” fase amb
tractament. Tots els dissenys que presentin unes fases “BA” voldrà dir que és un disseny de
retirada. Per millorar aquest disseny i no deixar al individu sense tractament s’afegeix una altra
fase de tractament.
Diseño ABA
Permite conocer la influencia del tratamiento con algún grado de certeza.
Indeseable en contexto clínico.
Diseño BAB
Es superior al anterior desde el punto de vista clínico.
La ausencia de LB impide que el análisis de las condiciones naturales de ocurrencia.
Diseño ABAB
Elimina los problemas de los diseños anteriores.
Proporciona dos fases B para mostrar los efectos del tratamiento.
Refuerza las conclusiones derivables de los efectos de control sobre la conducta.
3.4.4 Dissenys de línea base múltiple
Una millora del disseny AB són els disseny amb línia de base múltiple. En aquests casos no
s’aplica una altra fase sinó que es fan diverses línies bases. Per aplicar aquest disseny cal que
les diferents conductes sobre les que estableixo la línea base puguin ser sensibles al
tractament que aplico. També ha d’haver independència, una ha de variar i l’altre no (línies
base). Aquest disseny em permet tenir més dades per retirar explicacions espúries.
Aquest disseny implica aplicar simultàniament diferents dissenys AB i en l’aplicació d’aquest
dissenys el que faig és jugar amb l’allargada que té en cadascun d’aquests dissenys AB, la fase
de línea base. Aplico en diferents conductes (o conducta en diferents contextos) el mateix
tractament però canvio el moment de l’aplicació.
Exemple: Desensibilització sistemàtica a una dona moltifóbica
Exercici 3.6: La conducta de parlar fora de temps
1. La pauta d’atenció contingent aplicada pels professors redueix les intervencions de l’alumne
fora de temps.
2. VI: aplicació o no de l’atenció contingent dels mestres; VD operativitzada: intervencions de
l’alumne fora de temps.
3. Disseny ABAB.
4. Aquest disseny proporciona dos fases B per mostrar l’efecte del tractament. Reforça les
conclusions derivables dels efectes de control sobre la conducta (més validesa interna).
5.
6. S’observa que sí que té un efecte sobre l’alumne.
0
2
4
6
8
10
12
14
1 2 3 4 5
Setmana 1
Setmana 2 (amb tractament)
Setmana 3
Setmana 4 (amb tractament)