Bloque 2. Finalidad, objetivos y diseño de una...

Bloque 2. Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría

Autores

David Cervera Olivares

Paloma González Chasco

José Mª Sánchez Echave

INEE

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 4.0 Internacional

https://creativecommons.org/licenses/by-sa/4.0/deed.es


Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 1

Índice Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría ................................................................................................................... 2

Nota .......................................................................................................................... 2

Tipos de ítems o preguntas........................................................................................... 2

Pensemos un rato ..................................................................................................... 4

Elaboración de ítems .................................................................................................... 5

Sugerencias para la creación de ítems ......................................................................... 5

Nota .......................................................................................................................... 6

Pensemos un rato ..................................................................................................... 6

Ítem de respuesta cerrada ............................................................................................ 6

Varias preguntas para un estímulo ............................................................................... 7

Nota .......................................................................................................................... 8

Recomendaciones para la creación de un ítem ............................................................ 8

RECOMENDACIONES PARA LA REDACCIÓN DEL TRONCO ............................... 8

RECOMENDACIONES PARA LAS OPCIONES (Clave y Distractores) ..................... 8

Ítem de respuesta elaborada ........................................................................................ 9

SUGERENCIAS: ..................................................................................................... 10

Los estímulos ............................................................................................................. 10

Algunas ideas para crear estímulos: ejemplos 1 y 2 ................................................... 11

Ejemplo 1: ............................................................................................................... 11

Ejemplo 2: ............................................................................................................... 11


Ejemplo 3: ............................................................................................................... 12

Ejemplo 4: ............................................................................................................... 13


Ejemplo 5: ............................................................................................................... 14

Ejemplo 6: ............................................................................................................... 15

Algunas ideas para crear estímulos: ejemplo 7 ........................................................... 16

Ejemplo 7: ............................................................................................................... 16

¿QUÉ OTRAS POSIBILIDADES SE TE OCURREN? ............................................. 17

Pilotaje de ítems ......................................................................................................... 17

Nota ........................................................................................................................ 17

Análisis de ítems: comparabilidad, discriminación y validez ........................................ 18


INTEF 2014 Pág. 2

Finalidad, objetivos y diseño de una prueba: elaboración de ítems, pilotaje y psicometría Hasta ahora nos hemos centrado en algunos aspectos del marco teórico, entresacando y combinando diversa información referida a distintas pruebas internacionales. También hemos trabajado con diversas preguntas vinculadas a estímulos que han formado parte de las pruebas o de los procesos de pilotaje de las mismas. Ten en cuenta que un objetivo importante de estas evaluaciones externas internacionales es la comparación a lo largo del tiempo (en las sucesivas ediciones) por lo que solo se liberan parte de los materiales que configuran la prueba y nunca una prueba completa, de forma que una parte importante de la prueba se repite de una edición a otra. A estos ítems se les denomina ítems de anclaje.

En esta parte de contenidos del segundo bloque nos vamos a centrar en la elaboración de ítems, el pilotaje de los mismos y una breve introducción a la psicometría.

Nota

• Recuerda que en PISA se habla de economías, dado que algunos países no participan en su totalidad sino sólo una región, p.e. Shangai.

• En España, no solo participamos en las pruebas internacionales a nivel nacional. En algunas pruebas, algunas comunidades participan para poder obtener datos comparativos con otros países, lo que supone una ampliación de la muestra de los alumnos que se someten a estas pruebas.

Tipos de ítems o preguntas Las preguntas de una prueba de rendimiento pueden ser de diversos tipos. A continuación se muestra una selección de preguntas clasificadas atendiendo a la forma de la respuesta.

• Preguntas de respuesta cerrada, son las que muestran alternativas de respuestas.

o De respuesta alternativa simple (dicotómicas), combinan diferentes opciones de respuesta binaria (sí / no; verdadero / falso).

o De respuesta de alternativa múltiple. Presentan varias alternativas (A, B, C, D).

o De respuesta de elección múltiple compleja, cuando se combina en un mismo ítem varias frases o alternativas con selección de respuesta binaria (sí / no; verdadero / falso).

• Preguntas abiertas de respuesta elaborada

o Respuesta elaborada construida.

o Respuesta elaborada corta (precisan de correctores con pormenorizados criterios de valoración).

o Respuesta elaborada larga (precisan de correctores con pormenorizados criterios de valoración).


INTEF 2014 Pág. 3

Observa unos ejemplos que pueden ayudarte a identificar esta clasificación:

Respuestas de

pregunta cerrada

Respuesta

alternativa simple (*)

El Quijote lo escribió Cervantes. SI / NO

Respuesta alternativa múltiple

¿Quién escribió el Quijote?

A. Góngora

B. Quevedo

C. Cervantes

D. Unamuno

Respuesta de

elección múltiple compleja

Indica cuales de las siguientes afirmaciones son ciertas

• El Quijote lo escribió Cervantes. Verdadero / Falso

• El caballo de Don Quijote se llamaba Clavileño. Verdadero / Falso

• Cervantes escribió “El licenciado vidriera”. Verdadero / Falso

Preguntas abiertas de respuesta elaborada

Respuesta elaborada construida

¿Quién escribió el Quijote?

______________________

Respuesta elaborada

corta

Cita dos obras escritas por Miguel de Cervantes

1. ___________________________

2. ___________________________

Respuesta elaborada

larga

¿Qué supuso el Quijote en la época en la que fue escrito?

______________________________________________

______________________________________________


INTEF 2014 Pág. 4

Las preguntas no se presentan aisladas, sino formando grupos bajo una presentación textual y/o gráfica común, que denominamos ”estímulo”, que presenta al alumno una situación cotidiana como las que se pueden encontrar en la vida real. En el caso concreto de TIMSS para 4º curso de Educación Primaria, se combinan grupos de preguntas vinculadas a estímulos, con otras que no se refieren a un estímulo y que se configuran como preguntas sueltas, o estímulos con una única pregunta.

(*) Las preguntas de respuesta alternativa simple en evaluaciones externas internacionales no se suelen utilizar solas. Se suelen combinar de una de las dos siguientes formas:

1. Uniendo entre tres y cinco preguntas de respuesta alternativa simple en un solo ítem para conformar una sola de respuesta de elección múltiple compleja y evitar el efecto azar de la respuesta del alumno:

• "El Quijote" lo escribió Cervantes SI/NO

• "Soledades" lo escribió Quevedo SI/NO

• "La vida del Buscón" lo escribió Góngora SI/NO

2. Añadiendo a la pregunta de respuesta alternativa simple algo parecido a un "Razona tu respuesta". De este modo, la pregunta se convertirá en una del tipo elaborada corta.

Pensemos un rato

¿Recuerdas los estímulos y grupos de preguntas que vimos al principio de PISA, “Las formas, El faro, Metrotransit y Agua potable”?

Podrías añadir nuevas preguntas. Piensa un ítem de cada tipo de los vistos para los estímulos que elijas.

No es necesario que sean preguntas vinculadas a matemáticas, ciencias o comprensión lectora. Intenta vincular estos estímulos con preguntas para tu propia asignatura, en la medida de lo posible.


INTEF 2014 Pág. 5

Si no ves correctamente la anterior figura, puedes descargarte este PDF.

Jornada en la Rioja de talleres de elaboración de ítems de Evaluaciones Externas Internacionales.

https://www.youtube.com/watch?v=h1qFj1t4BAo (a partir del minuto 52:30)

Elaboración de ítems La elaboración de un ítem y su inclusión dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.

Crear un ítem puede ser relativamente sencillo. Crear ítems que se adapten a los descriptores establecidos en la matriz de especificaciones y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.

Además hay que crearlos vinculados a estímulos y esto supone un riesgo: en el caso de que se detecte que el estimulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.

Sugerencias para la creación de ítems A continuación se detallan ciertas características para el diseño de ítems, en este caso los de preguntas de respuesta cerrada. Aunque de momento no vamos a ver las características de los estímulos, no olvides que los ítems o preguntas se diseñan vinculados a estos.

Requisitos para la construcción de ítems:

• Conocimiento en profundidad de los contenidos de la materia a evaluar.

• Conocimiento de los descriptores de cada dominio o proceso cognitivo.

Estos dos puntos son los que definen la matriz de especificaciones de una prueba y por tanto es el elemento de partida para comenzar la creación y construcción de preguntas de manera organizada. Al partir de una clasificación estructurada (descriptores) se evita producir un exceso o defecto de ítems para cada uno de los contenidos y dominios de la materia en la que se centra la prueba.

http://youtu.be/h1qFj1t4BAo?t=52m30s


INTEF 2014 Pág. 6

Nota

Un ítem que ha sido escrito considerando un determinado nivel cognitivo y un contenido concreto, tiene más probabilidades de ser un buen ítem.

Recuerda que:

• Cada prueba tiene una matriz de especificaciones concreta.

• La matriz es la herramienta que guía la construcción y la interpretación de la prueba.

• Además, es el instrumento de comienzo y es fundamental para el análisis final.

Antes de elaborar los ítems es necesario tener la matriz de la prueba diseñada:

• Establecer la competencia.

• Determinar los contenidos.

• Determinar los descriptores.

• Determinar el peso relativo de cada casilla.

• Elaborar ítems (varios) específicos para cada descriptor.

Pensemos un rato

Crea una matriz de especificaciones, o tabla curricular de contenidos para una asignatura y un curso concreto.

Detalla los descriptores y los porcentajes de cada bloque de contenidos y proceso considerando la importancia de cada uno de ellos en el conjunto del curso.

Ítem de respuesta cerrada Antes de comenzar la construcción de ítems, vamos a tratar de dar respuesta a la pregunta, “¿Qué es un ítem?”

• Es una unidad de medida.

• Consiste en un reactivo (tronco) y una forma prescrita de respuesta.

• Su objetivo es obtener una conducta observable y claramente interpretable (debe ser capaz de discriminar).

• De la respuesta debe poder inferirse, con un grado suficiente de fiabilidad y validez, un nivel de dominio de la competencia.

Conozcamos cuales son los componentes que configuran un ítem de respuesta cerrada:


INTEF 2014 Pág. 7

• Tronco o vástago: Parte inicial del ítem en la que se especifica la tarea. Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc.

• Opciones: Son todas las alternativas de respuesta de un ítem.

o CLAVE, es la respuesta correcta

o DISTRACTORES, son las opciones incorrectas.

Observa los distintos componentes en las siguientes imágenes. Corresponden a un ítem de TIMSS Ciencias. Advierte que el tronco o vástago incluye todo lo recuadrado en azul dado que solo hay una pregunta.

Si no ves correctamente la imagen anterior, puedes descargarte este PDF.

Varias preguntas para un estímulo Si construyéramos varias preguntas a partir de la imagen proporcionada, diferenciaríamos entre estímulo y tronco.


INTEF 2014 Pág. 8

Si no ves correctamente la imagen, puedes descargarte este PDF.

Nota

Un estímulo trata de ser un elemento de partida que posiciona al alumno en una situación que pudiera ser real. Normalmente estas pruebas vinculan varios ítems o preguntas con el mismo estímulo.

Recomendaciones para la creación de un ítem RECOMENDACIONES PARA LA REDACCIÓN DEL TRONCO

• Puede ser una pregunta o una frase a completar.

• Ha de ser claro. Favorecer la claridad sobre la concisión.

• No debe utilizarse para enseñar.

• Debe proporcionar solo información precisa para responder.

• Emplear formas positivas al redactar los textos siempre que sea posible.

• Evitar las negaciones y, sobre todo, la doble negación.

RECOMENDACIONES PARA LAS OPCIONES (Clave y Distractores)

• La opción correcta debe ser claramente correcta. Si dos expertos albergan dudas acerca de la validez de la clave, habrá que revisar cómo se ha expresado o redactado


INTEF 2014 Pág. 9

el tronco y las opciones, y analizar el porqué de la diferencia de criterio. Si no hay acuerdo, no es un buen ítem y no debe ir a una prueba.

• Los distractores que confunden a los expertos no son buenos.

• Podemos emplear preconceptos erróneos como distractores.

• La dificultad del ítem se puede variar haciendo los distractores similares a la clave.

• No abusar de opciones “todos los anteriores” – “ninguna de las anteriores”.

• Si algo se repite en todas las opciones, valorar eliminarlo o llevarlo al tronco.

• Todas las opciones deben ser de la misma longitud y complejidad, y de similar estructura sintáctica. La respuesta correcta no debe ser la más larga, ni la más corta, ni la única distinta.

• Con más opciones hay menor probabilidad de adivinación, pero también es más difícil la construcción.

• Es recomendable solo una respuesta correcta, facilita el proceso de codificación.

• Evitar utilizar en la clave palabras que lleven a los que desconocen la solución el seleccionarla. La repetición de palabras del tronco solo en la clave es una pista que debe evitarse.

• Si el tronco es negativo, evitar opciones negativas.

• Distribuir la posición de la clave al azar. Evitar usar siempre la misma posición.

Ítem de respuesta elaborada Veamos ahora cuáles son los componentes de un ítem de respuesta elaborada:

• Tronco o vástago, es la parte inicial del ítem en la que se especifica la tarea. Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc.

• Solución, es la respuesta correcta.

De una misma situación, contexto o estímulo, pueden derivarse varios ítems. Observa en la imagen las distintas partes del ítem. Es de TIMSS matemáticas.

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.


INTEF 2014 Pág. 10

SUGERENCIAS:

• Emplear vocabulario claro y adecuado para la edad y nivel educativo.

• Utilizar la sintaxis correcta.

• Una misma idea puede medirse en varios niveles cognitivos. Seleccionar el nivel cognitivo y ajustarse a él.

Los estímulos En muchas ocasiones los estímulos son un texto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, medidas, cómics, etc. El estímulo o contexto de partida puede crearse a partir de varios elementos y por tanto podemos diseñarlos para que se adapten a las preguntas que vamos a realizar en referencia a los descriptores.

El alumnado actual está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos informativos, textos o anuncios de periódicos, fotografías de situaciones reales, etc.

A continuación se incluyen algunos posibles estímulos de los que podríamos emplear, son simples sugerencias. Ahora se trata de que dentro de la materia o materias que desarrollas con tus alumnos veas qué información y de dónde es posible captarla para emplearla como elemento de partida de posibles preguntas.


INTEF 2014 Pág. 11

Algunas ideas para crear estímulos: ejemplos 1 y 2 Ejemplo 1:

Si no puedes leer esta imagen, descarga este fichero con la imagen ampliada.

En este estímulo se presenta un libro de lectura por el que el alumnado de 4º de EP siente cierto interés. A partir del contenido de una página web se da información del mismo y del proceso de compra y precio, por lo que se pueden realizar diversas preguntas relacionadas con competencia matemática, científica y de comprensión lectora. ¿Qué preguntas se te ocurren? ¿Sabrán los alumnos colocar “LONDON”, en un mapa de Europa? Observa cualquier detalle de los que muestra el estímulo y se creativo. Cambiando el libro y la información proporcionada podemos componer un estímulo válido para conseguir adaptarnos a los descriptores para los que queremos escribir ítems.

Ejemplo 2:

Este estímulo o contexto facilita información sobre un mapamundi de las temperaturas y se pone en relación con Albacete. En realidad es información de dos páginas web diferentes ¿Qué tipo de preguntas se te ocurren? Observa que se dan precipitaciones cada 6 horas y temperaturas de distintos países clasificados por los más fríos y los más cálidos. ¿Se podría preguntar a qué intervalo de meses se corresponde la información?, ¿una clasificación


INTEF 2014 Pág. 12

alfabética de los países?, ¿las regiones que rodean a Albacete?, ¿un cálculo comparativo de superficies?, ¿ubicar los grandes océanos y mares?, ¿cálculos con la velocidad del viento? … ¿Te atreves? ¿Qué te gustaría preguntar pero a la vista de la información no puedes? Añade lo que necesites y compón el estímulo.


Si no puedes leer esta imagen, descarga este fichero con la imagen ampliada.

En este estímulo recogido de la prensa se informa de diversas posibilidades y ofertas para ir a Disneyland París. ¿Qué preguntas de comprensión lectora se te ocurren a la vista de la información?, ¿qué preguntas de competencia matemática?, ¿y de competencia científica? ¿Qué otras preguntas relacionadas con otras competencias se te ocurren?


INTEF 2014 Pág. 13

Ejemplo 4:

Este ejemplo se diseñó para una prueba de matemáticas y describe una situación típica de compra. En los bocadillos se ha incluido información para facilitar ciertas preguntas. Pero además existen distintos tipos de números, el orden, la temperatura, peso, tiempo. ¿Se te ocurren preguntas que los puedan relacionar? Observa el triángulo que forman los clientes, ¿algo que preguntar próximo a Pitágoras o Thales? ¿Se te ocurre alguna pregunta que relacione la estructura de la estantería con la del poste de temperatura? ¿Algo sobre alimentación? ¿Sobre materiales textiles? … ¿Cómo lo modificarías para conseguir realizar de 12 a 15 preguntas?


INTEF 2014 Pág. 14


En este ejemplo, obtenido de una página web, se recoge información sobre una película. Seleccionando de la cartelera una u otra película podemos actualizar el ítem y adaptarlo a los intereses de los descriptores. Podemos añadir las críticas que ha recibido, algún comentario de los actores o del director, etc. Y con toda esta información realizar diversas preguntas. ¡Ánimo!


INTEF 2014 Pág. 15

Ejemplo 6:

¿Has pensado todo lo que podrías preguntar sobre un plano? Cómo llegar, trayectoria más corta, reconocer figuras geométricas, comparar superficies, distancias, ordenar alfabéticamente, paralelismo, perpendicularidad, reconocimiento de símbolos, recorridos a pie, en coche, en transporte público, monumentos, edificios singulares, etc.


INTEF 2014 Pág. 16

Algunas ideas para crear estímulos: ejemplo 7 Ejemplo 7:

También podemos emplear un texto relacionado con un mensaje de correo electrónico, o con un sms, whatsapp, etc.


INTEF 2014 Pág. 17

¿QUÉ OTRAS POSIBILIDADES SE TE OCURREN?

• Propaganda

• Programación de televisión

• Cartelera

• Instrucciones de juegos

• Etiquetas de productos

• Anuncios de prensa

• Carteles publicitarios

• Una nota escrita por alumnos

• Deportes

• Planos de metro, cercanías, autobuses

• Horarios de trenes, autobuses

• Planos de instalaciones deportivas, biblioteca, hospital, colegio…

Se trata de buscar un elemento de partida que centre a los alumnos en una situación y, a partir de ella, realizar preguntas basadas en nuestra matriz de especificaciones.

Pilotaje de ítems Las evaluaciones se construyen a partir de ítems y necesitamos que estos sean de buena calidad. Cualquier prueba puede ser mejorada a través de una adecuada selección de los elementos (ítems) que la componen. Una vez creados los ítems se hace necesario realizar un proceso de pilotaje que permita analizar y calibrar el trabajo realizado, seleccionando posteriormente aquellos que van a configurar la prueba.

Nota

El pilotaje y análisis de ítems es una parte muy importante en el proceso de construcción de una prueba.

Ya hemos dicho en repetidas ocasiones que un descriptor apunta a un bloque de contenidos y a un determinado proceso, por tanto el autor debe desarrollar para cada descriptor múltiples ítems, cada uno de ellos vinculados a diversos estímulos.

Se denomina pilotaje al proceso en que se configuran cuadernillos (trozos de la prueba total) para llevar a campo los ítems, con la intención de medir el ítem, no la prueba, ni los resultados de los que las realizan. En realidad se generan muchas pruebas distintas de manera que se incluyan todos los ítems y hay que garantizar que se dé respuesta a todos ellos un número de veces suficiente.


INTEF 2014 Pág. 18

Mediante el pilotaje se pretende comprobar que los ítems cumplen la función para la que han sido escritos, y que el grado de dificultad, basado en los aciertos de los alumnos, confirman el proceso cognitivo para el cual el autor los concibió. El pilotaje se realiza con alumnos de otros cursos o con la cohorte de alumnos correspondiente, dado que responder al ítem no debe ser la dificultad, sino validar que discrimina, que no hay errores de redacción, que se interpretan correctamente, etc. En el proceso detectamos qué ítems son problemáticos por diversas causas.

Una vez realizado todo el proceso se deben elegir aquellos ítems que configurarán la prueba, eliminando los que se han comportado mal o de manera ineficiente y eligiendo entre los restantes, de forma que la prueba final se corresponda con la matriz de especificaciones que hemos diseñado. Por otro lado, aquellos que son adecuados y no van a formar parte de la prueba podrán ser utilizados en otras ocasiones.

Por tanto, puede suponer un problema cuando muchos ítems de un estímulo son rechazados, o cuando a pesar de no ser rechazados se elimina el estímulo por considerarlo inadecuado. Cuando se selecciona un ítem, automáticamente queda seleccionado el estímulo, pero no todos los ítems que se diseñaron para el estímulo irán a la prueba. Es por esto que es necesario desarrollar un amplio número de ítems por estímulo y, a su vez, un amplio número de ítems por descriptor de manera que al final tengamos suficientes elementos de calidad para poder cumplimentar la matriz de especificaciones y configurar la prueba.

Análisis de ítems: comparabilidad, discriminación y validez Uno de los objetivos de las evaluaciones internacionales es la comparabilidad a lo largo del tiempo y, por eso, un conjunto importante de los ítems se mantienen de una edición a otra. Además hay que tener garantías de que los ítems que sustituyen a los que se liberan cumplen la función de sus antecesores. Es importante tener un gran banco de ítems contestados por un número suficiente de alumnos de manera que podamos tener información válida de los mismos.

Aunque no es objeto de este curso entrar en complicaciones estadísticas, se mencionan a continuación diversos parámetros que nos permiten analizar las características técnicas de un ítem:

• Dificultad

• Discriminación u Homogeneidad

• Validez

Todos los elementos que configuran la prueba han de contribuir a diferenciar, a discriminar entre los participantes. Por lo tanto, los elementos no tienen que ser ni muy fáciles, ya que los contestarían bien todos los alumnos, ni muy difíciles, ya que nadie sabría responder. La dificultad de los elementos tendrá que estar entre estos dos extremos para que puedan discriminar adecuadamente.


INTEF 2014 Pág. 19

Del mismo modo que la discriminación del ítem tiene que ver con la fiabilidad, la validez del ítem tiene que ver con la validez del test. Por ejemplo, en los casos en los que medimos alguna variable de rendimiento, la variable de contraste o criterio externo pueden ser las notas o calificaciones académicas obtenidas por los estudiantes (lo que no es aplicable a las evaluaciones externas dado el carácter confidencial de las mismas).

Para seleccionar un ítem que irá a la prueba tendremos en cuenta los siguientes puntos:

1. Correlación del ítem con un criterio externo (si lo hay). 2. Correlación del ítem con la puntuación total del test (consistencia interna). 3. Dificultad del ítem (grado de adecuación de la competencia). 4. Covarianza del ítem en el test.

INEE - Formación en Red del INTEF

Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.


Bloque 2. Finalidad, objetivos y diseño de una...

Documents

Transcript of Bloque 2. Finalidad, objetivos y diseño de una...