Parâmetros úteis para a construção de boas questões objetivas Prof. Dr. Lucas F. de Oliveira...
Transcript of Parâmetros úteis para a construção de boas questões objetivas Prof. Dr. Lucas F. de Oliveira...
Parâmetros úteis para a construção de boas questões objetivas
Prof. Dr. Lucas F. de Oliveira
CECH – UCSNINE – UFRGS
Vestibular e conhecimento
Exames vestibulares Classificação dos candidatos De acordo com o conhecimento demonstrado
Conhecimento costuma ser estudado Pelas Neurociências
Investigação dos mecanismos Pela Psicologia Cognitiva
Investigação das manifestações
Conhecimento e memória
Memória declarativa Episódica
Eventos Semântica
Fatos
Rápida formação Evocação consciente Processo cognitivo serial
Memória não-declarativa Procedural
Para ações Motora
Para movimentos
Lenta formação Evocação muito eficiente Processo cognitivo
paralelo
Conhecimento e tipos de memória Memória declarativa e não-declarativa
A fronteira entre estes dois tipos Está se tornando mais tênue
Um indivíduo competente Pode operar com conhecimento semântico
De maneira não-declarativa Paralela
Conhecimento
Taxonomia dos objetivos didáticos Benjamin Bloom, 1956
Domínio cognitivo 1) Conhecimento 2) Compreensão 3) Aplicação 4, 5 e 6) Análise, Síntese e Avaliação
Os níveis iniciais dependem Da memória declarativa
Os avançados Da não-declarativa
Testagem e amostragem
Exames vestibulares Devem medir o conhecimento dos alunos
Fazem isto através de uma amostragem As questões
O escore medido com a amostragem É diferente do conhecimento real do aluno
Quanto mais fidedigna a amostragem Mais próximo o escore real é da realidade
Testagem com questões de múltipla escolha Índices úteis
Índice P Proporção de acertos
Índice de discriminação Diferença de acerto entre
Indivíduos com melhor performance E indivíduos com pior performance
Índice P Se todos acertam = 1,0 Se baseado na sorte = 0,2 Valor desejável
Em torno de 0,6
Testagem com questões de múltipla escolha
Índice de discriminação Varia entre -1,00 e +1,00 Se indivíduos de boa performance acertam questão
E os de má performance erram O índice é positivo
Se os de boa erram E os de má acertam
O índice é negativo
D > 0,4 é desejável D < 0,2 é indesejável
Testagem com questões de múltipla escolha
Testagem com questões de múltipla escolha Fator extra
Tempo por questão
Quanto mais questões Melhor a amostragem Maior a fidedignidade
Síntese deste bloco
Indivíduos compententes Operam com um sistema de memória mais eficiente
Memória não-declarativa É importante explorar este componente
O vestibular opera por amostragem Que precisa ser fidedigna
As questões devem ter bom poder de discriminação
Famílias de questões objetivas
Referência útil
“Constructing Written Test Questions for the Basic and Clinical Sciences”
Terceira Edição (Revisada)
Comissão Nacional de Examinadores Médicos Autores
Susan M. Case David B. Swanson
Famílias de questões objetivas Família da melhor
resposta “Assinale a resposta
correta” “Associe as Colunas” Escolha Estendida de
respostas (variante do “Associe as Colunas”)
Família do verdadeiro ou falso “Qual das afirmações
acima são corretas?” “Apenas I, II e IV estão
corretas”
Família do verdadeiro ou falso Identifique as afirmações corretas sobre o
Canadá I) O Canadá possui duas línguas oficiais, e o
francês é a mais falada das duas II) O Canadá foi sede das últimas Olimpíadas de
Inverno, realizadas em Vancouver III) A Rainha Elizabeth II é a chefe de estado do
Canadá
Família do verdadeiro ou falso O candidato pode acertar
Sobre duas das afirmações Mas o avaliador não sabe disso se ele errar a
questão
Há perda de informação Sobre o conhecimento real do candidato
Família do verdadeiro ou falso A família do verdadeiro ou falso
Requer a análise de todas as opções, uma a uma Caracterizando uma operação serial
Usando o sistema de memória declarativa
Ou seja, o aluno competente Capaz de utilizar um sistemas mais eficientes de
demonstração de conhecimento É obrigado a operar com o sistema mais limitado
Família do verdadeiro ou falso A família do verdadeiro ou falso
Requer mais tempo por questão Pois opera de maneira serial
Ou seja, o número máximo de questões no teste Precisa ser menor Quanto menos questões
Pior a amostragem
Família do verdadeiro ou falso A família do verdadeiro ou falso
Tende a produzir índices P menores Usualmente por aumento de falsos negativos
Tende a produzir índices de discriminação menores
Família do verdadeiro ou falso Conclusão
Questões de verdadeiro ou falso Devem ser evitadas
O uso de questões da Família da melhor resposta
Produz melhor discriminação Permite a aplicação de mais questões Permite a resolução através do sistema de memória
não-declarativa
melhor resposta únicaQuestões de Melhor Resposta
Este país é conhecido por ser um grande produtor de vinhos e queijos, bem como também é o principal destino turístico do planeta. Em um determinado momento da Segunda Guerra Mundial, sua capital foi invadida e ocupada por completo. Que país é este? a) Alemanha b) Itália c) França d) Noruega e) Inglaterra
Todas respostas são da mesma categoria Podem ser ordenadas de “muito errada” até “correta”
Ou seja, estão sobre o mesmo “eixo” conceitual
Melhor Resposta, questão bem-feita
Enunciado longo Respostas curtas Todas as respostas pertencem a mesma
categoria (Países, no exemplo anterior)
É possível responder a pergunta mesmo que não se saiba as alternativas! E esta tende a surgir de maneira espontânea
Indicando o uso de memória não-declarativa
Características relevantes
O que a mais importante característica da França? a) É uma grande produtora rural b) É uma das mais antigas democracias do
planeta c) Produz a maior parte da sua energia a partir de
hidroelétricas d) É uma grande produtora de vinhos e) Seu presidente é casado com uma conhecida
atriz austríaca
Melhor Resposta, questão mal-feita
O enunciado é curto As respostas são longas As respostas são sobre temas diferentes
Não estão sobre o mesmo “eixo”
Não é possível responder a pergunta sem que se leia as alternativas Ou seja, só pode ser respondido de maneira
serial
Problemas do exemplo anterior
Perguntas negativas “Assinale a alternativa abaixo que NÃO
corresponde a uma das características da França”
São mais confusas Produzem mais falsos negativos Têm menor poder de discriminação
Coisas a evitar
associe as colunasQuestões de Melhor Resposta
a) França b) Itália c) Inglaterra d) Alemanha
( ) Era a principal potência européia no início dos anos 40
( ) Sua capital foi invadida no início da Segunda Guerra Mundial
( ) Seu líder na Segunda Guerra era conhecido com Il Duce
( ) Sofreu constantes ataques da aviação inimiga no início da guerra, mas conseguiu resistir graças ao esforço intenso de seus pilotos de caça
Associe as colunas
Enunciado genérico Indicando para associar as colunas
Formato eficiente Mas substituído pelo de
Escolha Estendida
Associe as colunas
escolha estendidaQuestões de Melhor Resposta
Estrutura Tema Lista de Opções Enunciados
Escolha Estendida
Tema: países envolvidos na Segunda Guerra Mundial a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos
1) Este país entrou na Guerra apenas em 1941, após uma das ilhas de seu território ser atacada inesperadamente.
Escolha Estendida
Tema: países envolvidos na Segunda Guerra Mundial a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos
2) Este país tinha dois outros importantes aliados, mas era militarmente inferior a estes. Sua campanha na África foi desastrosa. Foi o primeiro dos três a capitular.
Escolha Estendida
Tema: países envolvidos na Segunda Guerra Mundial a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos
3) Este país foi invadido no período inicial da Guerra e permaneceu ocupado por vários anos. A parte sul do país manteve autonomia, mas com um governo simpático e submetido aos invasores. Um governo paralelo formou-se na Inglaterra.
Escolha Estendida
Opções curtas E pertencentes à mesma categoria (países no exemplo acima)
Enunciados longos
É o formato padrão Adotado por várias entidades de licenciamento profissional
O fato de usar mais do que cinco alternativas Requer alterações nas folhas de resposta Estudos recentes indicam que 8 alternativas é um número adequado
Características da Escolha Estendida
Tema: países envolvidos na Segunda Guerra Mundial a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos
4) Este três países aliaram-se no início da Segunda Guerra Mundial através de um pacto de suporte político, econômico e militar com o objetivo de estabelecer uma nova ordem mundial.
Escolha Estendida com múltiplas respostas
Escolha Estendida com múltiplas respostas
Escolha estendida com múltiplas respostas Tende a ser mais difícil
Melhores formatos: Melhor Resposta Única e Escolha Estendida Formato aceitável: Associe as Colunas
Formatos não-recomendados: Verdadeiro ou Falso, Melhor Resposta Única Negativa
Enunciados longos, respostas curtas
De preferência, Ser possível responder sem ler as alternativas
Síntese até o momento
Problemas que facilitam a resolução
Elaboração
Dicas gramaticais A “chave” está melhor redigida
Uso de termos absolutos A maior parte das coisas é relativa Alternativas com “sempre”, “nunca”, “todos” e “nenhum”
normalmente estão erradas
Resposta correta é mais longa que as outras A “chave” é mais longa, melhor elaborada e mais completa
Problemas de redação que facilitam a resolução
A população da França é: a) maior que a da Itália b) menor que a da Itália c) do mesmo tamanho que a da Itália d) composta por apenas uma etnia e) composta principalmente por jovens
As três primeiras alternativas já dão conta de todas as opções
Problema: dicas lógicas
Um homem afogou-se na praia. Este tipo de acidente é chamado de: a) atropelamento b) enforcamento c) afogamento d) aliciamento e) esmagamento
O enunciado já entrega a resposta
Problema: repetição de palavra do enunciado
Estes dois países foram aliados durante a Segunda Guerra Mundial. Que países são estes? a) Inglaterra e Alemanha b) Inglaterra e Itália c) França e Alemanha d) França e Itália e) Alemanha e Itália
Os termos mais frequentes comumente são os corretos
Problema: respostas convergentes
Problemas que dificultam a resolução
Elaboração
Opções longas e complicadas Velocidade de leitura
Passa a ser um fator relevante
Inconsistência nos números Algumas alternativas com número (15, por
exemplo) Outras com faixa de números (de 10-14, por
exemplo)
Problemas de redação que dificultam a resolução sem necessidade
Uso de termos vagos para indicar freqüência “Usualmente”, “comumente”,
“frequentemente”, “raramente”
O uso da opção “Nenhuma das anteriores” Transforma todas as alternativas anteriores
em miniquestões de Verdadeiro ou Falso
Problemas de redação que dificultam a resolução sem necessidade
A Alemanha teve boas chances de sair vitoriosa da Segunda Guerra Mundial, pois suas táticas e equipamentos eram avançadíssimos para a época. Entretanto, uma série de decisões estratégicas errôneas resultou em sua derrota. Qual destas decisões erradas foi a mais importante pela derrota?
a) A Alemanha abriu uma segunda frente de batalha ao atacar a União Soviética
b) Muitas tropas foram comprometidas com a defesa da Itália c) O fornecimento de material bélico para o Japão.
As opções deveriam ser a) A abertura de uma frente de batalha contra a União Soviética b) O comprometimento de tropas com a defesa da Itália c) O fornecimento de material bélico para o Japão
Problema: linguagem não-paralela nas opções
Ordene os países com relação ao número de soldados mortos durante a Segunda Guerra Mundial do maior para o menor. I) Alemanha II) Rússia III) Inglaterra IV) Suíça V) Holanda
Opções: a) I, II, III, IV, V b) II, I, III, V, IV c) V, IV, I, III, II d) IV, V, III, I, II
O correto seria usar, nas alternativas, o nome dos países
Problema: escolha de marcadores mais complexos que o necessário
Linhas gerais
Elaborar a questão de maneira que Seja possível respondê-la mesmo sem as opções
Usar enunciados longos, respostas curtas
Evitar informação supérflua
Evitar questões desnecessariamente complexas
Linhas gerais
Cuidar a gramática de todas as opções
Elaborar distratores plausíveis e de tamanho semelhante à resposta correta
Evitar termos absolutos, como “nunca” e “sempre”
Evitar questões negativas aquelas que tem “exceto” ou “não” no enunciado se precisar utilizar uma questão deste tipo
as respostas devem ser muito curtas (uma palavra apenas preferencialmente)
Linhas gerais