Teoria da resposta ao item Resumo aplicada ao Inventário ...
Teoria de Resposta ao Item - ime.unicamp.brcnaber/Curso_verao_Intro_TRI.pdf · Teoria de Resposta...
Transcript of Teoria de Resposta ao Item - ime.unicamp.brcnaber/Curso_verao_Intro_TRI.pdf · Teoria de Resposta...
Teoria de Resposta ao Item (TRI) Principais modelos
Teoria de Resposta ao ItemIntroducao e alguns modelos
Caio L. N. Azevedo, IMECC/Unicamp
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Teoria psicometrica desenvolvida para suprir necessidades na area
educacional. E composta por conjunto de modelos que consideram
variaveis latentes.
I Modelos de Resposta ao Item (MRI) : representam o
relacionamento entre tracos latentes de indivıduos e itens de um
instrumento de medida (prova, questionario). Tal modelagem
consiste na probabilidade de obter um certo escore em cada item.
I Existe um grande numero de classes de MRI : dicotomicos e
policotomicos, um e multiplos grupos, multidimensionais,
longitudinais multinıveis, dentre outros. MRI apresentam elevado
numero de parametros.
I Aplicada em diversas areas: educacao, marketing, psiquiatria,
genetica etc.
I Surgiu, formalmente, a partir dos trabalhos de Lord (1952) e Rasch
(1960).
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I No Brasil vem sendo usada extensamente em avaliacao educacional
SAEB, ENADE, ENEM, ...
I No mundo: TOEFL, GRE, PISA, ...
I Sera parte fundamental dos exames vestibulares das universidades
federais
I Decreto do MEC fala explicitamente em uso do “modelo logıstico
de 3 parametros”
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Como em qualquer area da Estatıstica, modelo decompoe as
observacoes em sinal (explicavel) e ruıdo (nao explicavel)
Y = µ“ +′′ erro ,
em queE(Y ) = µ.
I Vamos nos concentrar inicialmente em µ
I Depois cuidaremos do erro (mais facil)
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Relembrando, Y = µ“ +′′ erro e E(Y ) = µ.
I Hipotese 0: µ = θ → proficiencia do aluno.
I Nesse caso, estimamos θ de cada aluno pela media (ou soma) das
respostas .
I Isso equivale a atribuir a cada aluno seu escore bruto
I E o que fazemos corriqueiramente
I Isso e o melhor que pode ser feito?
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Nao!!!!!
I Indivıduos podem ser submetidos a itens com diferentes nıves de
dificuldades (diferentes provas).
I Como comparar tais resultados?.
I Como interpretar os escores?.
I Como caracterizar adequadamente os itens?.
I As estimativas do conhecimentos dos indivıduos dependem do
particular conjunto de itens (prova).
I As estimativas dos parametros dos itens dependem do particular
conjunto de indivıduos que respondem a prova.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
Formalizacao da TRI
I 1a hipotese (Rasch,1960): µi = θ − bi .I bi e a dificuldade do ıtem i.I Modelo de Rasch ou de 1 parametro.
I 2a hipotese: µi = ai (θ − bi ).I ai e a discriminacao do ıtem i.I Modelo de 2 parametros.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
I Vamos agora tratar do “erro”
I Varios tipos de resposta possıveis:
I Dicotomica (certo = 1 ou errado = 0).I Politomica: nominal ou ordinal.I Contınua.I Contagem.
I Vamos nos concentrar em resposta dicotomica (multipla escolha)
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
I Existem 2 valores possıveis para Y: 0 e 1
I Logo, usaremos a distribuicao de Bernoulli ondeP(Y = 1) = p.
I Como E(Y ) = p, tenderıamos a fazer: p = µi = ai (θ − bi ).
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
I Evidencia empırica
Proporção de respostas corretas por escore
0
10
20
30
40
50
60
70
80
90
100
0 5 10 15 20 25 30 35
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
I Evidencia empırica
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
Formalizacao da TRI
I Problema: 0 ≤ p ≤ 1 e −∞ ≤ µ ≤ ∞.
I Precisamos transformar µ para [0, 1]
I Qualquer f.d.a de v.a. na reta serve a tal proposito.
I Principais transformacoes usadas: f
I Φ(X ) - f.d. da Normal .
I F (x) =1
1 + e(−x)- f.d. logıstica.
I Vamos nos concentrar na logıstica mas as ambas sao muito
parecidas.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Assim, chega-se ao modelo logıstico com 2 parametros (L2P) dado
pelas equacoes:
P(Yij = 1|θj , ζ i ) = pij =1
1 + e−ai(θj−bi)
ou, analogamente,
log
[pij
1− pij
]= −ai (θj − bi )
em que
I Yij e a resposta do indivıduo j ao item i.I ζ i = (ai , bi ).I θj : traco latente do indivıduo j.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Curvas do modelo L2P
traço latente
pro
ba
bili
da
de
de
re
spo
sta
co
rre
ta
a = 0.6
a = 0.8
a = 1
a = 1.2
a = 1.4
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Curvas do modelo L2P
traço latente
pro
ba
bili
da
de
de
re
spo
sta
co
rre
ta
b = −2
b = −1
b = 0
b = 1
b = 2
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Questoes de multipla escolha sempre permitem que acerte a questao
mesmo aluno que nao domine o conhecimento necessario θ →∞.
I Modelar a probabilidade (aproximada) de resposta corretade alunos
que respondem ao acaso e/ou tenham baixo nıvel de conhecimento .
I Incluir tal probabilidade no modelo de 2 parametros.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Modelo de resposta ao item : Seja Yij a resposta do indivıduo j
ao item i.Yij |(θj , ζ i ) ∼ Bernoulli(pij) ,
pij = P(Yij = 1|θj , ζ i ) = ci + (1− ci )1
1 + e−ai (θj−bi )
I θj : traco latente do indivıduo j.I ζ i = (ai , bi , ci )
′.I ai : parametro de discriminacao (escala) do item i .I bi : parametro de dificuldade (posicao) do item i .I ci : probabilidade aproximada (assintotica) de indivıduos com traco
latente baixo do item i.
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Curvas do modelo L3P
traço latente
pro
ba
bili
da
de
de
re
spo
sta
co
rre
ta
a = 0.6
a = 0.8
a = 1
a = 1.2
a = 1.4
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
−4 −2 0 2 4
0.0
0.2
0.4
0.6
0.8
1.0
Curvas do modelo L3P
traço latente
pro
ba
bili
da
de
de
re
spo
sta
co
rre
ta
b = −2
b = −1
b = 0
b = 1
b = 2
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I De uma forma geral, os modelos de resposta ao item podem ser
caracterizados por:.
I Y ∼ Bernoulli(P),I P = F(θ, ζ,ηF), F sao funcoes de distribuicao acumuladas.I θ: tracos latentes.I ζ: parametros dos itens.I ηF: parametros que carcaterizam a f.d.a (F).
Azevedo
Introducao e alguns modelos
Teoria de Resposta ao Item (TRI) Principais modelos
I Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria daResposta ao Item: Conceitos e Aplicacoes. Sao Paulo: AssociacaoBrasileira de Estatıstica.
I Lord, F.M., Norvick, M.R. (1968). Statistical Theories of MentalTest Score. Reading: Addison-Wesley
I Lord, F.M. (1980). Applications of Item Response Theory toPractical Testing Problems. Hillsdale: Lawrence Erlbaum Associates
I Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).Fundamentals of Item Response Theory. Newburry Park: SagePublications.
Azevedo
Introducao e alguns modelos