Métodos Estatísticos em Avaliação Educacional (em Larga...
Transcript of Métodos Estatísticos em Avaliação Educacional (em Larga...
![Page 1: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/1.jpg)
Métodos Estatísticos em Avaliação
Educacional (em Larga Escala)
Dalton Francisco de AndradeProfessor titular aposentado – INE/UFSC
Professor voluntário – PPGEP/UFSC
Pesquisador associado – Fundação Vunesp
EST/UnB – Brasília, 19/03/2014
![Page 2: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/2.jpg)
Tópicos a serem abordados
1. Introdução
2. Principais Avaliações Educacionais em Larga
Escala: SAEB, ENEM, PISA etc
3. Principais Métodos Estatísticos: Amostragem, TRI
e Modelos Hierárquicos/Multiníveis
4. Outros Métodos / Tópicos de Pesquisa
5. Capacitação
6. O Mercado de Trabalho
![Page 3: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/3.jpg)
Introdução
- Visão geral
- Minha passagem pelo EST/UnB
![Page 4: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/4.jpg)
Principais Avaliações Educacionais
em Larga Escala
1. SAEB
2. ENEM
3. PISA
4. Estaduais: SARESP, SAEPE, SPAECE etc
5. Municipais: Prova São Paulo …
![Page 5: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/5.jpg)
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
INEP: www.inep.gov.br
portal.inep.gov.br/web/saeb/aneb-e-anresc
![Page 6: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/6.jpg)
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Aneb: Avaliação Nacional da Educação Básica – amostral - 5º.
ano do EF, 9º. ano do EF e 3ª. série do EM (nos anos impares)
Anresc: Avaliação Nacional do rendimento Escolar –
“censitária” - escolas públicas de 5º. ano e 9º. ano do EF com
pelo menos 20 alunos no ano estudado. Denominada de Prova
Brasil e implementada em 2005. (nos anos impares)
ANA: Avaliação Nacional da Alfabetização – 3o. ano (annual a
partir de 2013)
Ideb: Indice de desenvolvimento da Educação Básica
![Page 7: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/7.jpg)
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Universo(população) de interesse/Universo(população)
de referência
Censo Escolar: Sistema de referência
Depois de 2005(com a Prova Brasil): juntar amostra
com “censo”
Medida de desempenho/proficiência: LP e MAT
(das escolas/Sistema)
“Explicando/Entendendo” desempenho/proficiência
![Page 8: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/8.jpg)
ENEM: Exame Nacional do Ensino Médio
Voluntário
Quatro áreas: CN, CH, LC, MT
Redação
Objetivo: proficiência do candidato
Comparabilidade dos resultados entre exames
![Page 9: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/9.jpg)
Principais Métodos Estatísticos:
1. Amostragem
2. Teoria da Resposta ao Item – TRI
3. Modelos Hierárquicos/Multiníveis
![Page 10: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/10.jpg)
Amostragem
Probabilística: medida do erro
Unidade Primária de Amostragem – UPA
Conglomerado: Escola/Turma
Estratos de Interesse: Região, UF, Dependência
Administrativa ….
Amostragem Complexa
![Page 11: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/11.jpg)
Teoria da Resposta ao Item - TRI
Medir Traço Latente: proficiência, qualidade
de vida, resistência à mudança, satisfação …
Conjunto de modelos que procuram
relacionar a probabilidade de um
indivíduo/respondente apresentar uma certa
resposta a um item/questão, com sua
proficiência e características do item
![Page 12: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/12.jpg)
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
probabilidade de um indivíduo j, com proficiência θj ,
responder corretamente a um item i, de múltipla
escolha com somente uma alternativa correta, com
parâmetros ai , bi e ci ,.
)(1
1)1(),,,|1(
iji baiiiiijjie
cccbaXP
![Page 13: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/13.jpg)
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
-3 -2 -1 0 1 2 3
Pro
bab
ilid
ade
de
ace
rto
Proficiência=1,40
c=0,10
a=1,80
Curva Característica do Item (CCI) – Escala (0,1)
![Page 14: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/14.jpg)
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Questionário: Questionário_altura.doc
Dados: altura211.dat
Modelo: ML2P (ML3P com c=0)
Estimação dos parâmetros dos itens: calibração
![Page 15: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/15.jpg)
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Resultados: Altura211_UnB.xls
Escala: posicionamento dos itens
Estimação das alturas(traço latente)
![Page 16: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/16.jpg)
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
categorias ordinais
)](exp[1
1
)](exp[1
1)|1(
)1(
siji
isji
jjis
ba
baXP
iimii
bbb ...21
![Page 17: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/17.jpg)
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
quatro categorias ordinais
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,0
0,2
0,4
0,6
0,8
1,0
1,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Pro
bab
ilid
ad
e
P0 P1 P2 P3
![Page 18: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/18.jpg)
Teoria da Resposta ao Item - TRI
Outros modelos Cumulativo:
Crédito Parcial: ai = a
Escala Gradual: bis = bi – ds
Multidimensional
Longitudinal
etc
Modelos Não Cumulativo:
Desdobramento (Unfolding)
![Page 19: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/19.jpg)
Teoria da Resposta ao Item - TRI
Modelo de Desdobramento Graduado Generalizado
(GGUM) – Não Cumulativo
H
v
v
k
ikiji
v
k
ikiji
z
k
ikiji
z
k
ikiji
j
bvMabva
bzMabza
zZP
0 00
00
expexp
expexp
|
![Page 20: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/20.jpg)
Teoria da Resposta ao Item - TRI
Modelo GGUM
12. My feelings about abortion are very mixed.
![Page 21: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/21.jpg)
Modelo Hierárquico/Multinível
Entendendo/Explicando a variabilidade: por que
os alunos possuem proficiências diferentes?
Exemplo: 3o. EM
Prova de LP
![Page 22: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/22.jpg)
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “usual”
Profic_LPij = β0 + εij
β0 : proficiência média global em LP
εij : erro/residuo ~ N(0,σ2)
Estimativa de β0 : 284,218(0,172)
Estimativa de σ2 : 2.092,981
![Page 23: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/23.jpg)
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 1: aluno
Profic_LPij = β0j + rij
β0j : proficiência média da escola j em LP
rij : erro/residuo ~ N(0,τ2)
![Page 24: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/24.jpg)
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 2: escola
β0j = β00 + u0j
β00 : proficiência média global em LP
u0j : erro/residuo ~ N(0,τ00)
rij e u0j independentes
![Page 25: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/25.jpg)
Modelo Hierárquico/Multinível
Modelo nulo: (combinado)
Regressão “hierárquica/multinivel”
Profic_LPij = β00 + u0j + rij
Correlação intra-classe = τ00 / (τ00 + τ2)
Estimativas: β00 , τ00 e τ2
![Page 26: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/26.jpg)
Modelo Hierárquico/Multinível
Modelo 1:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
![Page 27: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/27.jpg)
Modelo Hierárquico/Multinível
Modelo 1:
Nível 2: escola
β0j = β00 + u0j
β1j = β10 + u1j
β00 : proficiência média dos alunos sem defasagem
β10 : efeito médio da defasagem de idade
u0j : erro/residuo ~ N(0,τ00)
u1j : erro/residuo ~ N(0,τ11)
rij , u0j e u1j independentes
![Page 28: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/28.jpg)
Modelo Hierárquico/Multinível
Modelo 2:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
![Page 29: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/29.jpg)
Modelo Hierárquico/Multinível
Modelo 2:
Nível 2: escola
β0j = β00 + β01DepAdmj + u0j
β1j = β10 + β11DepAdmj + u1j
DepAdmj : 0 (Pública) e 1(Privada)
β00 : proficiência média dos alunos da escola pública
sem defasagem
β10 : efeito médio da defasagem de idade na escola
pública
Definir β01 e β11 !!!!!
![Page 30: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/30.jpg)
Outros Métodos /
Tópicos de Pesquisa
Funcionamento Diferenciado do Item – DIF
Estimação com “Itens dependentes”
Teste Adaptativo Informatizado (CAT)
![Page 31: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/31.jpg)
Outros Métodos /
Tópicos de Pesquisa
Tratamento para dados incompletos(Missing Data)
Na resposta ao teste (tese da Vera Filgueira)
Na resposta ao questionário de fatores associados
Métodos para Detecção de Fraude
Exemplo do Ceará no Enem 2012
2nd Annual Conference on Statistical Detection of
Potencial Test Fraud
Sessão Temática no 21 SINAPE (Natal, 20 – 25 Julho)
![Page 32: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/32.jpg)
Capacitação
1. Mestrado Profissional em Métodos e Gestão em
Avaliação – MGA: Capes/Inep – UFSC
(www.mga.ufsc.br)
2. PPGEP/UFSC: www.ppgep.ufsc.br
Linha de pesquisa: Teoria da Resposta ao Item
aplicada às organizações
Laboratório: www.custosemedidas.ufsc.br
3. UFPA, Unicamp, UFRJ, UFJF
![Page 33: Métodos Estatísticos em Avaliação Educacional (em Larga ...semi-est.weebly.com/uploads/8/1/1/5/8115578/est-unb_aulamagna2014.pdf · Métodos Estatísticos em Avaliação Educacional](https://reader031.fdocument.pub/reader031/viewer/2022040421/5e0f30729bf8670f631d095f/html5/thumbnails/33.jpg)
O Mercado de Trabalho
1. Secretarias de Educação
2. Orgãos de pesquisa: Inep ....
3. Empresas/Fundações/Institutos: Cespe, CAED,
Vunesp, FCC, Cesgranrio, Avalia, Bradesco,
Ayrton Senna, Roberto Marinho, IQE ...
4. Startups:
Geekie (www.geekie.com.br)
Meritt (meritt.com.br)
MSTech (www.mstech.com.br)