Ensino de Física: o Enem e a aprendizagem ao final do...
Transcript of Ensino de Física: o Enem e a aprendizagem ao final do...
4/25/2016
1
Ensino de Física:
Marta F. BarrosoInstituto de Física - UFRJ
Ensino de Física: o Enem e a aprendizagem ao final
do ensino médio
Instituto de Física [email protected]/~martawww.if.ufrj.br/~marta/enem
abril / 2016LABORATÓRIO DE PESQUISA E DESENVOLVIMENTO EM ENSINO DE MATEMÁTICA E CIÊNCIAS
PEF: Programa de Pós-Graduação em g çEnsino de Física
Curso: Mestrado Profissional em Ensino de Física (2008)
PEMAT: Programa de Pós-Graduação em Ensino de g çMatemática
Cursos:
Mestrado em Ensino de Matemática (2006)
Doutorado em Ensino e História da Matemática e da Física (2015)
4/25/2016
2
ENEM
Trabalho desenvolvido por:
Marta Feijó Barroso (IF-UFRJ)
Gustavo Rubini (doutorando Ensino e História da Matemática e da Física, PEMAT –IM/UFRJ)
Marcelo Shoey O. Massunaga (UENF)Wanderley P. Gonçalves Jr. (PEF, CAp-UFRJ)
José Christian Lopes (PEF Col PII)José Christian Lopes (PEF, Col. PII)
Bruno Rinaldi (PEF, Col. PII)
OBSERVATÓRIO DA EDUCAÇÃO
ENEM
Introdução: por que e para que avaliarIntrodução: por que e para que avaliar
O ENEM
Resultados atuais
4/25/2016
3
ENEM
1. Introdução: por que e para que avaliarç p q p q
algumas considerações gerais, um tanto teóricas… e longe da perspectiva dos alunos
ENEM
1. Introdução: por que e para que avaliar
Avaliações Educacionais e o Ensino de Ciências e Matemática
Objetivos: “compreensão do papel, das técnicas e metodologias de realização dessas avaliações, de reflexão sobre o uso dessas avaliações como subsídio às atividades de sala de aula e como subsídio à produção de materiais didáticos inovadores e cursos de formação de professores que incorporem os resultados dessas análises.”
AVALIAÇÕES
DESENVOLVIMENTOSTÉCNICOS
AtenaMEAVALIAÇÕES
PRODUÇÃO DE MATERIAIS DIDÁTICOS
PISA, ENEMProLetramento MatemáticaMateriais Didáticos em Uso
AtenaMEFísica 1
4/25/2016
4
ENEM
Avaliações
três principais finalidades (Black, 1998):
avaliação formativa (elemento essencial em qualquer programa de aprendizagem)
avaliação somativa para revisão, transferência e certificação
(utilizada na certificação do conhecimento adquirido)
avaliação somativa para responsabilidade para com a sociedadeavaliação somativa para responsabilidade para com a sociedade(utilizada para prover evidências que eles promovem a aprendizagem de seus alunos)
o “esforço” necessário para realização desse processo pode deturpar qualquer
afeto que se possa ter por ele.
ENEM
o que se pode fazer com as avaliações de sistemas?
• pode-se negar sua validade
• pode-se utilizá-la para fazer rankings e comparações
• pode-se estudar seus resultados e produzir informações que nos permitam retornar ao sistema, melhorando-o
4/25/2016
5
Políticas públicas:O ENEM constitui-se atualmente do principal mecanismo de acesso ao ensino superior, e está dentro de um
ENEM
contexto em que o acesso a esse ensino vem sendo ampliado e democratizado, em conjunto com a lei das cotas que prevê reserva de vagas para estudantes provenientes de escolas da rede pública.
“high stake assessment”
Di õ t ó i t d ló i Discussões teóricas e metodológicas: Quais são os eixos teóricos e metodológicos do exame?Como é a metodologia de elaboração de questões?Como é obtida a “nota” do aluno (alguns aspectos da Teoria da Resposta ao Item)?
Principalmente
ENEM
o que se aprende sobre “como / o que os alunos aprenderam”
Quais os resultados – o desempenho - dos estudantes nas provas de Ciências da Natureza em 2009, 2010, 2011, 2012 (2013 e 2014)?
O que esse desempenho nos revela sobre a aprendizagem em física no ensino médio?
4/25/2016
6
ENEM
2. O ENEM
colocando alguma ordem em ideias….
aprendizagem: conceito abstrato
avaliações em larga escala
ENEM
1212
W.P.Gonçalves Jr, Dissertação PEF 2012
4/25/2016
7
ENEM
1313
Avaliação educacional em larga escala
- vem se tornando cada vez mais freqüentes, no Brasil e no mundo - o termo “avaliação em larga escala” serve para um conjunto enorme de processos avaliativos, com diferentes objetivos,
ENEM
Para que se avalia, do ponto de vista dos sistemas - para conhecer melhor - e para, com base neste conhecimento, definir possibilidades de correção de rumo e implementação de políticas públicas
políticas de mudanças de rumo
formas, propostas…
- políticas de mudanças de rumo
- políticas de responsabilização?Do ponto de vista acadêmico,
-para conhecer melhor
- para usar os diagnósticos para refletir e melhorar a nossa prática
benefícios versus riscos
4/25/2016
8
Avaliação educacional no Brasil – em larga escala
nacionais (MEC) – no âmbito federal
“O Ministério da Educação acompanha a qualidade do ensino oferecido à população pelas escolas e pelos cursos de graduação.
ENEM
oferecido à população pelas escolas e pelos cursos de graduação. As informações estão disponíveis e, com elas, pais e estudantes podem pressionar os gestores para promover melhorias e ampliar o acesso à sala de aula.”
âmbitos regional e municipal: vários e diversos processos
Índice de Desenvolvimento da Educação Básica
Avaliação educacional no Brasilno âmbito federal: INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
ENEM
ç
SAEB
Prova Brasil
Exame Nacional do Ensino Médio
ENADE/SINAES – Exame Nacional de Desempenho dos Estudantes &
Índices de evasão
Taxa de aprovação(Provinha Brasil)
Sistema Nacional de Avaliação da Educação Superior
Nota EnadeIDD – Indicador de Diferença de Desempenho CPC – Conceito Preliminar de CursoIGC – Indicador Geral de Curso......... ??
4/25/2016
9
Ano Organização Sigla Conteúdos Abordados Países1969-70 IEA FISS Ciências 191983-86 IEA SISS Ciências 171988 ETS IEAP Ciências e Matemática 6
As principais avaliações internacionais de larga escalaENEM
1992 ETS IEAP Ciências e Matemática 201994-95 IEA TIMSS Ciências e Matemática 421999 IEA TIMSS-R Ciências, Matemática 392000 OECD PISA Leitura (ciências/matemática) 392003 IEA TIMSS Ciências e Matemática 482003 OECD PISA Matemática (leitura/ciências) 412006 OECD PISA Ciências (leitura/Matemática) 572007 IEA TIMSS Ciências e Matemática 502009 OECD PISA Leitura (Matemática/Ciências) 652009 OECD PISA Leitura (Matemática/Ciências) 652011 IEA TIMSS Ciências e Matemática 77Legenda: IEA = Associação Internacional para a Avaliação do Desenvolvimento Educacional (InternationalAssociation for the Evaluation of Educational Achievement), ETS = Serviço de Testes Educacionais (EducationalTesting Service), OECD = Organização para Cooperação Econômica e Desenvolvimento (Organization for EconomicCo-Operation and Development), FISS= Primeiro Estudo Internacional em Ciências (First International ScienceStudy), SISS = Segundo Estudo Internacional em Ciências (Second International Science Study), TIMSS=Tendências nos Estudos de Matemática e Ciências (Trends in Mathematics and Science Study), PISA = Programapara Avaliação Internacional dos Estudantes (Programme for International Student Assessment).
Gonçalves Jr. 2012; Britton e Schneider 2007
avaliação de aprendizagem
- é uma forma de mensurar um conceito abstrato, a “aprendizagem”, a partir do estabelecimento de um conceito operacional com variáveis que podem ser medidas
ENEM
Para avaliar a aprendizagem dos alunos, definem-se objetivos, métodos, ...
Quase sempre, são apresentadas aos alunos problemas ou questões, discursivas ou objetivas.
Em geral, é utilizada a chamada “teoria clássica dos testes” para obtenção de um “escore” a nota
operacional com variáveis que podem ser medidas.
1818 W.P.Gonçalves Jr, Dissertação PEF 2012
obtenção de um “escore” – a nota.
4/25/2016
10
ENEM
1919
e voltando ao ponto – o ENEM….
ENEM
2020
4/25/2016
11
Em 2009, o Ministério da Educação, juntamente com reitores das instituições federais de ensino superior
ENEM
reitores das instituições federais de ensino superior, cria o denominado “Novo ENEM”.
Esse exame, modificado em relação ao seu objetivo inicial, serviria como processo de acesso para as recém criadas instituições públicas de ensino superior, e o MEC forneceria um sistema classificatório
2121
e o MEC forneceria um sistema classificatóriounificado no país para as instituições que assim o desejassem, o denominado Sistema de Seleção Unificada – SiSU.
Segundo o documento básico do “Novo ENEM” [MEC/INEP, 2009],
“Até 2008, o Enem era uma prova clássica com 63 questões interdisciplinares, sem articulação direta com os conteúdos
ENEM
ministrados no ensino médio, e sem a possibilidade de comparação das notas de um ano para outro. A proposta é reformular o Enem para que o exame possa ser comparável no tempo e aborde diretamente o currículo do ensino médio. O objetivo é aplicar quatro grupos de provas diferentes em cada processo seletivo, além de redação. O novo exame será composto por perguntas objetivas em quatro áreas do conhecimento: linguagens, códigos e suas tecnologias (incluindo redação); ciências humanas e suas tecnologias; ciências da natureza e
2222
redação); ciências humanas e suas tecnologias; ciências da natureza e suas tecnologias e matemática e suas tecnologias. Cada grupo de testes será composto por até 45 itens de múltipla escolha, aplicados em dois dias. (...) A grande vantagem que o MEC está buscando com o novo Enem é a reformulação do currículo do ensino médio. (...) A proposta é sinalizar para o ensino médio outro tipo de formação, mais voltada para a solução de problemas.” (p. 93)
4/25/2016
12
ENEM
2323
ENEM
2424
4/25/2016
13
ENEM
2525
ENEM
2626
4/25/2016
14
ENEM
2727
ENEM
2828
4/25/2016
15
ENEM
Habilidades (por área) – 30 em CiNat
Obj t d h i t ( á )Objetos de conhecimento (por área)
2929
ENEM
As questões do ENEM
3030
4/25/2016
16
ENEM
3131
ENEM
4/25/2016
17
ENEM
ENEM
4/25/2016
18
ENEM
ENEM
A Teoria da Resposta ao Item e o escore do aluno
A metodologia utilizada pelo ENEM (para obtenção do escore do estudante e análise das questões) é a Teoria da Resposta ao Item.
Esta metodologia vem sendo largamente utilizada, no mundo, desde a década de 70/80, quando tem início a utilização em larga escala de computadores e torna-se mais comum a realização de ajustes matemáticos para modelos
3636
realização de ajustes matemáticos para modelos.
É a metodologia utilizada pelo PISA e pelo SAEB.
4/25/2016
19
ENEM
- psicometria: a medida em ciências sociais (psicologia)
- modelos da psicometria:
TCT – Teoria Clássica dos Testes
o resultado final é a soma das respostas dadas a uma série de itens (fornecendo um escore total); se um teste tem 30 itens (questões), e 1=certo, 0=errado, e há 20 certos, o escore é 20; o foco é o comportamento, ou escore, num teste, constituído de um conjunto de comportamentos
TRI – Teoria da Resposta ao Item
3737
não há interesse num escore total, diretamente; o que se quer saber é a probabilidade de acerto de cada item individualmente, e quais os fatores que afetam esta probabilidade
ENEM
A TRI – Teoria da Resposta ao Item (IRT)
- dois postulados básicos:
(a) o desempenho num item do teste pode ser prevista (ou explicada) ( ) p p p ( p )por um conjunto de fatores denominados traços, traços latentes, ou habilidades;
(b) a relação entre o desempenho em um item e o conjunto de traços que permitem este desempenho no item pode ser descrita pela uma função monotonamente crescente denominada função característica do item ou curva característica do item (ICC, item characteristic curve)
3838
)
A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a um item aumenta.
4/25/2016
20
ENEM
A TRI – Teoria da Resposta ao Item (IRT)
A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a um item aumenta.
Probabilidade
Habilidade
Curva característica do item para dois grupos 1 e 2 diferentes
3939
Habilidade
ENEM
Interrupção: histograma
2 dados são jogados, e n=soma dos valores obtidos
f(n)
n f(n)2 1/36
3 1/18
4 1/12
5 1/9
6 5/360.10
0.15
0.20
f(n)
4040
7 1/6
8 5/36
9 1/9
10 1/12
11 1/18
12 1/36
1 2 3 4 5 6 7 8 9 10 11 12
n0.00
0.05
4/25/2016
21
ENEM
Interrupção: sobre a distribuição gaussiana
Distribuição de Gauss
( )[ ]1
22
21h
=σf(x)
h2/√π
α2
σ
( ) ( )[ ]22 2/exp2
1)( σσπ
mxxf −−=
4141
x
m
h1/√π
σ2
α1
σ1
ENEM
Distribuição de Gauss
Interpretação gráfica
( ) ( )∫=b
adxxfb,aP f(x)
4242
x
dx
x a b
4/25/2016
22
ENEM
Interrupção: alguns conceitos básicos de estatística
Distribuição de Gauss
A probabilidade total que uma medida esteja em algum lugar é evidentemente um; assim, a área total sob a curva deve ser um.
( ) ( )[ ]22 2/exp1)( σmxxf −−=
Em termos da definição de média e desvio padrão, m e σ, a distribuição fica
4343
( ) ( )[ ]p2
)(σπ
f
ENEM
Distribuição de Gauss
( ) ( )[ ]22 2/exp1)( σmxxf −−= x
f(x)
h1/√π
h2/√π
α2
σ2
α1
σ1
Interrupção: sobre a distribuição gaussiana
( ) ( )[ ]2/exp2
)( σσπ
mxxf =
A distribuição de Gauss pode ser usada para obter a probabilidade que uma medida caia entre quaisquer limites especificados. Em particular, é importante calcular a probabilidade que ela caia a uma distância que seja igual a σ ou múltiplos de seu valor médio.
( ) ( )[ ]m
∫+σ 221
x
m
6830)1(P
4444
( ) ( )[ ]
[ ]dtt
mxP
m
m
m
m
∫
∫+
−
+
−
−=
=−−=
σ
σ
σ
σ
π
σσπ
2
22
exp21
2/exp2
1
σ/)( mxt −= 997.0)3(954.0)2(683.0)1(
===
PPP
4/25/2016
23
ENEM
Interrupção: distribuição gaussiana
Aplicada ao ENEM:f(x)
h1/√π
h2/√π
α2
σ2
9540)2(683.0)1(
==
PP
x
m
h1/√π
α1
σ1997.0)3(954.0)2(
==
PP
A média é normalizada em 500 pontos, e o desvio padrão é normalizado para 100 pontos (em 2009):
68,3% das notas estão entre 400 e 600 pontos (1 desvio
4545
padrão em torno da média);
95,4% das notas estão entre 300 e 700 pontos (2 desvios padrão em torno da média);
99,7% das notas estão entre 200 e 800 pontos (3 desvios padrão em torno da média).
ENEM
A TRI – Teoria da Resposta ao Item (IRT)
A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a , p pum item aumenta.
Probabilidade
Habilidade
Curva característica do item para dois grupos 1 e 2 diferentes
4646
Habilidade
4/25/2016
24
Proficiência em Ciências
Todos os países1.0
PROB
PISA (peso: senado)
PISA 2000 - ICC
GREENHOUSE Q3
Curva característica do item – Exemplo de construçãoProbabilidade de acerto do item para um estudante (aleatório) com habilidade conhecida
ENEM
Todos os países
PISA 2000
üênc
ia
400
300
200
100 Std. Dev = 100,63 0.3
0.4
0.5
0.6
0.7
0.8
0.9PISA (peso: senado)
ajuste dados
Proficiência (com peso)
775675
575475
375275
175
Freq
ü
0Mean = 475
N = 2501,08
0 100 200 300 400 500 600 700 800 900 1000WLESCIE
0.0
0.1
0.2
1.0
PROB
PISA (peso: senado)
PISA 2000 - ICC
GREENHOUSE Q3
Curva característica do item Teoria da Resposta ao Item – dois parâmetros
índice de dificuldade b
discriminação
ENEM
0.4
0.5
0.6
0.7
0.8
0.9PISA (peso: senado)
ajuste dados
0 100 200 300 400 500 600 700 800 900 1000WLESCIE
0.0
0.1
0.2
0.3
b
4/25/2016
25
Hipótese: a função característica do item reflete a relação verdadeira entre as variáveis não observáveis
ENEM
(habilidades) e as variáveis observáveis (respostas aos itens). Modelos Populares na TRI- Modelo Logístico de um parâmetro- Modelo Logístico de dois parâmetros
M d l L í ti d t ê â t- Modelo Logístico de três parâmetros
Modelo Logístico de um parâmetro
( ) ( )[ ]( )[ ]
( )[ ] 1expexp
exp11
+θθ
=θ−+
=θy
yy
Pi
( ) bθθ0.4
0.6
0.8
1
ENEM
( ) iby −θ=θ
Pi(θ) é a probabilidade que um examinando escolhido aleatoriamente com habilidade θ responda ao item i corretamente (é um número que varia entre 0 e 1)
0 2 4 6 8 10
0
0.2
corretamente (é um número que varia entre 0 e 1)bi é o parâmetro de dificuldade do item – é o ponto para o
qual a probabilidade de uma resposta correta é 0,5 (e indica a posição da ICC em relação à escala de habilidade)
n é o número de itens do testeEste é o modelo utilizado no PISA.
4/25/2016
26
Modelo Logístico de dois parâmetros( ) ( )[ ]
( )[ ]( )[ ] 1exp
expexp1
1+θ
θ=
θ−+=θ
yy
yPi
( ) ( )bD θθ0.4
0.6
0.8
1
ENEM
( ) ( )ii bDay −θ=θ
0 2 4 6 8 10
0
0.2
Pi(θ) é a probabilidade que um examinando escolhido aleatoriamente com habilidade θ responda ao item i corretamente (é um número que varia entre 0 e 1)
bi é o parâmetro de dificuldade do item – é o ponto para o qual a probabilidade de uma resposta correta é 0,5 (e
D é um fator de escala (considerações estatísticas)ai é o parâmetro de discriminação do item – é proporcional à
inclinação da ICC no ponto bi na escala de habilidades
qual a probabilidade de uma resposta correta é 0,5 (e indica a posição da ICC em relação à escala de habilidade)
n é o número de itens do teste
0 6
0.7
0.8
0.9
1.0
PROB
DAYLIGHT - Q1 PISA BRAZIL JAPAN UNITED KINGDOM
PISA 2000 - ICC
ENEM
0 100 200 300 400 500 600 700 800 900 1000WLESCIE
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
PROB
DAYLIGHT - Q2 PISA BRAZIL JAPAN PORTUGAL UNITED KINGDOM
PISA 2000 - ICC
0 100 200 300 400 500 600 700 800 900 1000WLESCIE
0.0
0.1
0.2
0.3
0.4
0.5
0.6
4/25/2016
27
Modelo Logístico de três parâmetros
( ) ( )[ ]θ−+−
+=θy
ccP ii exp11
ENEM
( )[ ]yp
ci é incorporado ao modelo para levar em conta o desempenho no nível mais baixo do contínuo de habilidades, onde o “chute” é um fator em desempenhos
ni ,,2,1 K=
( ) iby −θ=θ
, pem itens de testes de múltipla escolha (parâmetro de “pseudo azar”).
Tipicamente, ci deve assumir valores menores do que o valor resultante de uma escolha aleatória do item.
Este é o modelo utilizado no ENEM.
AtenaME, UFRJ[Barroso 2015, não
4/25/2016
28
ENEM
3 RESULTADOS (atuais) 3. RESULTADOS (atuais)
um recorte de muitos dados e informações...
ENEM
Wanderley P. Gonçalves Jrdissertação em 2012, análise (qualitativa e quantitativa) das
provas de 2009 e 2010José Christian Lopes
dissertação em 2015, análise da prova de 2011Bruno Rinaldi
dissertação em andamento, prova de 2013Gustavo Rubini
tese em andamento – TRI e análises globais
Revista Brasileira de Ensino de Física, 2014
4/25/2016
29
ENEM
Estudo das características qualitativas da provaEstudo das características qualitativas da prova
Estudo dos dados quantitativos dos estudantes
Combinação das duas informações
5757
ENEM
4/25/2016
30
Distribuição percentual dos candidatos por gênero
Participantes Concluintes2009 2010 2009 2010
ENEM
Feminino 60,2% 59,4% 60,6% 60,2%Masculino 39,8% 40,6% 39,4% 39,8%
Distribuição percentual das respostas relativas à dependência administrativa da escola em que cursou o ensino médio
Participantes Concluintes2009 2010 2009 20102009 2010 2009 2010
Federal 0,8% 0,6% 1,7% 1,7%Estadual 30,5% 25,8% 75,0% 75,5%Municipal 0,7% 0,5% 1,6% 1,4%Privada 10,5% 7,3% 21,7% 21,4%Não Informado 57,5% 65,9% 0,0% 0,0%
ENEM 2009Enem 2009 - Ciências da NaturezaConcluintes
150000
Enem 2009 - Ciências da NaturezaConcluintes
150000
ENEM
50000
100000
150000
Freq
uênc
ia
50000
100000
150000
Freq
uênc
ia
média:
2992497 .. ±( )2143
55215....
±±
0 200 400 600 800 1000Nota da prova de Ciências da Natureza
0
10 20 30 40Total de acertos Ciências da Natureza
0
média:
4/25/2016
31
Correlação (0.93)
ENEM
250000
Enem 2010 - Ciências da Natureza
Concluintes
ENEM 2010ENEM
Freq
uênc
ia
300000
200000
100000
0
50000
100000
150000
200000
Freq
uênc
ia
Total de acertos em Ciências da Natureza
4540
3530
2520
1510
50
F 0
0 200 400 600 800 1000
Nota da prova de Ciências da Natureza
6814481 .. ±( )3113
75014....
±±
média: média:
4/25/2016
32
ENEM 2011ENEM
9850461 .. ±( )2113
65014....
±±
média: média:
ENEM
A nota na prova de Matemática segundo a TRI, para os concluintes do Enem 2010.
100000
80000
A nota na prova de Matemática segundo a TRI, para os concluintes do Enem 2009.
120000
100000
80000
Nota da prova de Matemática
925825
725625
525425
325
Freq
uênc
ia
60000
40000
20000
0
A nota na prova de Matemática segundo a TCT, para os concluintes do Enem 2009.
Nota da prova de Matemática
950850
750650
550450
350
Freq
uênc
ia
60000
40000
20000
0
300000
A nota na prova de Matemática segundo a TCT, para os concluintes do Enem 2010.
6464Total de acertos na prova de Matemática
4540
3530
2520
1510
50
Freq
uênc
ia
400000
300000
200000
100000
0
Total de acertos na prova de Matemática
4540
3530
2520
1510
50
Freq
uênc
ia
300000
200000
100000
0
4/25/2016
33
ENEM 2012
ENEM
Enem 2009 Enem 2010 Enem 2011Enem 2012
Escore Médio TRI 501,1 485,0 466,5 473,0
ENEM
Desvio Padrão TRI 98,5 81,2 85,1 79,9Mínimo TRI 263,3 297,3 265,0 315,8Máximo TRI 903,2 837,6 867,2 847,6Escore Médio TCT 3,4 3,2 3,2 3,0Desvio Padrão TCT 1,2 1,3 1,3 1,3Mínimo TCT 0,0 0,0 0,0 0,0Máximo TCT 10,0 9,8 9,8 9,8
Número de estudantes 863.018 1.059.227 1.268.791 1.278.394
4/25/2016
34
Diferenças por tipo de escola
Tipo de escola (sistema)
ENEM
Tipo de escola (sistema)(%) 2009 2010 2011 2012
Federal 1.7 1.7 1.7 1.9Estadual 75.0 75.5 76.4 74.9Munic. 1.6 1.4 1.2 1.1Privada 21 7 21 4 20 6 22 1Privada 21.7 21.4 20.6 22.1Total 100.0 100.0 99.9 100.0
Escore TRI Prova de Ciências da Natureza
Diferenças por tipo de escola
ENEM
Escore TRI – Prova de Ciências da Natureza
2009 2010 2011 2012Federal 599.9 ± 93.2 565.0 ± 78.4 546.9 ± 84.7 552.9 ± 82.1Estadual 472.2 ± 83.8 460.9 ± 69.7 439.8 ± 72.2 448.2 ± 64.4Municipal 480.3 ± 87.2 471.6 ± 73.1 455.0 ± 76.4 461.6 ± 70.4Privada 579.4 ± 100.3 547.8 ± 81.5 534.0 ± 88.9 536.5 ± 85.3Todos 497 2 ± 99 2 481 4 ± 81 6 461 0 ± 85 9 470 0 ± 79 8Todos 497.2 ± 99.2 481.4 ± 81.6 461.0 ± 85.9 470.0 ± 79.8
4/25/2016
35
Nota TCC – Ciências da Natureza
2009 2010 2011 2012Federal 21.1 ± 6.0 20.5 ± 6.5 20.2 ± 6.6 19.3 ± 7.3State 13.8 ± 4.4 13.0 ± 4.5 12.7 ± 4.3 11.6 ± 4.0City 14.2 ± 4.6 13.7 ± 4.8 13.7 ± 4.8 12.4 ± 4.6Private 19.9 ± 6.2 19.0 ± 6.6 19.1 ± 6.7 17.9 ± 7.2All 15.2 ± 5.5 14.0 ± 5.7 14.0 ± 5.6 13.0 ± 5.7
Nota TCC – Ciências da Natureza – de 0 a 10
2009 2010 2011 2012Federal 4.7 ± 1.3 4.7 ± 1.4 4.5 ± 1.5 4.3 ± 1.6State 3.1 ± 1.0 2.9 ± 1.0 2.8 ± 1.0 2.6 ± 1.0City 3.2 ± 1.0 3.0 ± 1.1 3.0 ± 1.1 2.8 ± 1.0Private 4.4 ± 1.4 4.2 ± 1.5 4.2 ± 1.5 4.0 ± 1.6All 3.4 ± 1.2 3.1 ± 1.3 3.1 ± 1.2 2.9 ± 1.3
Estudantes da rede federal (1.7% do total) têm d h i ifi ti t lh
Diferenças por tipo de escola
ENEM
desempenho significativamente melhor.Escolas estaduais (75% do total) têm desempenho pior.
Há impacto, favorável às escolas federais.Algumas questões também apresentam DIF, que pode ser
li d l t úd d it (f á l d f á l)explicado pelo conteúdo do item (favorável e desfavorável)
Escolas privadas (20%) apresentam desempenho melhor que as estaduais e pior que as federais.
4/25/2016
36
80
100 ENEM 2009 Prova de Ciências da Natureza
Percentual de acertos - Concluintes
ENEM
40
60
Perc
entu
al d
e ac
erto
média (33,9%)
01 03 05 07 09 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45Número da questão - Prova Azul
0
20
80
100 ENEM 2010 Prova de Ciências da Natureza
Percentual de acertos - Concluintes
ENEM
40
60
Perc
entu
al d
e ac
erto
média (32,0%)
46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90Número da questão - Prova Azul
0
20
4/25/2016
37
ENEM
7373
e agora – as questões de física no ENEM
4/25/2016
38
0 7
0.8
0.9
1
o
ENEM 2009 - Ciências da NaturezaICC - questão 17 (prova azul)
200 300 400 500 600 700 800 900Nota - CiNat
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Perc
entu
al d
e ac
ert
dados - concluintes ajuste - R
4/25/2016
39
passos cognitivos: lembrar (a expressão para aceleração centrípeta), calcular a velocidade (distância / intervalo de tempo) mudar unidades (horas e minutos/ intervalo de tempo), mudar unidades (horas e minutos para segundos), compreender (máxima aceleração 1 m/s2), e manipulação algébrica
este assunto está presente em praticamente todos os livros didáticos do país
quantitativa, exigindo conhecimento disciplinar, raciocínio lógico, …
é uma questão muito difícil
Análise qualitativa• A questão 17 foi, então, aplicada a diferentes estudantes com
características similares às dos estudantes que prestam o ENEM: cinco grupos de alunos, três compostos por alunos concluindo o ensino médio, pertencentes às redes privada, federal e estadual , p p ,de ensino, e os outros dois compostos por alunos cursando o primeiro ano de uma Universidade federal.
(Lucas Duarte, TCC Licenc. Física, 2013)
Respostas Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Total
A 8,9 12,5 3,5 21,8 3,9 9,7
B 2,2 43,8 9,4 16,4 11,5 12,3
C 2,2 25 16,5 12,7 7,7 12,3
D 4,4 0 7,1 10,9 3,9 6,6
E 60 0 48,2 20 34,6 38,8
Não Concluíram
22,2 18,8 15,3 18,2 38,5 20,3
Distribuição de respostas em percentagem dos alunos para o item 17.
4/25/2016
40
[J.C. Lopes 2015]
ENEM 2011 - Ciências da Natureza (Física) - Percentual de Escolha das Alternativas - Concluintes do Ensino Médio
Alternativa 46 54 56 60 63 66 67 70 73 74 77 78 80 84 86tivaA 29,212,538,116,312,516,113,624,914,723,217,625,817,425,4 9,9B 26,517,1 5,9 20,026,011,429,0 6,5 23,317,314,116,715,826,112,9C 13,036,128,022,418,325,620,227,722,124,923,818,723,512,143,8D 19,722,9 6,7 26,214,324,420,734,229,610,328,311,021,221,712,1E 11,210,821,014,628,422,016,0 6,3 9,8 23,815,627,321,514,120,7
Branco 0,2 0,4 0,2 0,4 0,2 0,3 0,3 0,3 0,5 0,4 0,4 0,3 0,4 0,4 0,4Inválido 0,1 0,1 0,2 0,1 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2
[Lopes, Rubini, Massunaga, Barroso2015]
TOTAL 100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
100,0
4/25/2016
41
Curvas Características dos ItensQuestões de Física (CN), ENEM 2011Concluintes (numeração: prova azul)- modelo de 3 parâmetros (R, ltm)- empírica (todos, federais)
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
1.00
Fraç
ão d
as r
espo
stas
cor
reta
sempíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 46
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
1.00
Fraç
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 54
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
1.00
Fraç
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do Item Enem 2011 CN - 56
1.00empírico
Curva Característica do Item Enem 2011 CN - 60
1.00empírico
Curva Característica do ItemEnem 2011 CN - 63
1.00empírico
Curva Característica do ItemEnem 2011 CN - 66
1.00empírico
Curva Característica do Item Enem 2011 CN - 67
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
Fraç
ão d
as r
espo
stas
cor
reta
s
ajuste TRI
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
Fraç
ão d
as r
espo
stas
cor
reta
s
ajuste TRI
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
Fraç
ão d
as r
espo
stas
cor
reta
s
ajuste TRI
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
0.80
Fraç
ão d
as r
espo
stas
cor
reta
s
ajuste TRI
0.80
1.00
etas
empíricoajuste TRI
Curva Característica do Item Enem 2011 CN - 70
0.80
1.00
etas
empíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 73
0.80
1.00
etas
empíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 74
0.80
1.00
etas
empíricoajuste TRI
Curva Característica do Item Enem 2011 CN - 77
0.40
0.60
0.80
1.00
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do Item Enem 2011 CN - 86
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
Fraç
ão d
as r
espo
stas
cor
re
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
Fraç
ão d
as r
espo
stas
cor
re
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
Fraç
ão d
as r
espo
stas
cor
re
0 200 400 600 800 1000escore TRI
0.00
0.20
0.40
0.60
Fraç
ão d
as r
espo
stas
cor
re
0.40
0.60
0.80
1.00
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do Item Enem 2011 CN - 78
0.40
0.60
0.80
1.00
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 80
0.40
0.60
0.80
1.00
ão d
as r
espo
stas
cor
reta
s
empíricoajuste TRI
Curva Característica do ItemEnem 2011 CN - 84
0 200 400 600 800 1000escore TRI
0.00
0.20Fraç
ã
0 200 400 600 800 1000escore TRI
0.00
0.20Fraç
ã
0 200 400 600 800 1000escore TRI
0.00
0.20Fraç
ã
0 200 400 600 800 1000escore TRI
0.00
0.20Fraç
ã
4/25/2016
42
4/25/2016
43
Gonçalves Jr. 2012
O perfil desse exame que emerge da análise: itens predominantemente qualitativos, extensos e contextualizados.
Gonçalves Jr. - Conclusões
Os itens podem ser associados a mais de uma habilidade (unidimensionalidade na TRI ?);Distribuição não homogênea dos objetos de conhecimento nos itens (currículos do ensino médio);Questões que envolvem raciocínios quantitativos apresentam percentuais de acerto menores;Itens que possuem exigência de conhecimento especifico de física tem percentuais de acertos menores;
4/25/2016
44
Dificuldades:- questões que envolvem resolução de problemas (mais de um passo cognitivo)
tõ l d í i d
Inferências
- questões que envolvem domínio de atividades práticas-questões que envolvem raciocínioquantitativo- questões que envolvem linguagem nãoverbalverbal- questões que exigem compreensãoconceitual profunda- professores com dificuldades similares
4/25/2016
45
Conclusões
O Enem permite um diagnóstico um pouco melhor do que está acontecendo com o processo de aprendizagem em física no ensino médio.
E há muito trabalho pela frente ainda…
ReferênciasP. Black. Testing: Friend or Foe? Theory and Practice of Assessmentand Testing. RoutledgeFalmer, 1998.W.P. Gonçalves Jr. Avaliações em Larga Escala e o Professor de Física. Dissertação, IF-UFRJ, 2012 (www.if.ufrj.br/pef/producao_academica/dissertacoes.html)E Babbie Métodos de pesquisas de Survey Tradução de GuilhermeE. Babbie, Métodos de pesquisas de Survey. Tradução de Guilherme Cezarino, Belo Horizonte: Ed. UFMG, 1999. E.D. Britton e S.A. Schneider, Large-Scale Assessments. In S.K. Abell e N.G. Lederman, Handbook of Research on Science Education. Laurence Erlbaum Associates, 2007.R. K. Hambleton, H. Swaminathan, H.J. Rogers. Fundamentals of Item Response Theory. Sage Publications, 1991.W P G l J M F B A tõ d Fí iW.P. Gonçalves Jr e M.F. Barroso. As questões de Física e o desempenho dos estudantes no Enem. Revista Brasileira de Ensino de Física, 2014.J. C. Lopes. As questões de física do Enem 2011. Dissertação, IF-UFRJ, 2015.J.C. Lopes, G. Rubini, M.S.O. Massunaga, M. F. Barroso, Estudo das questões de física do Enem 2011. Simpósio da ABAVE 2015.