Avaliação da Educação Superior Brasileira: contextualização, desafios e ... VIII For… ·...
Transcript of Avaliação da Educação Superior Brasileira: contextualização, desafios e ... VIII For… ·...
Avaliação da Educação Superior Brasileira:
contextualização, desafios e perspectivas
Maria Inês Fini Presidente do INEP
Brasília-DF | Mês 2017
1. Principais dados da Educação Superior Brasileira
Quantitativo de IES no Brasil, de 2000 a 2015
Fonte: Inep/Censup 2000 a 2015
176 183 195 207 224 231 248 249 236 245 278 284 304 301 298 295
1004
1208 1442
1652 1789
1934 2022 2032 2016 2069 2100 2081 2112 2090 2070 2069
1180
1391 1637
1859 2013
2165 2270 2281 2252 2314 2378 2365 2416 2391 2368 2364
0
500
1000
1500
2000
2500
3000
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Pública Privada Total
Quantidade de IES no Brasil, em 2015, por Categoria Administrativa
Fonte: Inep/Censup 2015
0
500
1000
1500
2000
2500
Federais Estaduais Municipais Privadas Total
107 120 68
2069
2364
Quantidade de IES no Brasil, em 2015, por Organização Acadêmica e Categoria Administrativa
Fonte: Inep/Censup 2015
0
500
1000
1500
2000
Universidades Centros Universitários Faculdades IF/CEFET
63 0 4 40 38 1 81
0 6 8 54 0 88 140
1841
0
195 149
1980
40
Federais Estaduais Municipais Privadas Total
Quantidade de Cursos no Brasil, em 2015, por Grau Acadêmico
Fonte: Inep/Censup 2015
0
5.000
10.000
15.000
20.000
25.000
30.000
35.000
Bacharelado Licenciatura Tecnólogo Total
19.254
7.629 6.618
33.501
Quantidade de Matrículas no Brasil, em 2015, por Grau Acadêmico
Fonte: Inep/Censup 2015
0
1.000.000
2.000.000
3.000.000
4.000.000
5.000.000
6.000.000
7.000.000
8.000.000
Bacharelado Licenciatura Tecnólogo Não-Aplicável Total
5.516.151
1.471.930 1.010.142
29074
8.027.297
Quantidade de Concluintes no Brasil, em 2015, por Grau Acadêmico
Bacharelado Licenciatura Tecnólogo Total
Pública 141.426 78.941 19.529 239.896
Federal 87.529 39.391 7.527 134.447
Estadual 40.884 34.930 10.956 86.770
Municipal 13.013 4.620 1.046 18.679
Privada 539.239 158.877 212.055 910.171
Total 680.665 237.818 231.584 1.150.067
Fonte: Inep/Censup 2015
EDUCAÇÃO SUPERIOR: DESAFIOS DECORRENTES DE SUAS CARACTERÍSTICAS
• O tamanho do sistema X acompanhamento da qualidade X condições de oferta de curso de graduação X complexidade dos processos avaliativos.
• A diversidade de natureza administrativa e de formas de organização acadêmica das IES: desafios para os processos de avaliação, regulação e supervisão do Sistema.
2. Legislação relacionada à Educação Superior
LEGISLAÇÃO
Lei nº 13.005/2014 Plano Nacional da Educação (PNE)
Constituição Federal – 1988
Lei nº 9.394/1996 Lei de Diretrizes e Bases da Educação Nacional (LDBEN)
Lei nº 10.861/2004 Sistema Nacional de Avaliação da Educação Superior (Sinaes)
Decreto nº 5.773/2006 (em revisão) Exercício das funções de regulação, supervisão e avaliação
Portaria Normativa MEC nº 40/2007 (2010) (em revisão) Normativa os processos de regulação, supervisão e avaliação
SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR Lei nº 10.861/2004
• O Sinaes foi instituído “[...] com o objetivo de assegurar processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes [...]” (Art. 1º, Lei nº 10.861/2004).
• “A realização da avaliação das instituições, dos cursos e do desempenho dos estudantes será responsabilidade do INEP” (Art. 8º, Lei nº
10.861/2004), sob a coordenação da Comissão Nacional de Avaliação da Educação Superior (Conaes).
FUNÇÕES DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Decreto nº 5.773/2006
REGULAÇÃO SUPERVISÃO
AVALIAÇÃO
Realizada por atos autorizativos de IES e de cursos de graduação
(credenciamento, recredenciamento, autorização, reconhecimento e renovação de reconhecimento)
Objetivo de zelar pela qualidade da oferta de Educação Superior no
Sistema Federal
Processo formativo e referencial para a regulação e supervisão da Educação Superior, a fim de promover a
melhoria de sua qualidade
Secretaria de Regulação e Supervisão da
Educação Superior (Seres)
Inep
• A Portaria Normativa MEC nº 40/2007, reeditada e republicada em 29 de dezembro de 2010, trata do fluxo e gerenciamento dos processos de regulação, supervisão e avaliação via sistema eletrônico, tornado efetivo o caráter público dos resultados da avaliação.
• Dentre outros aspectos da avaliação, consolida disposições sobre Enade e os indicadores de qualidade, reafirmando o papel do Inep como responsável pela operacionalização do Sinaes, sob a orientação da Conaes.
PROCESSOS DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Portaria Normativa MEC nº 40/2007 (2010)
INTERAÇÃO ENTRE AVALIAÇÃO E REGULAÇÃO IES protocola o pedido e insere documentação
e-MEC
Secretaria Reguladora analisa
documentos postados
Despacho Saneador
Início da Fase de Avaliação
Criação da Avaliação
Abertura do Formulário Eletrônico
Sorteio da Comissão de
Avaliação
Visita e Elaboração de Relatório de
Avaliação
Disponibilização do Relatório para a IES e Seres
CTAA
Publicação do Ato Autorizativo
Há impugnação
?
Legenda: Instância do Processo
SERES INEP CTAA
3. Sistema Nacional de Avaliação da Educação Superior
• O que se espera a partir dos resultados do Sinaes?
Melhorar a qualidade da Educação Superior, orientar a expansão da oferta.
Identificar mérito e valor das instituições, áreas, cursos e programas nas dimensões de ensino, pesquisa, extensão, gestão e formação.
Promover a responsabilidade social das Instituições de Educação Superior (IES), respeitando a identidade institucional e a autonomia.
SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR
FORMAS DO PROCESSO DE AVALIAÇÃO
• Estão previstos processos avaliativos vinculados a: (Portaria nº 40/2007-2010)
Exame Nacional de Desempenho de Estudantes (Enade). Realizado para aferir conhecimentos, competências e habilidades
desenvolvidas pelo estudante ao longo do curso.
Avaliações in loco. Realizada com uma abordagem mais qualitativa de avaliação sobre as
condições de oferta dos cursos de graduação e da estrutura das IES.
Indicadores de Qualidade da Educação Superior. Produzidos com uma abordagem mais quantitativa, subsidiando os
processos de avaliação in loco.
ABRANGÊNCIA DO PROCESSO DE AVALIAÇÃO
• O Sinaes promove o processo de avaliação da qualidade de: Estudantes – avaliação de desempenho dos estudantes.
Resultados: nota do estudante no Enade e Conceito Enade para cursos.
Cursos de graduação – avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento (visita in loco); indicadores de qualidade sobre cursos.
Resultado: Conceito de Curso (CC) e Conceito Preliminar de Curso (CPC).
IES – autoavaliação e avaliação institucional (visita in loco) para fins de credenciamento e recredenciamento; indicador de qualidade sobre IES. Resultado: Conceito Institucional (CI), Relatório de Autoavaliação e
Índice Geral de Cursos Avaliados da Instituição (IGC).
Enade
CICLO AVALIATIVO
• Está previsto Ciclo Avaliativo composto por 3 (três) anos:(Portaria nº 40/2007-2010)
Áreas - Bacharelados e Licenciaturas Ano I - Saúde, Ciências Agrárias e áreas afins (2016). Ano II - Ciências Exatas, Licenciaturas e áreas afins (2017). Ano III - Ciências Sociais Aplicadas, Ciências Humanas e áreas afins (2015).
Eixos Tecnológicos Ano I - Ambiente e Saúde, Produção Alimentícia, Recursos Naturais, Militar
e Segurança (2016). Ano II - Controle e Processos Industriais, Informação e Comunicação,
Infraestrutura, Produção Industrial (2017). Ano III - Gestão e Negócios, Apoio Escolar, Hospitalidade e Lazer, Produção
Cultural e Design (2015).
ENADE
• Ações vinculadas às áreas de avaliação do Enade:
Elaboração e aplicação das provas.
Cálculo e divulgação dos Indicadores de Qualidade (ano subsequente à aplicação do Enade).
Determina medidas de regulação realizadas pela Secretaria de Regulação e Supervisão (Seres) do MEC (ano subsequente à aplicação do Enade).
Inep
ENADE
• Instrumentos aplicados no Enade:
Questionário do Estudante
Questionário do Coordenador
Prova DIMENSÕES DO INSTRUMENTO TIPO DE ITEM NOTA ENADE
ENADE
Formação Geral (FG) 8 de múltipla escolha
25% 2 discursivas
Conhecimento Específico (CE) 27 de múltipla escolha
75% 3 discursivas
Quantidade de Estudantes Inscritos 2004 a 2016 (valores aproximados - em unidades de milhar)
140
277
387
190
382
803
411
303
470
196
483 552
214
0
200
400
600
800
1000
2004 2006 2008 2010 2012 2014 2016
Fonte: Inep/Censup 2016 *Ano de 2016: quantidade prévia do total de inscrições
*
Avaliação in loco
AVALIAÇÃO IN LOCO
• Utilização de procedimentos e instrumentos estruturados pelo Inep e aprovados pela Conaes.
Avaliação de IES: busca identificar como a missão e o perfil da instituição e sua atuação na sociedade expressam-se nas atividades, cursos, programas e projetos realizados, considerando diferentes dimensões institucionais.
Avaliação de curso de graduação: busca identificar as características do projeto formativo e as condições de oferta do curso aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.
AVALIAÇÃO IN LOCO
• Subsídios da Avaliação in loco para os Processos de Regulação da Educação Superior:
Cursos de graduação – avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento.
Resultado: o Conceito de Curso (CC);
IES – avaliação institucional para fins de credenciamento e recredenciamento.
Resultado: o Conceito Institucional (CI).
DIMENSÕES DA AVALIAÇÃO DE CURSOS
Como ?
Quem ?
Onde ?
DIMENSÃO 1
Organização didático-
pedagógica
DIMENSÃO 2
Corpo docente e tutorial
DIMENSÃO 3
Infraestrutura
Quantidade de Cursos avaliados in loco
DIMENSÃO 2
Corpo docente e tutorial
DIMENSÃO 3
Infraestrutura 1908
2628
3134
2302 2287
580
3191
4670
4317
3977
5019 4974
2262
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Avaliação in loco por ato no ano de 2016
DIMENSÃO 2
Corpo docente e tutorial
DIMENSÃO 3
Infraestrutura
Ato Quantidade Aditamento - Credenciamento de Polo de Apoio Presencial 208 Autorização vinculada ao credenciamento 64 Autorização 711 Credenciamento 117 Credenciamento Centro Universitário 13 Credenciamento de Escola de Governo 4 Credenciamento EAD 251 Credenciamento Lato Sensu EAD 11 Reavaliação de Curso 5 Reconhecimento de Curso 781 Reconhecimento de Curso EAD 117 Recredenciamento 226 Recredenciamento EAD 160 Renovação de Reconhecimento de Curso 693 Renovação de Reconhecimento de Curso EAD 6 Total Geral 3.663
Indicadores de Qualidade
INDICADORES DE QUALIDADE
• Segundo a Portaria Normativa MEC nº 40/2007 (2010), são Indicadores de Qualidade da Educação Superior:
Conceito Enade
Conceito Preliminar de Curso (CPC)
Índice Geral de Cursos Avaliados da Instituição (IGC)
• Esses indicadores de qualidade mantêm relação direta com o Ciclo Avaliativo, sendo os cursos avaliados segundo as áreas de avaliação vinculadas aos Anos do Ciclo Avaliativo.
INDICADORES DE QUALIDADE
• Todos os indicadores são expressos em faixas, descritas em uma escalada discreta crescente de valores de 1 (um) a 5 (cinco).
Os indicadores são calculados a partir de componentes.
Os valores brutos atribuídos aos componentes são padronizados e reescalonados para serem expressos em valores contínuos de 0 (zero) a 5 (cinco).
Os valores discrepantes (outliers) são desconsiderados como valores mínimo e máximo no processo de reescalonamento.
• Antes do cálculo final, todas as IES têm acesso aos insumos de cálculo e podem se manifestar no Sistema e-MEC.
FAIXAS DOS INDICADORES DE QUALIDADE
CONCEITO NCj (Faixa) (Valor Contínuo)
1 0,000 ≤ NCj < 0,945
2 0,945 ≤ NCj < 1,945
3 1,945 ≤ NCj < 2,945
4 2,945 ≤ NCj < 3,945
5 3,945 ≤ NCj ≤ 5,000
Tabela de conversão das notas expressas em valor contínuo para Faixas dos Indicadores de Qualidade
CONCEITO ENADE
• O Conceito Enade é um indicador de qualidade calculado a partir dos desempenhos dos estudantes concluintes dos cursos de graduação no Enade.
É resultante da média ponderada da nota padronizada dos concluintes na Formação Geral (25%) e no Conhecimento Específico (75%).
Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.
Quantidade de Cursos Avaliados 2004 a 2016
2184
5511 5701
3238
7329 6804
4281
8814
7228
3701
9994
8144
4300
0
2000
4000
6000
8000
10000
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Cursos por Faixa do Conceito Enade 2015
3,362%
26,918%
42,729%
18,803%
4,975% 3,202%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
1 2 3 4 5 Sem Conceito
CONCEITO PRELIMINAR DE CURSO (CPC)
• O CPC é um indicador de qualidade que agrega diferentes variáveis que expressam:
resultados da avaliação de desempenho de estudantes;
titulação e regime de trabalho do corpo docente;
valor agregado pelo processo formativo oferecido pelo curso de graduação;
percepções dos estudantes sobre a organização didático-pedagógica, infraestrutura e as oportunidades de ampliação da formação acadêmica e profissional .
Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.
• .
CONCEITO PRELIMINAR DE CURSO (CPC) DIMENSÃO COMPONENTES PESOS
Desempenho dos Estudantes Nota dos Concluintes no Enade (NC) 20,0%
Valor Agregado Nota do Indicador de Diferença entre
os Desempenhos Observados e Esperados (NIDD)
35,0%
Corpo Docente
Nota de Proporção de Mestres (NM) 7,5%
30,0% Nota de Proporção de Doutores (ND) 15,0%
Nota de Regime de Trabalho (NR) 7,5%
Percepção Discente sobre as Condições do Processo Formativo
Nota Referente à Organização Didático-pedagógica (NO)
7,5%
15,0%
Nota Referente à Infraestrutura e Instalações Físicas (NF)
5,0%
Nota Referente às Oportunidades de Ampliação da Formação Acadêmica e
Profissional (NA) 2,5%
Cursos por faixa do CPC 2015
,296%
11,045%
57,678%
26,536%
1,244% 3,202%
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 Sem Conceito
,301%
11,178%
58,294%
25,505%
1,374% 3,349% ,265%
10,229%
53,880%
32,892%
,441% 2,293% 0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5 Sem Conceito
Privadas Públicas
Cursos por faixa do CPC 2015
Públ icas e Privadas
ÍNDICE GERAL DE CURSOS AVALIADOS DA INSTITUIÇÃO (IGC)
• Calculado, por IES, considerando:
Média dos CPC dos cursos avaliados da instituição, no triênio de referência, ponderada pelo número de matrículas.
Média dos conceitos da avaliação trienal da Capes dos programas de pós-graduação stricto sensu, ponderada pelo número de matrículas.
• Para instituições sem programas de pós-graduação stricto sensu avaliados pela Capes, o IGC é a média ponderada dos CPC de seus cursos de graduação.
IES por faixa do IGC 2015
,427%
14,414%
66,999%
16,643%
1,138% ,379% 0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 Sem Conceito
IGC 2015
(Públicas e Privadas)
,373%
12,313%
53,731%
27,985%
4,851% ,746% ,435%
14,720%
68,930%
14,992%
,598% ,326% 0%
10%
20%
30%
40%
50%
60%
70%
1 2 3 4 5 Sem Conceito
Públicas Privadas
INDICADORES DE QUALIDADE
Desempenhos como
Concluinte de cursos de graduação
(Enade)
Conceito Enade
Conceito Preliminar de Curso
(CPC)
Desempenhos como Ingressante do curso
do graduação avaliado (Ingressantes de 2011 a 2013/
concluintes após 2013)
(Enem)
Índice Geral de Cursos
(IGC)
IDD
Corpo Docente (Censup)
Questionário do Estudante
(Enade)
Pós-Graduação (Capes)
Componentes dos cálculos
INDICADORES DE QUALIDADE
• As Notas Técnicas sobre os cálculos e estudos realizados para mudanças dos indicadores e/ou de seus componentes são disponibilizadas no sítio oficial do Inep.
http://portal.inep.gov.br/educacao-superior/indicadores/notas-tecnicas
LIMITES E POSSIBILIDADES
• LIMITES
Por melhores que sejam, são Indicadores e não um retrato das condições concretas dos processos formativos e estrutura das IES, portanto, não substituem a avaliação in loco.
Expressam valores relativos e não absolutos.
Não são comparáveis entre suas edições.
Implementação de ajustes em indicadores utilizados para fins de regulação, supervisão e financiamento.
LIMITES E POSSIBILIDADES
• POSSIBILIDADES
Aprimoramento dos indicadores existentes para que estimem melhor as condições de oferta dos cursos e da estrutura das IES.
Substituir as escalas de estimação da qualidade para que possam expressar mensurações e valorações absolutas (não relativas).
Composição de escalas de valores que permitam a comparação entre as edições dos indicadores.
Composição de uma “cesta de indicadores” para subsidiar processos decisórios e de avaliação de políticas públicas de naturezas e finalidades diversas, ao invés se utilizar um mesmo indicadores compostos nos referidos processos.
INDICADORES DE QUALIDADE
• Os Indicadores de Qualidade têm sido indutores de qualidade, como no caso do CPC:
Titulação do corpo docente.
Infraestrutura.
Oportunidades de ampliação da formação acadêmica e profissional .
RESULTADOS DA AVALIAÇÃO
• A disseminação dos resultados da avaliação interessa a diversos segmentos sociais.
Instituições de Educação Superior: utilizam as informações para decisões de políticas institucionais.
Secretarias do MEC: adotam resultados para fins de regulação e supervisão da Educação Superior .
Gestores públicos em Educação Superior: utilizam dados para elaborar e orientar ações e políticas educacionais.
Pesquisadores: utilizam os dados em trabalhos acadêmicos.
Sociedade em geral: obtém elementos para conhecer melhor um curso e/ou IES de interesse.
• Diante da quantidade de IES e cursos avaliados pelo Sinaes, destacam-se os seguintes desafios:
ENADE
Aplicação do Enade aos estudantes de todas as áreas de maneira censitária anualmente.
Estimação do valor agregado ao estudante pelo curso de graduação.
Estruturação de provas que apreendam competências e habilidades não mensuradas no formato atual.
DESAFIOS DO PROCESSO DE AVALIAÇÃO
DESAFIOS DO PROCESSO DE AVALIAÇÃO
AVALIAÇÃO IN LOCO
Realização de avaliações in loco de todos os cursos dentro dos Ciclos Avaliativos.
Formação de Avaliadores que extrapolem a checagem de itens e avance para uma visão mais ampla de avaliação.
Disponibilização de resultados detalhados da avaliação in loco de forma consolidada.
• Dada a dificuldade de se realizar avaliações in loco de todos os cursos abarcados pelo Sinaes, passou-se a fazer uso de Indicadores de Qualidade para subsidiar os processos de regulação e supervisão.
Não tem por objetivo estabelecer ranking, mas conforma uma alternativa para o acompanhamento da qualidade do conjunto de IES e cursos avaliados pelo Sinaes.
Uma questão fundamental para o debate sobre a atuação do Inep: para quê fins se destinam os Indicadores de Qualidade da Educação Superior?
DESAFIOS DO PROCESSO DE AVALIAÇÃO
DESAFIOS DO PROCESSO DE AVALIAÇÃO
SINAES
Estruturação e implementação de processos avaliativos que contemplem a diversidade e as características regionais.
Integração dos instrumentos avaliativos e dos resultados obtidos a partir das avaliações in loco e dos Indicadores de Qualidade.
MUITO OBRIGADA!