Em primeiro de setembro de 2017, o MEC liberou as notas médias dos estudantes que realizaram o Exame Nacional de Desempenho de Estudantes (ENADE) 2016. Cada curso é avaliado num intervalo máximo de 3 anos e a participação dos estudantes é obrigatória, segundo o site do INEP (http://inep.gov.br/enade).
Naturalmente, as notas médias do ENADE são utilizadas por estudantes para uma rivalidade de que meu curso é melhor que o seu, com poucas pessoas realmente se interessando pelos detalhes dos resultados divulgados.
De fato, os conceitos de 1 a 5 são conceitos padronizados a partir da média, o que mostra que uma instituição apresentou um resultado melhor do que o outro, ainda que todos os cursos avaliados tenham apresentado um resultado muito ruim. Mesmo que todas as intituições apresentem nota média acima de 90%, sempre haverá faculdades com conceitos variando de 1 a 5. Certamente um conceito 1 nessa situação seria um resultado muito satisfatório da instituição, apesar da provocação que receberia de alunos de outras instituições. O contrário também é correto: caso todas as escolas apresentem um resultado ruim, ainda haveria instituições com conceitos 4 e 5.
Uma nota 5 não necessariamente poderá ser comemorada, pois a média final foi baixa. Alunos de instituições que tiraram conceito 5, mas que apresentaram uma média baixa podem argumentar: mas se a prova foi difícil, todos foram mal e a gente conseguiu se destacar em relação a eles.
Esse argumento é falho pois a função do ENADE não é (ou não deveria ser) dizer que uma escola está se formando em relação a outra, mas sim se os alunos estão atingindo os conhecimentos esperados de um graduando naquela área. Não se pode considerar satisfatório que alunos graduem sabendo apenas 50% do conhecimento esperado, apesar de um conceito 5.
Como a nota e o conceito do ENADE são obtidos ?
A nota final de cada instituição é a soma entre a média das notas das provas de conhecimentos gerais multiplicada pelo peso de 0,25 e a média das notas das provas de conhecimentos específicos multiplicada pelo peso de 0,75. O conceito é obtido ao subtrair a nota da instituição pela nota média dos cursos e dividindo o resultado pelo desvio padrão das notas de todas as instituições. Cursos com nota inferior a 2 desvios-padrões (DPs) da média obtem conceito 1 e instituições com 2 DPs acima da média geral obtêm conceito 5.
E o resultado dos cursos médicos no ENADE ?
As faculdades de medicina apresentaram médias bastante diferentes dos demais cursos avaliados. A média geral foi de cerca de 60%. Isso criou uma distorção nos resultados.
Apesar de boa parte das faculdades apresentarem médias acima de 60%, apenas 3 instituições obtiveram conceito 5 no ENADE: a Universidade Federal de Viçosa (UFV), a Faculdade de Medicina de São José do Rio Preto (FAMERP) e a Universidade Estadual do Ceará (UECE), sendo que as duas últimas ficaram muito próximas de receberem conceito 4. A FAMERP recebeu conceito contínuo de 4,02 e UECE apresentou um conceito contínuo de 3,98.
Ou seja, por pouco, não houve apenas uma instituição com conceito 5. Mesmo as instituições que receberam nota 1 e 2 obtiveram médias entre 50% e 62,2%, o que não é um resultado que pode ser considerado bom para alguém que está concluindo um curso, mas que seria conceito 5 em boa dos outros cursos avaliados no mesmo ENADE. Mesmo sendo provas completamente diferentes, como não se trata de uma competição, mas um exame para avaliar o aprendizado final do aluno em relação ao conhecimento que é esperado, obter 60% na nota deveria significar a mesma coisa: que o aluno aprendeu 60% do que era esperado dele ao final do curso.
Alguns cursos, como fisioterapia, zootecnia, enfermagem e educação física apresentaram notas médias bastante baixas (39,4%, 40,5%, 42% e 43,1%, respectivamente), o fez com que um percentual mais elevado de faculdades apresentassem conceitos 5, acima do esperado de uma distribuição normal (2,5%).
Tabela 1 - Média geral dos cursos avaliados pelo ENADE em 2016
Mas por que isso aconteceu ?
Como explicado no início no texto, quando a média é elevada, é bastante difícil obter uma grande variação acima da média. Para baixo, é mais fácil que as instituições se afastem da média, pois algumas instituições podem não valorizar o ENADE, ou os alunos não sentirem qualquer motivação para realizar o teste, pois isso em nada afeta seu futuro de forma individual. Poucas são instituições são efetivamente incentivadas a terem um bom rendimento no ENADE. Apenas aquelas que precisam melhorar o conceito são efetivamente estimuladas com incentivos aos estudantes.
Infelizmente, algumas escolas colocam poucos alunos para realizarem as provas, principalmente os alunos com melhores rendimentos, utilizando a possibilidade de realização da prova por amostragem. Não dá pra afirmar quais são essas instituiçoes, mas algumas apresentam números de inscritos bem abaixo da média. Uma pesquisa mais aprofundada deveria ser feita para verificar a quantidade de formandos de cada instituição e quantos foram fazer o exame.
O fato é que faculdades menos conhecidas apareceram em destaque, mas com um número de participantes geralmente menor que 50 alunos, que pode ser o número real de graduandos. Apesar da página do INEP informar que a participação é obrigatória, consta que cada instituição deve submeter ao menos 20% dos formandos para participar do exame, com a seleção feita por amostragem. A UFMG, por exemplo, que teve 305 alunos realizando a prova e apresentou o 18º melhor resultado certamente teria ido melhor se apenas os 60 melhores alunos da instituição fossem realizar a prova. A média obtida pelos estudantes desta instituição é notadamente elevada (70,01%) para uma quantidade tão grande de graduandos.
Uma correção feita pelo INEP para o ENADE de 2017, que não terá a participação da medicina, é que a participação será feita de forma censitária: todos os alunos que estão graduando deverão realizar a prova (http://inep.gov.br/web/guest/perguntas-frequentes4). A seleção por amostragem não será mais permitida.
O fenômeno Viçosa
O resultado apresentado pela UFV é realmente muito fora da curva. Sem conhecer como o resultado foi obtido, fica dificil chegar a alguma conclusão. A probabilidade desse resultado ser apenas devido ao acaso é de menos de 1%. Ou seja, é provável que tenha ocorrido algo para um resultado tão diferente e certamente deve ser estudado. A média em conhecimentos específicos foi 80%, muito acima da UECE, segunda colocada, que ficou com média de 74,9%. Como é improvável que tenha muitos alunos que tenham gabaritado a prova para puxar a média para cima, o mais provável é que boa parte da turma tenha concentrado sua nota próximo dessa média, o que é um resultado notável para qualquer avaliação. Entender como esse resultado foi obtido é importante, pois pode haver algum novo método inovador ou podemos ter alunos realmente comprometidos com a realização desse exame, inclusive estudando para a sua realização.
E o que fazer com esse conceito ?
Escolas que obtiveram conceitos 1 e 2 apresentaram resultados bem abaixo da média do curso e provavelmente esse resultado não ocorreu ao acaso, principalmente nas instituições com conceito 1. Alunos e diretores dessas intituições devem buscar entender o que está acontecendo para buscar o aprimoramento desses cursos.
As instituições que obstiveram conceito 4 e 5, mesmo com médias elevadas, certamente apresentam problemas que não devem ser escondidos dentro de um bom conceito. Trabalho numa instituição que obteve conceitos 5, 5, 5 e 4 nos ENADES de 2007, 2010, 2013 e 2016 e, apesar dos excelentes resultados na avaliação, temos problemas crônicos a serem resolvidos, como a falta de professores, falta de uma estrutura acadêmica adequada, sem internet de qualidade, com uma biblioteca interditada há mais 1 ano, entre outros.
Alunos com uma formação ruim também não podem se esconder dentro de um guarda-chuva de uma escola com média elevada. Nem todos os alunos de uma faculdade com conceito 4 e 5 são bons e existem muitos bons alunos em instituições com conceitos 1 e 2. O conceito da instituição não serve para a avaliação individual do graduando. E como cada aluno recebe sua nota do ENADE, é possível descobrir um conceito individual dividindo a nota final pela média e dividindo pelo desvio padrão das notas.
Referências:
http://inep.gov.br/web/guest/perguntas-frequentes4