Diferentes participantes da comunidade educacional brasileira têm debatido, sob seus diferentes pontos de vista, a questão da substituição do “ENEM por Escola” pelo “Saeb por Escola”. Em especial, a amiga Silvana Leporace, do Colégio Dante Alighieri, aqui de São Paulo, me inspirou com suas perguntas a escrever este post.
“Haverá ranking das escolas já em 2018 pelo Saeb?” ou “Quais são os prós e contras para uma escola privada participar do Saeb?” Essas são questões essenciais e não há um diretor responsável que não esteja pensando sobre elas.
Iniciemos com uma análise técnica dessas questões.
Os parágrafos a seguir, disponíveis aqui, nos dão uma resposta oficial para a pergunta “quando e como será a divulgação dos resultados?”.
“Os resultados preliminares do Saeb 2017 serão liberados para diretores das escolas em maio de 2018. Eles terão prazo de 15 dias consecutivos para recorrerem ao Inep, apresentando justificativas que fundamentem a solicitação. O Inep responderá os recursos até a data de divulgação final dos resultados.
Só serão divulgados para a sociedade os resultados das escolas (com exceção das sorteadas como amostra) que, cumulativamente, tiverem pelo menos dez alunos presentes no momento da aplicação dos instrumentos e alcançarem uma taxa de participação de ao menos 80% dos alunos matriculados, conforme dados declarados ao censo escolar de 2017.
(...)
Os resultados finais do Saeb 2017 serão divulgados até agosto de 2018, por meio do Boletim da Escola ou do Painel Educacional, no caso de estados e municípios. Ambos estarão disponíveis no portal do Inep. Os resultados apresentarão a distribuição percentual dos alunos em cada um dos níveis da escala de proficiência, por área do conhecimento, para escolas, municípios e estados, bem como os demais estratos de interesse da avaliação. Também serão divulgados indicadores sobre as condições em que ocorre o trabalho pedagógico escolar.”
Dizer que os resultados apresentarão a distribuição percentual dos alunos nos níveis de proficiência significa dizer que serão mais detalhados do que apenas o cálculo das médias. Dizer que a média da Escola 1 é 388,0 e a média da Escola 2 é 360,5 é uma simplificação grande do resultado, pois cada aluno obteve uma pontuação variada em torno da média. O Saeb define, portanto, níveis de proficiência e, de acordo com o texto do INEP/MEC, irá divulgar o resultado mostrando o percentual de alunos em cada nível.
O gráfico abaixo ilustra como este resultado poderá ser divulgado para as Escolas 1 e 2 fictícias do nosso exemplo. Creio que os resultados de duas escolas não serão divulgados juntos, mas fiz o gráfico comparativo para ajudar o leitor a entender melhor o que significa comparar distribuições percentuais ao invés de comparar médias. A Escola 1 já tem muitos alunos no nível 7 e a Escola 2 tem sua maioria no nível 6. Se estes dois níveis tiverem uma descrição do aprendizado que representam, ambas podem definir estratégias mais adequadas às suas necessidades.
O INEP também se compromete a fazer uma divulgação prévia exclusiva para o diretor de cada escola, que poderá apresentar seus recursos, e irá divulgar publicamente os resultados apenas das escolas que atenderem a critérios de alta participação de seus alunos.
Outras estratificações de resultados serão apresentadas, mas o texto indica que não é finalidade do Saeb fazer o ranking das médias das escolas. No entanto, para além desta análise técnica, assim com aconteceu com o ENEM 2016, se os microdados forem divulgados, os rankings serão feitos. E os microdados serão divulgados, o INEP não costuma bloquear acesso a informação.
Refletindo para além das explicações técnicas, há mudanças importantes na lógica do ENEM para o Saeb. Em primeiro lugar, pela primeira vez está sendo feita uma avaliação da Escola em que é ela quem escolhe se participa. Para o ENEM, quem se inscreve são os alunos, porque desejam aprovação nas Universidades, e a Escola sai no ranking. Seria justo a Fuvest passar a divulgar o ranking das Escolas que mais aprovam em seu vestibular? O Estado torna obrigatória a participação da Escola Pública no Saeb porque é seu mantenedor. A rigor, uma Escola privada pode fazer diferentes avaliações da aprendizagem de seus alunos, sejam externas, como a do Saeb ou de um fornecedor privado, sejam internas, feitas pelas suas próprias equipes pedagógicas.
Figurar em rankings, no entanto, costuma ser algo que gera muito mais frustração do que satisfação aos educadores de uma Escola. Numa análise mais superficial, isso ocorre porque o ranking só satisfaz totalmente o primeiro colocado. O segundo preferiria ser o primeiro, o terceiro preferiria ser o segundo e assim por diante.
Ajuda se a gente pensar em outro contexto: você compra um carro, lindo, novinho, com baixo consumo de combustível, que combina totalmente com você; no dia seguinte, lê no jornal o ranking dos 10 melhores carros na categoria do seu e ele acaba de cair de 2º para 7º. Quando o vendedor lhe ofereceu aquele modelo, era o 2º, Não dá vontade de ligar para ele e reclamar? E estamos falando de uma máquina, que pode ser avaliada por critérios comparáveis. Para Escolas, isso não é possível e, no entanto, se o ranking é divulgado pela internet, as famílias que confiam seus filhos a uma instituição não gostam de vê-la numa posição desprestigiada de classificação.
Há farta evidência em pesquisa acadêmica de que fatores contextuais e socioeconômicos explicam muito mais do que metade dos resultados de proficiência dos alunos de uma Escola. Não existem duas Escolas que têm alunos com o mesmo background cultural, ainda que tenham perfis socioeconômicos similares.
Comparar Escolas é, de partida, extremamente propenso a conclusões falaciosas.
Ainda que se se faça uma comparação contextualizada, como se tentou no ENEM por Escola dos últimos anos (considerando porte, permanência dos alunos, formação dos professores etc.), sobra uma questão fundamental: como se pode comparar o resultado do egresso se não se conhece o ponto de partida desses alunos? Tem mais valor uma Escola que leva seus alunos da proficiência 200 para a 400, ou aquela que leva seus alunos do 450 para o 500? Fala-se aqui de medir o valor agregado à formação dos alunos.
Trazendo um último elemento para reflexão e auxílio na decisão sobre a participação da Escola na Prova Brasil/Saeb para a 3ª série, seus gestores devem considerar se querem ser medidos pelas réguas que esta avaliação apresenta. Trata-se de proficiência em Língua Portuguesa e Matemática, e é óbvio e ululante que a Escola tem que assegurar aprendizagem dos alunos nesses componentes. Mas as Escolas, principalmente as particulares, estão cada vez mais investindo no desenvolvimento integral de seus alunos, não apenas nas humanidades, ciências, artes, línguas e esportes, mas também na formação de valores, habilidades metacognitivas e socioemocionais. Avançando alguns ciclos na dinâmica de ações e consequências, ao entrar numa avaliação de Língua Portuguesa e Matemática, haverá um resultado, que a Escola vai querer melhorar, o que implicará na alocação de recursos para reforçar essas duas disciplinas, o que pode limitar o investimento nas outras áreas.
No limite, deve-se pensar: você está preparado(a) para trocar a oferta de disciplinas eletivas de empreendedorismo ou estudos internacionais por mais duas aulas de Língua Portuguesa e Matemática por semana?
Perdoe-me se estiver simplificando demais este encadeamento lógico, mas não dá para sermos ingênuos e acharmos que o foco do que se avalia será oposto ao foco de onde se investe dinheiro e energia.
Tadeu da Ponte
CEO da Primeira Escolha
