O ENEM tem como finalidade a avaliação de egressos da Educação Básica no Brasil para acesso ao Ensino Superior, por meio do SiSU. Apesar de os alunos individualmente fazerem a prova com este objetivo, a organização dos resultados por Escola permite gerar um ranking das instituições de ensino, o que gera consequências completamente imprevisíveis e não necessariamente produtivas para elas. Mas, o ENEM é válido para esta finalidade? Vamos explorar esta questão em dois passos.
Você conhece, ou mesmo se recorda, mesmo que vagamente, o que quer dizer estudos de evidência de validade dos testes?
Pois bem, em um entendimento mais genérico, a validade de um teste, basicamente, diz respeito se o teste cumpre com a tarefa de medir o que ele se destinou a medir. É entendido como uma comprovação de que o teste mede aquele atributo a que seus resultados se propõem a apresentar.
Mas você já ouvir falar em evidência de validade consequencial ou ecológica?
A fonte de validade, chamada de consequencial ou ecológica, avalia as consequências sociais do uso de testes, provas, ferramentas avaliativas etc., investigando se as implicações da utilização do instrumento, técnica ou procedimento coincidem com os resultados desejados de acordo com a finalidade para a qual o teste foi criado. Conta-se com a expectativa de que o teste contribua de maneira benéfica para este ou aquele contexto específico, como ambientes clínicos e escolares, em seleção de pessoas, etc.
Cabe o esclarecimento de que os testes que avaliam comportamento não medem diretamente o atributo, mas por meio de escalas, questionários, contar histórias, realizar tarefas etc., pode-se inferir quais as habilidades e/ou características de uma pessoa, com base em comparações com grupos normativos.
Por isso, estudiosos mais recentes propõem que sejam consideradas as evidências encontradas de forma acumuladas, de maneira que o grau dessas evidências concorde com os resultados do teste para os objetivos propostos.
Verificam-se estudos de validade com base no conteúdo do teste, na sua estrutura interna (estudos com os itens do teste), com base na relação dos resultados do teste com outras variáveis, sejam de construtos relacionados ou com outros testes que avaliam construtos opostos, estudos de critérios preditivos ou concorrentes, estudos relacionados ao processo de resposta, entre outras evidências, que entre elas também está a validade consequencial.
Por exemplo, uma empresa que aplica um teste de raciocínio lógico on-line como primeira etapa de avaliação dos candidatos num processo seletivo utiliza seus resultados para fazer um filtro daqueles que pretende conhecer mais profundamente. Suponha que os candidatos selecionados realizem etapas presenciais para avaliação outras competências importantes para o cargo e que, na fase final, com a presença dos diretores, tenha-se o objetivo de avaliar a aderência dos profissionais à cultura da empresa.
Tudo muito bem desenhado até que se percebe que o resultado do primeiro teste de raciocínio lógico on-line consta em destaque na folha de cada candidato no book que o RH fornece aos avaliadores para investigarem o fit cultural. Quais as chances de resultados mais altos no raciocínio lógico ancorarem positivamente a avaliação que os diretores fazem dos respectivos candidatos? Mas o teste é válido para fit cultural?
Segundo o psicólogo Ricardo Primi e colaboradores, no livro publicado em 2009: “Avanços e Polêmicas em Avaliação Psicológica”, explicam que ao buscar por uma fonte de evidência de validade consequencial é necessário ter uma visão ampliada da situação, e não somente do teste.
Os autores reforçam que, na medida em que estão envolvidos, além do profissional responsável pela avaliação, os outros agentes (profissionais de outras áreas, governos, dentre outros), estes podem fazer uso desses dados finais para tomada de decisões, e podem utilizar as informações de maneira equivocada, enviesada, de modo a prejudicar indivíduos e sociedade, de maneira geral.
Ampliar a situação da testagem avaliando suas consequências pode ser visto como uma atitude não apenas responsável, mas, sobretudo, ética.
Como apontado em postagens anteriores que já abordaram o tema validade e precisão, considera-se que esses conceitos não são pura e simplesmente restritos ao processo de construção e estudos, validação e confiabilidade dos instrumentos. A operacionalização depende também do uso adequado do teste, desde sua aplicação até sua correção, e dos cuidados na interpretação dos seus resultados. É necessário o conhecimento da característica que se está avaliando, além dos alcances e limites do teste utilizado, para que possa agregar um valor significativo no processo de avaliação.
Ivan Rabelo
Especialista em avaliação
