Um pneumologista não consegue observar diretamente o que se passa no pulmão de uma pessoa que o procura com sintomas como tosse e dificuldade respiratória. Ele então posiciona o seu estetoscópio em pontos específicos do dorso do paciente e pede que ele repita “trinta e três” por três vezes. O médico ausculta as vibrações provocadas pelo som dessa expressão na caixa torácica do indivíduo e conclui as mais prováveis causas dos sintomas observados.
No mundo das avaliações educacionais a situação é exatamente a mesma: como não se pode observar diretamente o que uma pessoa tem dentro de sua mente, apresentam-se a ela itens ou questões, para que se obtenha uma resposta, a partir da qual quem aplica o teste tira suas conclusões. Formalizando uma definição, um item de avaliação, portanto, é um meio para que se desempenhe uma tarefa (cognitiva no geral), gerando uma resposta, sobre qual se fazem inferências acerca de competências, habilidades e conhecimentos das pessoas.
Talvez se o médico pedisse ao paciente para falar “vinte e dois” duas vezes, não ocorressem suficientes vibrações para que ele identificasse o problema, ou seja, não seria um teste válido para o que ele quer identificar, e ele sabe o que procura. Para itens de avaliação a analogia também funciona: é essencial que se saiba exatamente o que se quer concluir a partir da resposta de uma pessoa a um item, assim como é necessário que o item seja válido.
Sendo o conceito mais importante no campo das avaliações educacionais, a validade também é algo mais fácil de se falar do que se obter em itens reais de avaliações do dia a dia. Podemos aqui dar algumas pistas para evitar perda de validade logo de partida. Consideremos de um lado uma lógica para que se estabeleça o que se deseja avaliar, por exemplo, a partir dos processos cognitivos da taxonomia de Bloom revisada – trabalhos de Driscoll (2000) e Krathwohl (2002):
Menos Complexo Mais complexo
|
|
|
|
|
|
|
|---|
De outro consideremos os tipos de itens mais comuns utilizados nas avaliações educacionais:
|
|
|
||
|
|
|
|
|
Nem todos os processos cognitivos podem ser avaliados em cada um desses tipos de itens. Por exemplo, itens de verdadeiro ou falso favorecem a avaliação dos níveis 1 e 2 (lembrar e entender), excepcionalmente pode avaliar um objetivo no nível 3 (aplicar), mas certamente não é adequado para avaliação de objetivos no nível 4 em diante. Já itens de múltipla escolha se prestam bem à avaliação de objetivos nos níveis 1 a 4, dificilmente no nível 5 e nunca no nível 6.
Itens abertos podem ser válidos para avaliação de objetivos em qualquer um dos seis níveis, e os de resposta construída longa favorecem especialmente a avaliação da capacidade de escrita. Por que então não utilizar apenas itens abertos? Bem, essa questão nos remete ao segundo conceito mais importante das avaliações educacionais: a confiabilidade!
Espera-se que um paciente que diga “trinta e três” três vezes e seja auscultado por três médicos diferentes receba de cada elemento do trio o mesmo diagnóstico. Apesar de professores experientes normalmente saberem bem o que procuram num item aberto de avaliação, mesmo três professores experientes diferentes corrigindo o mesmo item de um mesmo aluno podem chegar a conclusões distintas. Itens abertos, para que sejam válidos e tragam resultados confiáveis, requerem critérios estritos de correção, definidos previamente, e um rigor metodológico em sua aplicação cuja sofisticação técnica se equipara àquela necessária para elaboração de itens de múltipla escolha. Ou seja, não existe validade grátis!
Tadeu da Ponte
CEO da Primeira Escolha