Podemos encontrar em diversos estudos distintas proposições de instrumentos para avaliar competências profissionais. Contudo, as características psicométricas dos instrumentos, quando existentes, nem sempre são adequadas ou suficientes. Isso gera espaço para questionamentos sobre a qualidade técnica dessas ferramentas.
Afinal, será que elas atendem às exigências mínimas de uma medida de qualidade? Será que realmente mensuram aquilo que se propõem?
Avaliar aspectos do comportamento humano envolve caracterizar suas qualidades e variações com base em suposições teóricas sobre a sua dimensionalidade na vida das pessoas. É um processo que se aproxima da produção de conhecimento científico.
Assim, é necessário que o avaliador tenha clareza de
- definição do objeto a ser avaliado;
- definição de um sistema conceitual e do estado da arte do objeto de interesse;
- caracterização de um método;
- identificação da finalidade da avaliação.
Sendo assim, produzir um instrumento de medida requer competências científicas, com respaldo empírico. Cada etapa do processo de elaboração de um instrumento é condição para a outra ocorrer, o que exige clareza e alinhamento entre elas.
A partir daí, o processo de avaliação necessita estar pautado por no mínimo três critérios principais:
- a medida,
- o instrumento,
- o próprio processo de mensuração.
Mas, e com relação à confiabilidade dos resultados dessas avaliações?
Nesse caso, dois procedimentos de análise são indispensáveis: validade e precisão.
Embora o termo validade possa remeter a um conceito unitário de um teste ser válido ou não, é mais adequado compreender que um teste possui variadas evidências de validade, já que seu objetivo é identificar suas distintas qualidades diante de um propósito ou uma utilização particular.
Isso significa que um mesmo teste pode servir a um objetivo de avaliação e não servir a outro diferente. Por exemplo, apresentar resultados possíveis de confiança e inferência apenas para populações específicas (estudantes, ou pacientes psiquiátricos, ou população geral, e outras) ou contextos (clínica, ou hospital, ou para o trânsito e outros).
Por outro lado, a precisão tem relação com a verificação da consistência das respostas dadas pelos respondentes do teste.
Mesmo que a presença de estudos de validade e precisão de instrumentos não seja uma inovação e esteja presente na história da psicometria, testes amplamente utilizados na prática profissional ainda se abstêm deste tipo de verificação científica.
Produzir e tornar facilmente acessível o conhecimento sobre instrumentos de medida de competências de profissionais é uma necessidade.
Muito embora internacionalmente haja esses instrumentos com propriedades psicométricas claras e robustas, é necessário que sejam produzidos também nacionalmente medidas com qualidades psicométricas adequadas, também no sentido de medir competências de profissionais em seus mais variados contextos.
Ivan Rabelo
Especialista em avaliação comportamental
