Testes e avaliações feitos em larga escala em geral são construídos na forma de questões do tipo múltipla escolha, nas quais uma única alternativa é correta. Tais conjuntos de questões têm como objetivo avaliar alguma habilidade nas pessoas. Uma habilidade é algo que não pode ser observado diretamente, como poderiam ser, por exemplo, altura, peso, pressão arterial, idade, etc. A partir das questões respondidas pela pessoa, pretende-se atribuir numa escala numérica um valor para a habilidade que está sendo medida.
A chamada “teoria clássica” das avaliações cumpre este objetivo por meio da contagem de acertos entre todas as questões que a pessoa respondeu. Porém, esta metodologia, apesar das de suas vantagens devido à simplicidade de implementação, apresenta limitações para a avaliação de um grupo grande de pessoas a um custo exequível do ponto de vista prático. Com a necessidade cada vez maior de trazer eficiência para as ferramentas de teste, surgiram alguns questionamentos que estimularam o desenvolvimento de uma tecnologia mais avançada para fazer a relação entre habilidade da pessoa e escala numérica, tais como:
• Para medir adequadamente uma habilidade como, por exemplo, raciocínio lógico-quantitativo quantas questões precisam compor o teste que irá avaliá-la?
• E se o desempenho de uma pessoa tiver que ser comparado com o de outras centenas ou milhares de pessoas? Num teste com, por exemplo, 20 questões, duas pessoas que tiveram 10 acertos apresentaram o mesmo desempenho?
• É possível comparar desempenho de pessoas numa determinada habilidade se elas fizeram testes com questões diferentes? Como garantir que uma pessoa não fará um teste mais difícil do que o da outra?
Nas últimas três décadas, a Teoria de Resposta ao Item (TRI) se desenvolveu significativamente e, com o avanço da capacidade de processamento dos computadores, começou a resolver estes problemas. Hoje, algoritmos baseados em TRI estão presentes em importantes testes internacionais, tais como o
GRE, o
GMAT, o
SAT, o
TOEFL, entre outros. No Brasil, as aplicações de TRI tem tido como objetivo a comparação de grupos de estudantes e não dos indivíduos, como é feito, por exemplo, na
Prova Brasil, no
SARESP e, a partir de 2009, no ENEM.
A premissa fundamental que diferencia a TRI do procedimento clássico está em
não supor que a simples contagem de acertos de uma pessoa às questões de um teste se traduz na melhor medida para o desempenho na habilidade que está sendo medida, mas sim de que a resposta fornecida por uma pessoa para cada uma das questões (chamadas de itens) gera informação sobre a habilidade que lhe está sendo medida e sobre a questão. Ou seja, o processo é feito item por item (questão por questão). De maneira agregada, as sucessivas respostas a cada item se traduzem num conjunto de parâmetros que permitem classificá-lo em termos da dificuldade, do potencial do item para avaliar a habilidade definida e do poder discriminativo que o item agrega ao teste como um todo. O procedimento que gera estes parâmetros é chamado de calibração dos itens.
Vamos procurar entender um pouco melhor como os acertos e erros de uma pessoa a um conjunto de itens se transformam em uma escala numérica. A fundamentação matemática mais utilizada para esses procedimentos é o modelo logístico de três parâmetros. Em linhas gerais, no processo de calibração dos parâmetros do modelo:
• quanto menos o item for acertado, maior o parâmetro de dificuldade;
• quanto mais for acertado no grupo dos indivíduos de baixa habilidade (que erraram muitos outros itens do mesmo teste) menor o potencial do item para avaliar a habilidade definida;
• quanto maior for a diferença entre os acertos dos indivíduos de alta habilidade e os acertos dos indivíduos de baixa habilidade (relativamente aos outros itens do mesmo teste), maior o poder discriminativo do item.
Com os parâmetros de diversos itens calibrados, é possível utilizá-los para combiná-los em testes (conjuntos de itens) equivalentes em termos de nível de dificuldade, poder discriminativo e até mesmo em tempo de resposta. Ao serem respondidos, os testes assim construídos se tornam a entrada de um procedimento cuja saída é uma pontuação que traduza o desempenho no teste de quem está sendo avaliado. Neste procedimento:
• quanto mais itens a pessoa acertar, maior será sua pontuação;
• acertar itens mais difíceis contribuem para que a pessoa tenha uma pontuação mais alta;
• se a maioria dos itens que a pessoa acerta abrangem uma determinada faixa de parâmetros, poucos itens acertados fora desta faixa terão impacto pequeno sobre a pontuação da pessoa (o que minimiza as distorções provocadas pelos chamados “chutes” da pessoa no teste).
Em síntese, a TRI possibilita realizar uma mensuração de desempenho de pessoas a partir das respostas dadas em um teste com menos itens, de maneira mais justa e, principalmente, possibilitando a comparabilidade entre os desempenhos apresentados por diferentes pessoas, mesmo quando o teste não é composto pelas mesmas questões. Isso também seria possível por meio da teoria clássica, desde que o número de itens presentes no teste fosse extremamente grande.
Tadeu da Ponte e Marta da Ponte
Sócios-fundadores da Empresa Brasileira de Avaliações Educacionais – Primeira Escolha
O ERT, teste de interpretação de textos em inglês, tem como finalidade medir a capacidade de entender, usar e refletir sobre textos escritos na língua inglesa.
A gramática, o vocabulário e o conhecimento das estruturas formais da língua inglesa serão avaliados no ERT não diretamente, mas juntamente com a interpretação dos textos.
As questões são propostas em diferentes níveis de dificuldade, em função, basicamente, de duas dimensões: abrangência:
• a interpretação pode se referir a uma passagem específica do texto, de uma frase, um parágrafo, do texto como um todo ou até da relação com outros textos com os quais o texto “dialoga” direta ou indiretamente.
• significado: pode ser requerido em uma questão desde a compreensão de algo direto ou explícito no texto, demandando o entendimento literal das passagens até a compreensão de algo indireto ou implícito o que demanda o entendimento dos sentidos figurados, intenções, sentimentos, ambiguidades, etc.
A figura abaixo ilustra como a dificuldade das questões varia em termos dessas dimensões.
Dessa forma, não é requerida qualquer preparação específica às pessoas que realizarão o teste. O ERT avalia a habilidade de compreender e interpretar textos em língua inglesa que a pessoa desenvolveu ao longo de sua trajetória educacional e profissional até o momento em que fizer o teste.
A banca elaboradora do teste faz as seguintes sugestões às pessoas que realizam o teste:
• Cada texto é usado para mais de uma questão, portanto procure lê-lo do começo ao fim na primeira vez em que aparecer. No tempo total do teste, foi incluído este tempo para leitura.
• Leia todas as alternativas antes de escolher uma delas. A primeira alternativa da questão pode ser a correta, mas para ter certeza, recomenda-se analisar as cinco. Lembre-se que, após clicar em “Próximo” você não poderá voltar numa questão.
• Atente para o fato de algumas questões pedem para selecionar a alternativa INCORRETA, ou marcar a aquela que contém uma afirmação que NÃO decorre do texto.
• Fique atento ao tempo total, seu teste será bloqueado quando o cronômetro superior da tela zerar. Use o cronômetro do tempo indicado para a questão para saber se você está demorando muito para passar à próxima. Procure administrar bem o tempo para responder todas as questões.
A prova de matemática do TRLQ (Teste de Raciocínio Lógico Quantitativo) tem por objetivo avaliar o preparo das pessoas que a realizam para cursar programas de ensino que contemplam as ferramentas do Cálculo Diferencial e Integral e da Estatística. O nível de exigência corresponde a uma disciplina de Pré-cálculo, tradicionalmente oferecidas no início de programas de graduação e pós-graduação nos quais há disciplinas quantitativas.
A seguir, apresentam-se os requisitos de conteúdo, referências bibliográficas, descritores específicos que suportam as questões do exame e uma sessão de perguntas e respostas.
Requisitos de Conteúdo
• Conjuntos numéricos (números inteiros, racionais e reais).
• Expressões, equações e inequações algébricas.
• Sistemas de equações lineares (abordagem algébrica).
• Sistemas de equações lineares (abordagem gráfica).
• Funções (representações algébricas e gráficos).
• Representações no plano cartesiano e conjunto R2.
• Geometria analítica (retas).
• Estatística descritiva (medidas de tendência central, dispersão e distribuições de frequência).
• Probabilidades.
Referências Bibliográficas
MORETTIN, P.; BUSSAB, W. O. e HAZZAN, S. - Introdução ao Cálculo para Administração, Economia e Contabilidade. 2ª edição - 2009, Editora Saraiva.
MORETTIN, P.e BUSSAB, W. O. - Estatística Básica. 8ª edição - 2013, Editora Saraiva.
STEWART, J. - Cálculo, volume 1 - 7ª edição - 2013, Cengage Learning.
Descritores para as Questões
D1: Resolver problemas envolvendo números inteiros, múltiplos e divisores.
D2: Isolar uma variável em uma igualdade entre expressões algébricas que envolvam múltiplas variáveis.
D4: Resolver sistemas envolvendo funções de 1o e 2o graus com recursos gráficos e/ou algébricos.
D5: Identificar intervalos em que uma função polinomial dada na forma fatorada assume valores positivos e intervalos em que assume valores negativos.
D6: Resolver equações ou problemas algébricos formulados no contexto de áreas de figuras planas.
D7: Identificar o gráfico de uma função que atenda a uma descrição dada de intervalos de crescimento e decrescimento
D8: Efetuar operações numéricas envolvendo frações, potências e raízes.
D9: Efetuar substituições e simplificações de expressões algébricas.
D10: Resolver equações envolvendo quocientes de expressões de 1o e 2o graus.
D11: Identificar conjuntos do R2 de pontos que são válidos para uma expressão dada em termos de duas variáveis.
D12: Interpretar os significados gráfico e numérico dos coeficientes angular e linear de uma reta.
D13: Identificar a equação de uma reta dado um ponto pelo qual passa e dadas informações que permitem calcular sua taxa de variação.
D14: Resolver problemas envolvendo probabilidades.
D15: Interpretar gráficos de frequência para calcular probabilidades.
Perguntas e Respostas
1) As funções trigonométricas, exponenciais e logarítmicas são cobradas nessa prova?
Não, apenas funções algébricas.
2) Os conceitos do Cálculo (Limites, Derivadas e Integrais) são exigidos?
Não. É exigido o conhecimento sobre funções, necessário ao aprendizado desses conceitos.
3) As questões cobram o conhecimento de teoremas e definições teóricas?
Não diretamente, mas por meio da resolução de problemas específicos.
4) Na parte de Estatística e Probabilidades, são exigidos os conhecimentos sobre as distribuições de probabilidade e os testes de hipótese?
Não, são propostos problemas que envolvam apenas noções básicas de probabilidade, que podem ser resolvidos por meio da contagem e análise de eventos e do espaço amostral.
