Recentemente, o jornal Folha de S.Paulo publicou reportagem que gerou polêmica nas redes sociais, com o título: Filosofia e sociologia obrigatórias derrubam notas em matemática. Reiterando o que é afirmado no título, a reportagem descreve uma pesquisa, conduzida pelos pesquisadores Thais Waideman Niquito e Adolfo Sachsida, que sugere que a obrigatoriedade do oferecimento das componentes curriculares Filosofia e Sociologia causou piora no desempenho dos alunos brasileiros em Matemática no ENEM.
Obviamente, o que está em jogo são os posicionamentos acerca do valor educativo das componentes curriculares em questão. De um lado, estão aqueles que defendem a obrigatoriedade da Filosofia e da Sociologia, entendidas como fundamentais para a formação do espírito crítico dos estudantes. De outro, estão os que acham que a crise educacional em que nos encontramos exige o reforço de disciplinas entendidas como básicas para a formação do estudante, tais como Língua Portuguesa e Matemática. Cabe esclarecer, entretanto, que nosso interesse, neste post, não é aderir a um ou a outro lado dessa polêmica, mas discutir o alcance das inferências que podem ser feitas a partir de dados estatísticos – um dos aspectos que está na base da referida polêmica. Entendemos que esse tipo de discussão é imprescindível hoje, já que a disponibilidade de dados sobre educação aumentou enormemente com a utilização das avaliações em larga escala.
Temos a tendência de buscar relações de causa e efeito como uma forma de entender o mundo e de conseguir fazer previsões sobre os resultados de nossas ações. Porém, aquilo que, em nosso cotidiano, entendemos como causa e efeito é demasiado vago para sustentar conclusões científicas.
Particularmente em Estatística, o problema de estabelecer as causas para um determinado fenômeno
se mostra bastante complexo.
Salsburg (2009) nos dá um exemplo de como a questão é complexa, ao analisar um estudo retrospectivo realizado no Canadá, sobre os efeitos dos adoçantes artificiais e sua relação com o câncer de bexiga. (A saber, um estudo retrospectivo toma os efeitos presentes – pessoas com câncer de bexiga hoje e pessoas saudáveis hoje – e tenta buscar suas causas no passado – o histórico passado do consumo de adoçantes dessa pessoas.) Esse estudo estabeleceu associação entre o uso de adoçantes e o câncer de bexiga, mas uma análise mais cuidadosa dos dados acabou mostrando que o grupo doente e o grupo controle (saudável) analisados tinham diferenças socioeconômicas que os tornava incomparáveis. Os doentes eram quase todos de classe socioeconômica baixa, enquanto as pessoas do grupo de controle eram de classe alta. Ou seja, o acesso a melhores condições gerais de saúde poderia estar na base da diferença observada, “inocentando” os adoçantes por falta de prova.
Muitos outros aspectos metodológicos podem tornar inválida uma conclusão do tipo causa e efeito em pesquisas estatísticas. A amplamente aceita relação de causa e efeito entre cigarro e câncer de pulmão, por exemplo, é consequência do acúmulo de um grande número de pesquisas que, juntas, geraram evidências massivas sobre essa associação. Individualmente, entretanto, essas pesquisas geraram intensos debates justamente por sua insuficiência em estabelecer, de forma inequívoca, a relação de causa e efeito entre o cigarro e câncer de pulmão.
Voltando ao caso da obrigatoriedade da Filosofia e da Sociologia e a queda no desempenho em Matemática, a reportagem da Folha de S. Paulo constrói-se sobre a hipótese de que haja relação de causa e efeito. Inclusive, o texto cita o possível nexo dessa relação: “A hipótese levantada pelos pesquisadores é que, dada a limitação da carga horária no ensino médio, a inserção obrigatória de qualquer nova disciplina, ‘se reflete em redução no espaço dedicado ao ensino das demais’.
Será?
Podemos nos perguntar, por exemplo, se as amostras tomadas pelos pesquisadores (alunos que fizeram o ENEM em 2009 e alunos que fizeram o ENEM em 2012) são comparáveis. (Com o exemplo do adoçante e do câncer de bexiga, já entendemos como isso é importante.) Vejamos, então, uma hipótese alternativa, que explicaria a coincidência dos fatos a partir de uma possível diferença entre essas amostras. É possível que, em 2009, o ENEM atraísse apenas alunos mais bem informados, com mais acesso às orientações sobre o ENEM e com maior interesse no exame. São fatores que poderiam estar associados a uma maior proficiência nas áreas de conhecimento avaliadas. Com a expansão do ENEM – que coincide com o período analisado pela pesquisa – a amostra de alunos que realizam o exame aumenta, incluindo alunos menos proficientes.
Mesmo que se tenha considerado amostras equivalentes, podemos construir outras hipóteses alternativas para explicar o fenômeno. O uso dos resultados do ENEM para o tipo de inferência pretendida na pesquisa descrita pode não ser a melhor escolha, em função da natureza do modelo de aplicação das provas: os alunos têm um único período de tempo para fazer as provas de duas áreas em cada dia do ENEM. Nos anos a que se refere a pesquisa, os alunos recebiam 45 questões de Linguagens seguidas de 45 questões de Matemática num único caderno, acompanhadas de uma redação, para serem resolvidas em 5h30min. Assim, é possível que a inclusão de Filosofia e Sociologia tenha implicado numa dedicação maior de tempo às questões de Linguagens e à Redação, fazendo com que os alunos dedicassem menos tempo à Matemática.
Para os defensores da obrigatoriedade de Filosofia e Sociologia, hipóteses alternativas como as elencadas aqui podem ser extremamente tentadoras. Porém, em princípio, temos tanta razão para acreditar nelas quanto para acreditar na hipótese da pesquisa relatada pela reportagem da Folha de S. Paulo. A preferência por esta ou por aquela história causal não reside nas estatísticas, mas na leitura de mundo dos sujeitos que as interpretam.
Em prol da criticidade acima de qualquer dogmatismo, vale ficar alerta às duas coisas mais poderosas e, portanto, mais perigosas para o estabelecimento de relações de causa e efeito não necessariamente válidas: uma história causal convincente e uma análise estatística que a apoia. Frente a essa dupla, é sempre útil lembrar que a coincidência de dois fatos A e B não necessariamente indica que haja relação causal entre eles. Pode ser que um outro fato, C, seja causa de A, de B ou de ambos.
Referência:
SALSBURG, D. Uma senhora toma chá...: como a estatística revolucionou a ciência no século XX. Trad.: José Maurício Gradel. Revisão técnica: Suzana Herculano-Houzel. Rio de Janeiro: Jorge Zahar Ed., 2009
Artigo escrito por Aline Reis Matheus e Tadeu da Ponte.
