terça-feira, 1 de julho de 2008

De novo, o PISA - e porque é que a questão da retenção é tão importante

O Luís Pedro respondeu ao meu segundo post sobre o PISA. Agradeço ao Luís pela persistência das suas dúvidas, uma vez que me permitem explicar melhor o que queria dizer desde o início.
Estatisticamente falando, o que o Luís afirma no seu post é correcto. Mas ele ignora duas coisas essenciais.

[A] O contexto inicial desta discussão, que começou a partir das críticas do suposto 'facilitismo' e do 'nivelamento por baixo' do nosso sistema de ensino, e sem o qual não conseguimos compreender os dados que apresentei.
O que quis dizer, em primeiro lugar, e repito, é que - e o post inicial reporta-se à matemática - a média obtida pelos alunos no ano modal «seria impossível se o ensino da matemática estivesse a ser assaltado por um qualquer 'nivelamento por baixo'».
Segundo, se o sistema está a deixar alguém mal, não são os muito bons alunos, que têm resultados bastante razoáveis, mas os alunos fracos.
Terceiro, eu não estava tanto a fazer um elogio do sistema, mas mais uma crítica: o sistema deixar ficar mal precisamente aqueles que mais devia ajudar e que mais necessitam dele. Temos um problema de dualização, ou o de nivelamento não por baixo, em baixo.
Quarto, o post - e um outro de forma mais explícita - questiona a eficácia do sistema na tentativa de resolução deste problema, em particular a estratégia generalizada de reter os alunos em dificuldade.

[B] Luís falha na compreensão de como a questão do ano modal vs. ano atrasado é mais relevante do que a diferença dos valores entre, por exemplo, o 5.º ou 95.º percentil.
Dou dois exemplos de como o Luis pode estar correcto do ponto de vista estatístico mas falha na discussão política e pedagógica mais ampla.

1) Por exemplo, o Luís escreve:
«Não estou a dizer que me espantaria de descobrir que Portugal é muito desigual. Somente, que não é isso que dizem estes dados.»

O Luís tem razão na medida em que, para medir com exactidão a desigualdade entre os melhores e os piores alunos, teríamos que mobilizar a diferença, por exemplo, entre o 5.º e o 95.º percentil. Mas o problema é que isto ignora o poderoso impacto da retenção na carreira do aluno e no seu futuro. Imaginem dois alunos com, por exemplo, o mesmo score de 460, um sueco e um português. A probabilidade do aluno sueco estar no ano modal é superior a um aluno português. Por isto, e na medida em que estar um (ou dois, ou mais) ano(s) atrasado aumenta a hipótese de abandonar a escola sem completar a escolaridade obrigatória (ou o secundário), o português está colocado numa posição objectivamente inferior ao do aluno sueco.

Uma analogia interessante é com o conceito de "paridade de poder de compra". Imaginemos que este 460 não é o valor do resultado no teste do PISA, mas que estamos a falar de euros num dado 'mercado escolar'. Porque o aluno português tem uma probabilidade objectiva de vir a ter menos sucesso - escolar, e quase por definição profissional - que o seu colega sueco, os 460 'euros' do aluno português valem menos no 'mercado escolar' do que os 460 do colega sueco, que, estando no ano modal, tem mais probabilidades de completar o escolaridade obrigatória (ou o ensino secundário). O ano em que se está 'vale' mais do que o valor do score.

Ou imaginem dois pares de alunos, um sueco e um português. Imaginemos que a diferença entre os alunos é idêntica: o melhor tem 520 e o segundo tem 460, por isso uma diferença de 60 valores. Agora imaginem que o pior aluno português está um ano atrasado (ou mais) e o melhor aluno está no ano modal, enquanto que ambos os alunos suecos estão no ano modal. De novo: a desigualdade é maior entre o par português do que entre o par sueco, porque um aluno retido é um aluno com maior probabilidade de abandonar precocemente o sistema.

É por isso que o meu argumento inicial continua, parece-me, a ser válido: a separação dos alunos em anos de escolaridade diz-nos mais do que a diferença de scores entre o topo e a base.

2) O Luís pergunta: «Imaginemos que, no dia anterior ao exame, a ministra decretava que todos os alunos que estavam atrasados subiam um ano por passagem administrativa. A nossa média global ficava a mesma, o nosso score modal descia e diminui a diferença entre ambos. Havia menos desigualdade entre alunos?»

A resposta é sim: se todos os alunos ficam no mesmo ano, este facto reduz, por si só, a desigualdade entre eles. Mas o real problema é achar que a resolução para os maus alunos estaria num sistema de passagens administrativas sem qualquer outra alteração no sistema (e isto é uma questão recorrente nos comentários críticos do meu post) - e que não é possível melhorar o score dos piores alunos, fazendo-os estar no ano certo, mas com scores mais elevados. Isto assume erroneamente que o sistema é, neste momento, 100% eficiente, e que a única forma de melhorarmos o desempenho dos alunos muito fracos é arranjar um "truque" administrativo. Bom, isso não melhoria a média, seguramente! Mas essa não é a questão, e olhá-la desta forma revela a miopia com que o problema é habitualmente colocado, porque assumimos que:
(1) o sistema está a carburar no máximo,
(2) as escolas já fizeram uso de todas as boas práticas conhecidas para evitar que os alunos fracos continuassem fracos ao longo da uma carreira escolar que já leva 10 anos, e
(3) os alunos já atingiram o máximo das suas 'capacidades'.

Não há nada que nos permita assumir isto. E com base naquilo que as comparações internacionais nos ensinam, é muito provável que esteja bem longe da verdade.
Nem entro aqui na discussão do dinheiro que Portugal gasta em educação, que obrigaria a um melhor e mais equitativo desempenho do sistema. Sem dúvida que isto é verdade.

Refiro apenas que as comparações internacionais - inclusive de outros testes para além do PISA, como o TIMSS e o PIRLS - nos dizem que não só os sistemas que separam mais tarde os alunos, ou seja, que mantêm um tronco comum até ao fim da escolaridade obrigatória e usam a retenção de forma residual (ou seja, mais igualitários), têm resultados melhores dos que separam os alunos aos 11/12 anos* (mais selectivos), como os que os países com melhores resultados são aqueles com apresentam por norma uma distribuição menos desigual entre os melhores e os piores alunos**.

Perante os elementos empíricos que nos dizem, com alguma segurança, que os sistemas com melhores desempenhos tendem a ser também os menos desiguais, podemos dizer que Portugal pode e deve melhorar muito - em particular, melhorar o desempenho dos piores alunos sem piorar os dos melhores (ou inclusive, melhorar o desempenho destes, dado que a excelência necessita de um 'viveiro' de potenciais bons alunos - isto é, de uma base de recrutamento - que, entre nós, tende a ser pouco cultivado).

O trade-off entre equidade e eficiência, ou entre igualdade e selecção em educação não funciona como o argumento mais conservador nos quer fazer crer. Não quer dizer que, num dado ponto, o dilema entre eficiencia e equidade não surja: teoricamente, ele existe, é óbvio. Acontece que, empiricamente, esse ponto tende a ser empurrado para o horizonte pelo facto de os sistemas encontrarem formas de melhorarem, ao longo do tempo, o seu desempenho - seja pela melhor organização dos recursos materiais e humanos, seja pelo emprego de melhores estratégias pedagógicas, seja porque os alunos que acedem ao sistema e nele evoluem têm maior qualidade de partida e margem de progressão do que os do passado. É este efeito de melhoria e aprendizagem colectiva e individual que me leva a ser optimista e pensar que podemos ter, simultaneamente, melhores alunos e alunos menos desiguais. E não apenas menos desiguais em scores do PISA, mas em relação aos anos de escolaridade efectivamente frequentados pelos alunos.

* Consultar o paper de Eric Hanuschek e Ludger Wossman, "Does Educational Tracking Affect Performance and Inequality? Differences-in-Differences evidence across Countries", IZA paper discussion, 2005 (disponível no site do IZA)
** Consultar, por exemplo, o estudo de John Micklewright e Sylke Schnepf neste livro (p.141)
a partir de resultados de diferentes testes internacionais - PISA, TIMSS e PIRLS (infelizmente Portugal não entra neste estudo).