Entendendo os resultados do PISA na prática
O PISA é aplicado pela OCDE a cada três anos e avalia estudantes de 15 anos em leitura, matemática e ciências. Os dados mais recentes disponíveis são de 2022, com publicação completa em dezembro de 2023. A maioria das buscas que chegam aqui quer saber onde encontrar os números, como interpretar as escalas e por que a comparabilidade entre ciclos nem sempre funciona como as pessoas esperam.
Onde baixar os resultados do PISA
O acesso oficial é pelo site da OCDE, na seção PISA Data. O banco de dados internacional permite baixar arquivos em formato microdados (CSV e SPSS), arquivos de código (SAS, R, STATA) e relatórios resumidos. O download é gratuito, mas requer cadastro com e-mail institucional ou pessoal. Para o Brasil, os dados também estão disponíveis no site do INEP, que traduz a nomenclatura e disponibiliza tabelas já consolidadas por estado e grande região. Os arquivos são pesados. Um conjunto completo de microdados com variáveis pesadas e pesos amostrais pode chegar a 800 MB. Se você vai trabalhar com isso no R ou no Stata, recomenda-se fazer o download com um gerenciador de arquivo, não pelo navegador direto. O servidor da OCDE costuma cair ou cortar a conexão em horários de pico, especialmente quando saem os resultados de um novo ciclo.
Como as escalas funcionam de verdade
As escalas do PISA têm média 500 e desvio padrão 100 em cada competência, mas isso não significa que 500 pontos seja "a metade do conhecimento". CadaItem é calibrado via Teoria de Resposta ao Item (TRI), e as estimações usam um modelo policotômico para itens abertos e bicotômico para itens de múltipla escolha. O resultado é uma escala de proficiência estimada, não uma soma de acertos. Isso cria um problema que poucos mencionam. Quando se compara a média do Brasil em 2018 com a de 2022, uma diferença de 12 pontos pode ser significativa estatisticamente, mas não tem tradução direta em "o aluno aprendeu X a mais". A escala não é linear em termos de conteúdo aprendido. Saltos na proficiência entre 400 e 450 significam coisas diferentes do que saltos entre 550 e 600, porque a densidade de informação dos itens varia ao longo da escala.
Os pesos de estimação também merecem atenção. O PISA usa um desenho amostral complexo com estratificação e clusters. Ignorar os pesos e as réplicas de balanz (BRR) nas análises gera erros padrão distorcidos. Em 2022, a OCDE forneceu 16 réplicas de balanz para os microdados. Se você está fazendo qualquer análise inferencial sem usar essas réplicas, seus intervalos de confiança provavelmente estão errados.
👉 Clique no botão abaixo para saber mais sobre o assunto!
Um caso que encontrou problema real
Na análise dos dados de 2018 para um estudo sobre disparidades regionais no Brasil, os resultados iniciais mostravam um coeficiente absurdo para a variável "escola pública/privada" em ciências. O valor simplesmente não fazia sentido dentro do modelo esperado. Após duas horas de verificação, descobri que o problema estava na variável de peso final combinada com a variável de réplica. Havia alunos cuja variável de peso havia sido substituída por valores ausentes em parte dos arquivos de código fornecidos pela OCDE. Ao filtrar manualmente os registros com peso nulo antes de rodar o modelo, os coeficientes voltaram ao padrão esperado. Esse tipo de inconsistência raramente é sinalizado nos manuais. O trabalho costuma começar pela triagem das variáveis de peso e pela verificação da completude delas antes de qualquer outra coisa.
Pegadinhas que aparecem com frequência
A classificação em níveis de proficiência, aquela que marca de Nível 1 a Nível 6, é útil para comunicação com o público geral, mas não deve ser usada como variável dependente em modelos de regressão. São categorias ordenadas, sim, mas a distância entre Nível 3 e Nível 4 não é equivalente à distância entre Nível 5 e Nível 6. Tratar isso como escala likert introduz viés sistemático. Outro ponto. Os resultados do PISA medem proficiência, não desempenho escolar convencional. Notas de aula, aprovação e repetência não aparecem no teste. Estudantes que estão fora da escola aos 15 anos são excluídos da amostra. Isso significa que países com alta evasão nessa idade podem ter médias inflacionadas artificialmente, porque os estudantes mais vulneráveis já não estão no sistema. O Brasil tem taxa de exclusão razoavelmente baixa nessa faixa etária, mas em outros países latino-americanos esse efeito distorce bastante a comparação internacional.
O que os dados não dizem
Resultados do PISA não explicam causalidade. Eles capturam correlações em um momento específico. Fatores como contexto familiar, tempo de estudo e acesso a materiais educacionais aparecem como variáveis de contexto nos questionários, mas a qualidade dessas respostas depende da percepção do estudante. Um aluno de 15 anos relatando quantos livros há em casa pode subestimar ou superestimar de maneiras que variam culturalmente. Não há como corrigir isso com os dados disponíveis. Também não se deve inferir eficácia de políticas públicas a partir de uma única edição. O PISA não acompanha os mesmos estudantes ao longo do tempo — exceto em estudos longitudinais específicos, como o PISA-T, que ainda é limitado a poucos países. Traçar causalidade entre uma reforma educacional e uma mudança nos escores, usando apenas dois ciclos, é uma armadilha comum em artigos e notícias. A diferença entre 2018 e 2022 também carrega o efeito da pandemia, que afetou todos os países de formas distintas e não totalmente mensuráveis pelos questionários de contexto.
Alternativas e complementos
Se o objetivo é analisar desempenho educacional brasileiro com granularidade maior, o SAEB e o Censo Escolar do INEP oferecem dados em nível individual com amostra muito mais ampla e variáveis demográficas mais detalhadas. O SAEB é aplicado anualmente e segue o mesmo referencial teórico do PISA em parte, o que permite cruzamentos. Para pesquisa acadêmica que envolve causalidade, o Censo Escolar combinado com o IDEB facilita construções de diferenças-em-diferenças com muito mais robustez do que tentar extrair inferções apenas dos ciclos do PISA. Se o foco for estritamente internacional, os relatórios sintéticos da OCDE — o "PISA in Focus" e o relatório principal "What Students Know and Can Do" — oferecem tabelas comparativas já corrigidas por erro amostral. Para uso rápido em apresentações ou policy briefs, esses documentos economizam tempo considerável em comparação com a manipulação direta dos microdados, especialmente quando não há necessidade de modelos multivariados customizados.
O básico para ler resultados do PISA com criticidade
Verificar sempre o intervalo de confiança marge. Diferenças menores que o dobro do erro padrão usual entre dois países ou dois ciclos não são estatisticamente confiáveis. O site da OCDE disponibiliza uma ferramenta de comparação rápida que já mostra significância estatística automaticamente, o que evita erro básico de interpretação. Consultar também o questionário de contexto, pois ele contém informações sobre variáveis que podem confundir a relação entre fatores socioeconômicos e desempenho, e que frequentemente são omitidas em resumos jornalísticos dos resultados.
