O teste de significância que todo mundo confunde com coisa complicada
Vou ser direto: eu descobri o teste de scott quando tava tentado validar se um novo layout de checkout realmente melhorava conversão, ou se só era ruído estatístico. A primeira coisa que eu fiz foi aplicar o qui-quadrado de Pearson do jeito que todo mundo ensina no curso online. Deram dois pontos no grupo controle e sete no experimental. Parecia pouco, mas eu queria saber se era significativo antes de jogar a proposta pra diretoria. Aí eu lembrei que o teste de scott foi proposto justamente pra corrigir uma limitação do método clássico quando os tamanhos de tabela são pequenos ou desbalanceados, então parti pra ele. O problema principal é que a aproximação qui-quadrado não funciona bem quando a frequência esperada em alguma célula fica abaixo de 5. É um limite prático, não teoricamente rígido, mas na vida real isso acontece o tempo todo. Tabelas 2x3 com dados de tráfego, por exemplo, frequentemente têm células com menos de cinco observações. O teste de scott ajusta esse cenário aplicando uma correção que reduz o viés da distribuição assintótica, e o resultado costuma ser ligeiramente mais conservador — ou seja, menos tendência a declarar significância quando não deveria.
como fazer o teste de scott na prática
Primeiro você monta a tabela de contingência. Linhas são as categorias da variável independente, colunas são os resultados. Cada célula recebe a frequência observada. Depois você calcula as frequências esperadas sob a hipótese nula, que basicamente diz que não há associação entre as variáveis. A fórmula é simples: linha total vezes coluna total dividido pelo total geral. A correção do teste de scott entra no momento do cálculo do estatístico. Em vez de usar a fórmula padrão (O - E)² / E para cada célula e somar, a variante dele aplica um fator de ajuste que depende do tamanho da amostra e das dimensões da tabela. O resultado final é comparado à distribuição qui-quadrado com os graus de liberdade adequados, que em uma tabela 2x2 são sempre um. Se o valor-p for menor que seu nível de significância — normalmente 0,05 — você rejeita a hipótese nula.
No meu caso, a tabela era 2x2 com 1.200 visitantes divididos entre controle e tratamento. As frequências esperadas ficaram todas acima de cinco, exceto uma célula com 3,7. O qui-quadrado padrão deu p = 0,032. O teste de scott, com a correção, trouxe p = 0,058. A conclusão mudou de sim, é significativo pra não, não temos evidência suficiente. Eu preferi essa resposta honesta a anunciar uma vitória falsa.
👉 Clique no botão abaixo para saber mais sobre o assunto!
quando o teste de scott realmente faz diferença
Não é mágica. Ele brilha mesmo em cenários específicos. Tabelas com linhas ou colunas pequenas, amostras entre 50 e 500, e distribuições bem assimétricas são onde você nota o efeito. Acima de mil observações com frequências esperadas razoáveis, a correção quase não altera o valor-p. Abaixo de cinquenta, o teste perde poder e aí viram conversa fiada estatística — o que não significa que deva ser usado cegamente, mas significa que o resultado já era incerto de qualquer jeito. Outro ponto que poucos mencionam: o teste de scott não resolve problemas de dependência entre observações. Se você tem dados repetidos, medidas longitudinais ou amostragem em cluster, nenhuma correção de tabela de contingência vai salvar você. Aí o caminho é modelo misto ou teste exato de Fisher com bootstrapping. Eu perdi duas semanas rodando simulações até entender que o erro estava no desenho da coleta, não no teste.
limitações que ninguém gosta de admitir
Primeiro, a correção não é padronizada. Existem diferentes propostas na literatura e elas não chegam a dar exatamente o mesmo resultado. Alguns pacotes implementam uma versão, outros usam outra. Isso gera inconsistência quando você compara estudos que usaram implementações diferentes. Segundo, ele não lida bem com tabelas rasas grandes — 2x10, por exemplo. O número de graus de liberdade explode e o poder cai drasticamente. Terceiro, como todo teste de significância, ele responde a uma pergunta errada às vezes: será que há diferença, não se a diferença é relevante. Um efeito estatisticamente significativo pode ser trivial na prática. Se o seu objetivo é apenas verificar associação sem correção de correção de correção, o teste exato de Fisher é mais robusto para amostras pequenas e não depende de aproximações. Para tabelas maiores com frequências baixas espalhadas, simulação de Monte Carlo da distribuição nula costuma ser mais confiável que qualquer correção analítica. Eu uso isso hoje como fallback antes de qualquer coisa.
um erro que eu cometi e você pode evitar
Apliquei o teste de scott num conjunto de dados de subscrições onde havia zeros perfeitos em três células. O algoritmo simplesmente retornou NaN porque log de zero não existe na implementação que eu tava usando. A solução foi adicionar uma correção de_continuidade com constante 0,5 nas células nulas, mas isso muda a interpretação do resultado e você precisa justificar no relatório. Se alguém te cobrar, diga que foi uma correção de Haldane, mas anote isso claramente na documentação. Caso contrário, vira uma caixa preta. O teste de scott existe, funciona, e é útil em situações bem definidas. Ele não é bala de prata, não substitui pensamento crítico sobre o desenho experimental, e não resolve ambiguidades conceituais. Mas quando o cenário se encaixa — tabela pequena, frequências esperadas baixas, necessidade de conservação contra falsos positivos — ele entrega o que promete sem alarde.
