Interpretando um p-valor maior que 0,05 em uma análise estatística

Um p-valor maior que 0,05 é frequentemente interpretado como se provasse que não existe diferença entre grupos ou tratamentos. Essa conclusão não é sustentada apenas pelo resultado do teste.

Em um teste de hipótese, o p-valor resume quão compatíveis são os dados observados com o modelo e a hipótese nula especificados. Quando o p-valor é maior que o nível de significância adotado, por exemplo 0,05, o resultado indica que não houve evidência estatística suficiente para rejeitar a hipótese nula naquele teste. Isso não demonstra que a hipótese nula seja verdadeira, que os grupos sejam iguais ou que o efeito seja nulo.

Um resultado não estatisticamente significativo pode ocorrer em situações muito diferentes: o efeito pode ser pequeno ou clinicamente pouco relevante; a estimativa pode ser imprecisa; a variabilidade pode ser alta; ou o estudo pode não ter sido dimensionado para detectar a diferença considerada importante. Por isso, interpretar apenas o p-valor deixa informações importantes de fora.

O que deve ser analisado junto com o p-valor?

• A estimativa do efeito ou da diferença observada;
• O intervalo de confiança, que ajuda a avaliar a precisão e os valores compatíveis com os dados;
• A magnitude do efeito e sua relevância prática ou clínica;
• O delineamento, a qualidade dos dados e o planejamento do estudo.

Assim, a pergunta mais útil não é somente “o p-valor foi maior ou menor que 0,05?”. É preciso avaliar o que foi estimado, com qual precisão e se os valores compatíveis com os dados ainda incluem efeitos relevantes para a pesquisa.

E quando a pergunta é se os tratamentos são suficientemente semelhantes?

Essa é uma pergunta diferente da usualmente respondida por um teste de hipótese de superioridade. Estudos de equivalência ou de não inferioridade exigem objetivo, margens e planejamento definidos previamente. Um p>0,05 em um teste convencional não substitui esse planejamento e não prova equivalência.

Conclusão

Um p>0,05 não autoriza concluir que “não há efeito” ou que “os grupos são iguais”. A interpretação responsável combina p-valor, estimativa, intervalo de confiança, tamanho do efeito, relevância científica ou clínica e as características do estudo.

Se a dúvida envolve o planejamento ou a interpretação de um projeto específico, a análise precisa considerar a pergunta de pesquisa, o desfecho e o delineamento adotado.

Referências

ALTMAN, D. G.; BLAND, J. M. Statistics notes: Absence of evidence is not evidence of absence. BMJ, 311:485, 1995. Disponível em: https://www.bmj.com/content/311/7003/485.

WASSERSTEIN, R. L.; LAZAR, N. A. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2):129-133, 2016. DOI: 10.1080/00031305.2016.1154108.