Em meio à discussão a respeito de problemas de reprodutibilidade – isto é, à possibilidade de pesquisadores independentes obterem o mesmo resultado relatado em uma pesquisa científica; um indicador estatístico têm sido apontando como vilão por muitos: o valor-p. Agora, a Associação Americana de Estatística resolveu também pronunciar-se sobre a questão.

O valor-p indica a probabilidade com que resultados pelo menos tão extremos quanto os obtidos no experimento são esperados se a hipótese testada estiver correta. Mas muitas vezes é confundido com a probabilidade de a hipótese estar correta.

A confusão tem sido tão grande desde que o indicador foi desenvolvido na década de 20 do século passado pelo estatístico britânico Ronald Fisher, que em 2015 o periódico científico Basic and Applied Social Psychology resolveu simplesmente banir o uso do valor-p nos artigos.

A Associação Americana de Estatística também se pronunciou publicando em sua revista, a The American Statistician no começo de março, com um artigo em que lista seis princípios a respeito do valor-p para contribuir com a discussão.

O primeiro é que “o valor-p pode indicar o quão incompatível os dados são em relação a um modelo estatístico específico”. Frequentemente a hipótese testada assume que não há diferenças entre os grupos analisados ou que não há relação entre o fator estudado e os resultados obtidos. Quanto menor o valor-p, menor a compatibilidade estatística entre os dados e essa hipótese.

O segundo princípio diz que “o valor-p não mede a probabilidade de que a hipótese testada seja verdadeira nem a probabilidade de que os dados são frutos do mero acaso”.

Pelo terceiro princípio, as “Conclusões científicas ou decisões de negócios e de políticas públicas não devem se basear somente no fato de o valor-p atingir ou não um determinado valor”. Os pesquisadores devem trazer outros fatores como a descrição da metodologia, medidas de qualidade dos dados, evidências externas sobre o fenômeno estudado e a validade das pressuposições em que se baseiam a análise.

Segundo o quarto princípio: “a inferência apropriada requer transparência e relato completo”. Os pesquisadores devem relatar o número de hipóteses testadas durante a realização do estudo, todas as decisões a respeito da coleta de dados e análises estatísticas conduzidas, bem como os valores-p obtidos.

Quinto princípio: “O valor-p não mede o tamanho do efeito nem a importância de um resultado”. Significância estatística não é a mesma coisa que significância política, econômica ou social. Se a amostra for pequena ou as medições imprecisas, diferenças grandes entre grupos podem resultar em ausência de significância estatística.

O último princípio basicamente resume os anteriores: “o valor-p por si só não fornece uma boa evidência a respeito de um modelo ou hipótese”, concluem os autores, representantes da Associação Americana de Estatística.

Matéria de Roberto Takata e Simone Pallone.