ReprodutivaMente: da reprodutibilidade em Psicologia e nas ciências

Não tenho muito o que falar sobre o recente estudo com um índice relativamente baixo de replicação de resultados de estudos psicológicos publicados em três importantes revistas da área. Reproduzo a conclusão dos 270 autores do artigo (felizmente a Science deixou o artigo em acesso aberto):

"After this intensive effort to reproduce a sample of published psychological findings, how many of the effects have we established are true? Zero. And how many of the effects have we established are false? Zero. Is this a limitation of the project design? No. It is the reality of doing science, even if it is not appreciated in daily practice. Humans desire certainty, and science infrequently provides it. As much as we might wish it to be otherwise, a single study almost never provides definitive resolution for or against an effect and its explanation. The original studies examined here offered tentative evidence; the replications we conducted offered additional, confirmatory evidence. In some cases, the replications increase confidence in the reliability of the original results; in other cases, the replications suggest that more investigation is needed to establish the validity of the original findings. Scientific progress is a cumulative process of uncertainty reduction that can only succeed if science itself remains the greatest skeptic of its explanatory claims.

The present results suggest that there is room to improve reproducibility in psychology. Any temptation to interpret these results as a defeat for psychology, or science more generally, must contend with the fact that this project demonstrates science behaving as it should. Hypotheses abound that the present culture in science may be negatively affecting the reproducibility of findings. An ideological response would discount the arguments, discredit the sources, and proceed merrily along. The scientific process is not ideological. Science does not always provide comfort for what we wish to be; it confronts us with what is. Moreover, as illustrated by the Transparency and Openness Promotion (TOP) Guidelines (http://cos.io/top), the research community is taking action already to improve the quality and credibility of the scientific literature.

We conducted this project because we care deeply about the health of our discipline and believe in its promise for accumulating knowledge about human behavior that can advance the quality of the human condition. Reproducibility is central to that aim. Accumulating evidence is the scientific community’s method of self-correction and is the best available option for achieving that ultimate goal: truth."
["Depois desse esforço intenso para reproduzir uma amostra de achados em Psicologia publicados, quantos desses efeitos estabelecemos como verdadeiros? Zero. E quantos desses efeitos estabelecemos como falso? Zero. É uma limitação do desenho do projeto? Não. Essa é a realidade de se fazer ciência, mesmo quando isso não é apreciado na prática do dia-a-dia. Os humanos desejam certezas e as ciências raramente podem dá-las. A despeito de nossos desejos de que as coisas fossem diferentes, um único estudo quase nunca dá uma resposta definitiva a favor ou contra um efeito e sua explicação. Os estudos originais examinados aqui ofereceram indícios provisórios: as réplicas que conduzimos ofereceram indícios adicionais confirmatórios. Em alguns casos, as réplicas aumentaram a segurança da confiabilidade dos resultados originais; em outros casos, as réplicas sugeriram que mais investigações são necessárias para estabelecer a validade dos achados originais. O progresso científico é um processo cumulativo de redução da incerteza que só pode ser bem sucedido se as próprias ciências permanecerem céticas a respeito de suas alegações explicativas.

Os resultados presentes sugerem que há espaço para a melhoria da reprodutibilidade na Psicologia. Qualquer tentação de interpretar estes resultados como uma derrota da Psicologia ou das ciências em geral devem ser contestada com o fato que este projeto mostra as ciências funcionando como deveria. Há uma abundância de hipóteses que a presente cultura nas ciências possa estar afetando negativamente a reprodutibilidade dos achados. Uma resposta ideológica irá desconsiderar os argumentos, desacreditar as fontes e simplesmente seguir adiante. O processo científico não é ideológico. As ciências nem sempre traz conforto para o que gostaríamos que fosse; elas podem nos confrontar com o que de fato é. Além disso, como ilustrado pelas Orientações da Transparency and Openness Promotion (TOP) Guidelines (http://cos.io/top), a comunidade de pesquisa está tomando ações para melhorar a qualidade e a credibilidade da literatura científica.

Conduzimos este projeto porque nos importamosentos profundamente com a saúde de nossa disciplina e acreditamos em sua promessa de acumular conhecimento sobre o comportamento humano que pode aumentar a qualidade da condição humana. A reprodutibilidade é central nesse objetivo. A acumulação de indícios é o método de auto-correção da comunidade científica e é a melhor opção disponível para atingir sua meta definitiva: a verdade."]

Podemos relativizar a questão da 'verdade' e 'conhecimento cumulativo', mas é isso. Nenhum estudo isolado tem a palavra final sobre um dado tema. É preciso considerar o conjunto de indícios disponíveis. O processo científico se consolida nisso, com replicações (e revisões sistemáticas, e meta-análises).

O fato de conseguirem obter um resultado, dentro da margem de erro, igual ao original em 47 dos 100 estudos mostra como o processo científico, mesmo em sua fase inicial: da publicação de estudos originais, já atua como um filtro poderoso. (Não consigo pensar em outros processos de geração de conhecimento com essa taxa de confirmação independente.) Que isso possa ser ainda melhor, pra mim, é só motivo de otimismo.

Upideite(30/ago/2015): Uma análise bayesiana que procura evitar um binarismo (falha/sucesso) na análise. (via @andrelesouza RT)

Upideite(01/set/2015): Carlos Orsi "Crise na psicologia mostra ciência em ação"

Upideite(18/set/2023): Bom dizer que há contestações desse estudo da Open Science Collaboration. A reprodutibilidade real seria maior - o grupo que concluiu pela reprodutibilidade reduzida teria usado metodologia inadequada.