Mitos na ciência: A ciência é autocorretiva?

Mito: "A ciência é autocorretiva."
Status: Não tão verdadeiro quanto seria necessário ou desejável.

É verdade que há incontáveis casos de hipóteses tidas uma vez por cientificamente válidas caídas por conta de novos estudos: como a passagem absoluta do tempo, a ausência formação de novos neurônios em cérebros adultos, a exclusividade eucariótica de material nuclear envolto por membrana, etc., etc. são afirmações e negações refutadas.

Não é possível afirmar, então, que nunca a ciência corrige os próprios erros. Às vezes há a necessidade até de se corrigir a correção: como quando Einstein incluiu uma constante em sua fórmula gravitacional, para permitir a existência de um universo estável (que não se expandia, nem se retraía), levando à posterior retratação diante da confirmação, por Hubble, da hipótese de Lamaître de um universo dinâmico, em expansão: "O maior erro de minha vida", disse o físico alemão; mas com os dados de uma expansão *acelerada*, a constante cosmológica voltou ao jogo (dado o espírito frasista, é capaz de Einstein, vivo estivesse em 1998, dizer que o reconhecimento da constante cosmológica como o maior erro de sua vida seria o segundo maior erro de sua vida).

Porém, essa correção nem sempre (quase nunca?) é automática.

Pfeifer & Snodgrass (1990) examinaram o efeito do cancelamento ('retraction') de artigos na citação destes. Havia uma diminuição substancial, mas longe - bem longe - de ser uma supressão total: em comparação com o grupo controle (artigos similares que não foram objetos de cancelamento) a redução foi de apenas 35% nas citações. Budd et al. (1999) analisaram outro grupo de artigos cancelados e verificaram que, de 2.034 citações conjuntas que 235 artigos anulados receberam, a maioria eram menções implicitamente elogiosas e 275 citações eram explicitamente positivas. Claro que são estudos de um cenário diferente do atual: há 15, 25 anos o acesso a informações sobre artigos era bem mais precário do que hoje - mas ainda falta uma base de dados geral de artigos cancelados (a base disponível no site da Rutgers University não é atualizada desde 2011) - isso permitiria a implementação de aplicativos de conferência automática de referências quanto ao status de validade.

Fanelli (2009), em uma meta-análise sobre estudos a respeito de má-conduta científica, conclui que algo em torno de 1,97% dos cientistas admitem haver manipulados os dados (33,7% admitem algum tipo de conduta censurável; em questões a respeito de colegas, 14,12% dizem já haver presenciado fraudes e 72% algum ato condenável). Fang et al. (2012) estudaram os artigos cancelados na base PubMed, eram pouco menos de 2.050 na época em um total de pouco menos de 20,5 milhões de registros em 2012 (em 2014 são em torno de 23 milhões). Isso corresponde a apenas 0,01% dos artigos cancelados. Se considerarmos que 2% são objetos de algum tipo de fraude, então a taxa de depuração é de apenas 0,5% - 99,5% dos artigos fraudulentos permanecem indetectados. E a maior parte das fraudes são descobertas menos por análise por pares e falhas nas tentativas de reprodução dos resultados do que por informações de denunciantes (Fang et al. 2012).

Tatsioni et al. (2007) acompanharam as citações de 2 artigos publicados em 1993 sobre benefícios da vitamina E e refutados no início dos anos 2000 por estudos aleatorizados e com controle. 50% das citações de artigos publicados em 2005 eram favoráveis aos estudos refutados.

Ioannidis (2012) lista uma série de fatores analisados para os estudos de Psicologia que impedem ou dificultam a autocorreção das Ciências (tabela 1); analisa também as várias propostas para evitar ou minimizar o problema (tabela 2).

Tabela 1: Fatores de impedimento para autocorreção em Ciências Psicológicas.

Fator de impedimento

Viés de publicação

Outros vieses de relatos seletivos (análise e resultados)

>flexibilidade na coleta e análise de dados

>relatório errôneo dos resultados

>correlações vudu

Fabricação de resultados

Outras práticas questionáveis de pesquisa

Viés de excesso de resultados significativos (pode resultar de qualquer fator acima)

Estudos com pouco poder estatístico

Nenhum trabalho de replicação realizado - especialmente replicação direta por investigadores independentes

Crise da subestimativa de replicação

Viés editorial contra pesquisa de replicação

Viés do revisor contra pesquisa de replicação

Dados, análises e protocolos não disponíveis publicamente

Fonte: Ioannidis 2012.

Tabela 2. Propostas de solução do problema de autorreção das Ciências e problemas potenciais associados.

Proposta	Problema
Promover pesquisa dirigida por paradigmas	Criação de bolhas de popularidade em torno dos paradigmas da moda
Usar checklists para autores, editores e revisores	Incentivo a comportamentos espúrios como usar métodos ruins que apenas atendem aos requisitos exigidos, passando a impressão de que foi realizado um estudo rigoroso
Tirar o foco sobre número de publicações e fatores de impacto	--------------------
Desenvolver métricas para saber o que vale replicar	Impressão de que a replicação é apenas ocasionalmente necessária e não que é útil por padrão
Fazer esforço conjunto (crowdsourcing) para replicar estudos	Reforço da ideia de que a replicação não é algo sério, que qualquer pessoa pode fazer, não é trabalho para cientistas gabaritados e experientes
Elevar o status de periódicos revisados por pares que se focam na solidez dos estudos em vez de em sua significância percebida	--------------------
Abaixar ou remover padrões para pubicação	Enxurrada de trabalhos sem valor
Prover acesso aberto a dados, materiais e fluxograma do trabalho	Aumento descontrolado de 'dredging' de dados (mineração de dados em busca de correlações)
Empregar estudantes em treinamento como "replicadores"	Reforço da ideia de que a replicação não é algo sério, que qualquer pessoa pode fazer, não é trabalho para cientistas gabaritados e experientes
Exigir registro a priori rigoroso de estudos de confirmação	Necessidade de análise cuidadosa sobre os dados exigidos para o registro; um simples registro de um ensaio aleatorizado sem detalhes da análise pode permitir passar falsa segurança enquanto as análises ainda são enviesadas - por outro lado, o registro antecipado rígido do método de análise a ser empregado, não permite lidar com situações não previstas como perda de pacientes, alteração no tratamento ou medições errôneas

Fonte: Ioannidis 2012.

A conclusão geral é que mais esforços precisam ser empregados (e de modo mais efetivo) para dar um gás no incensado processo autocorretivo das Ciências.