Mitos na ciência: Para que serve a revisão por pares?

Mito: "O processo de peer review (revisão por pares) é essencial para a qualidade dos trabalhos publicados."
Status: Bastante duvidoso (mas talvez seja melhor do que nada a depender de como é feito)

Uma das práticas chave do processo de publicação científica é a submissão do manuscrito a uma avaliação por revisores que atuam na mesma área ou em áreas próximas, a famigerada revisão por pares ou, na expressão inglesa de amplo uso entre cientistas nativos de outras línguas, peer review. Normalmente, o editor da revista envia o manuscrito submetido para dois revisores - que podem indicar pela rejeição sumária, o aceite para publicação ou sugerir correções antes do aceite final - e, se as opiniões divergirem muito, o editor pode tomar a decisão ou enviar para um terceiro revisor.

Porém, talvez tanto quanto é defendida, essa instituição é alvo de fortes críticas e questionamentos quanto à utilidade como barreira contra artigos ruins ou mesmo falsificados.

De acordo com uma revisão sistemática de 2002 de Tom Jefferson e colegas, os poucos estudos (19) sobre os efeitos do peer review sobre a qualidade do artigo não permitiam concluir sobre a validade do processo. Em outro estudo, também do grupo de Jefferson, de 2006, a mesma conclusão (com 28 estudos), ainda que com a tendência de apontar alguma melhora na legibilidade e na qualidade geral do manuscrito. Em um levantamento independente, de Derek Richards (2007), que incluiu 28 estudos para análise sistemática, também concluiu que há poucos indícios de um efeito positivo da revisão por pares na qualidade do estudo.

Rachel Bruce e cia. (2017) analisaram 22 artigos sobre processos para melhorar a revisão por pares: como introdução de processo cego (os revisores não têm acesso aos nomes dos autores do artigo), introdução de um avaliador com formação em estatística, uso de checklists, treinamento de revisores, open peer review (os revisores são informados de que os autores têm acesso aos nomes dos avaliadores) e outros - mas os resultados foram bastante variados. (Houve uma melhora na qualidade final do manuscrito com a introdução de um revisor formado em estatística - 2 estudos - e com revisão aberta - 7 estudos.)

------
A mesma falta de estudos sistemáticos sobre a validade do uso de índice de citação como medida de qualidade de artigo também se revela na avaliação da eficiência da revisão por pares - pode ser que exista, mas em minha busca não encontrei nenhuma meta-análise. É desconcertante a confiança que se dá a um mecanismo com tão pouca base empírica para ser um elemento basilar da prática científica.