Lives de Ciência

Veja calendário das lives de ciência.
Mostrando postagens com marcador metodologia. Mostrar todas as postagens
Mostrando postagens com marcador metodologia. Mostrar todas as postagens

quinta-feira, 17 de janeiro de 2019

Sim, paraquedas salvam vidas. Problemas das críticas à medicina baseada em evidência e títulos sensacionalistas.

Críticas ao fundamento da medicina baseada em evidências (EBM) usando como uma espécie de metáfora ou paradigma os estudos sobre a eficácia dos paraquedas parecem ter sido inauguradas por Smith e Pell em um artigo de 2003.

Para os autores, como não havia em bases médicas estudos sobre a eficácia dos paraquedas para diminuir injúrias por queda, se levassem os preceitos da EBM, de receitar tratamentos com base em evidências devidamente coletadas, não seria possível receitar o uso de paraquedas para saltar de aviões. Como, claro, faz todo o sentido do mundo usar paraquedas quando for saltar de uma grande altitude, para os autores, isso implicaria em uma falha da EBM.

Mas essa crítica é uma caracterização errônea da EBM. Como Sackett et al. 1996 escreveram: "Evidence based medicine is not restricted to randomised trials and meta-analyses. It involves tracking down the best external evidence with which to answer our clinical questions. To find out about the accuracy of a diagnostic test, we need to find proper cross sectional studies of patients clinically suspect of harbouring the relevant disorder, not a randomised trial. For a question about prognosis, we need proper follow up studies of patients assembled at a uniform, early point in the clinical course of their disease. And sometimes the evidence we need will come from the basic sciences such as genetics or immunology. It is when asking questions about therapy that we should try to avoid the non-experimental approaches, since these routinely lead to false positive conclusions about efficacy. Because the randomised trial, and especially the systematic review of several randomised trials, is so much more likely to inform us and so much less likely to mislead us, it has become the 'gold standard'' for judging whether a treatment does more good than harm. However, some questions about therapy do not require randomised trials (successful interventions for otherwise fatal conditions) or cannot wait for the trials to be conducted. And if no randomised trial has been carried out for our patient's predicament, we must follow the trail to the next best external evidence and work from there." ["A medicina baseada em evidência não é restrita a estudos aleatorizados e meta-análises. Ela envolve buscar indícios externos que podem responder a questões clínicas. Para encontrar a precisão de um teste diagnóstico, precisamos encontrar estudos transversais adequados de pacientes clinicamente suspeitos de terem transtornos relevantes, não de testes aleatorizados. Para uma questão sobre prognóstico, precisamos de estudos adequados de acompanhamento temporal de pacientes reunidos em um ponto inicial uniforme em relação ao desenvolvimento clínico da doença. às vezes os indícios de que necessitamos virão das ciências básicas como a genética e a imunologia. É quando elaboramos questionamentos sobre uma terapia que precisamos evitar abordagens não experimentais, já que elas levam rotineiramente a conclusões sobre a eficácia baseadas em falsos positivos. Porque os estudos aleatorizados e, especialmente, a revisão sistemática de vários estudos aleatorizados, são muito mais prováveis de nos informar e muito menos prováveis de nos enganar, que se tornaram 'padrões ouro' na hora de julgar se um tratamento faz mais bem do que mal. No entanto, algumas questões sobre uma terapia não requer estudos aleatorizados (intervenções bem sucedidas para condições, de outro modo, fatais) ou não podem esperar para que tais estudos sejam realizados. E, caso nenhum estudo aleatorizado tiver sido realizado para o azar de nosso paciente, devemos seguir a trilha dos indícios que são os melhores a partir daí."]

Ou seja, mesmo se não houver estudos que mostrem diretamente a eficácia do uso de paraquedas para saltar de uma grande altura, pode-se prescrever seu uso com base em outros indícios existentes. Tanto de um ponto de vista teórico: a lei da gravitação e mecânica newtoniana são bem estabelecidas, bem como modelagem aerodinâmica para calcular o arrasto, e prever matematicamente a velocidade terminal da pessoa ao cair de uma determinada altura - e conhecimento do estrago que altas desacelerações causam em organismos modelos e em humanos. Como em bases empíricas: o fato de a velocidade de cargas usadas em testes serem bastante reduzidas; e também pelo histórico de baixa taxa de morte entre os que usam paraquedas (virtualmente zero; com ferimentos graves a uma taxa de cerca de 1 a 2 casos a cada 1.000 saltos) em comparação com pessoas que caem sem paraquedas de alturas até menores (quedas a partir do 8o andar costumam ser 100% fatais, do 6o andar, a taxa de mortalidade é de 80%; pouco mais de 10% do 2o andar e menos de 5%, do 1o andar) - mesmo que não sejam estudos sistemáticos e aleatorizados. No caso totalmente hipotético, em que a ética permitisse realizar com humanos estudos sistemáticos aleatorizados com número suficiente, aí, sim, poderíamos nos valer disso e, garantido que a metodologia seja adequada, se os resultados indicarem o contrário do que dizem esses outros indícios mais indiretos, poderíamos confiar e declarar que os paraquedas seriam inúteis com um razoável grau de confiança.

Esses dados disponíveis da eficácia de paraquedas tornam inúteis os dados de relatos de casos como de Bekerom et al. 2016, com dois eventos em que pessoas caindo de altas altitudes sem paraquedas sobreviveram (sendo que uma caiu sobre uma rede de segurança a 60 metros de altura) ou os experimentos de Yeh et al. 2018 descrevendo o resultado de saltos de aeronaves em solo paradas. O primeiro por serem relatos de caso tipo de indícios muito mais fraco do que um do tipo caso-controle (isso de modo geral, há fatores que alteram a relevância relativa); o segundo por uma falha da metodologia, ao usar alturas não relevantes (ao menos considerando o tamanho amostral utilizado).

Embora críticas a metodologias, teorias e procedimentos científicos sejam importantes para o aperfeiçoamento, elas precisam ser relevantes. Pra começar, precisam mirar em um alvo devidamente caracterizado, não em espantalhos e estereótipos que não condizem com o objeto da crítica. Não se pode acusar a EBM de falhar ao só considerarem válidos dados que venham de estudos aleatorizados quando isso não é verdade. A metodologia dos estudos críticos também precisam ser válidas.

O efeito colateral vai muito além de simplesmente gerar uma crítica mal feita. Tais estudos chamam a atenção e espalham manchetes engraçadinhas como "estudo prova que paraquedas não servem pra nada" - mesmo quando no corpo do texto da notícia explicam os detalhes, muita gente só irá ler o título. É um risco que precisamos ponderar (talvez estudos mais sistemáticos mostrando o quanto isso afeta a percepção sobre a utilidade do paraquedas sejam necessários para uma condenação mais forte; sem falar em estudos sobre o quanto isso afeta a confiança nos prognósticos e prescrições médicos).

domingo, 24 de julho de 2016

Contra o método: uma pedra no meio do caminho*

Método vem do grego methodos 'perseguição, busca, sistema' (meta 'além, após' e hodos 'via, caminho'). É uma das principais seções de um artigo científico típico, onde é descrito idealmente todos os passos seguidos para se obter os dados reportados - e que, supostamente, se outras pessoas reproduzirem, deverão obter os mesmos resultados. O método é um dos pilares da ciência, na medida em que serve de garantia da reprodutibilidade dos dados e, portanto, da correção e honestidade destes.

Em função disso, exige-se a máxima transparência em relação à descrição do método. Porém, alguns casos têm vindo à tona de graves falhas na metodologia empregada que passaram despercebidas e, agora, afetam seriamente a credibilidade de milhares e milhares de artigos e lança sombra sobre suas respectivas áreas.

-----------------
'O que faremos amanhã à noite, Cérebro?' 'O mesmo que fazemos todas as noites, Pinky; tentar consertar o método.'
Apesar do imageamento por ressonância magnética funcional (fMRI) - em que se busca detectar regiões do cérebro em que há uma alteração no sinal de ressonância magnética dos núcleos de hidrogênio aumento do consumo de açúcares radiomarcados durante a realizações de determinadas tarefas**** - já ter um quarto de século com intenso uso em pesquisa e diagnóstico, o principal algoritmo estatístico de detecção de padrões usado nessa técnica nunca foi devidamente validado com testes comparativos com dados reais.

Eklund e cols. (2012) resolveram, então, colocar isso à prova e obtiveram um resultado muito ruim: até 70% (a depender dos ajustes utilizados nos programas) de falsos positivos foram obtidos na análise de 1.484 dados de repouso disponíveis publicamente em um bando de dados com o uso do pacote SPM - contra a taxa esperada de falsos positivos de 5% O mesmo grupo em.Eklund, Nichols e Knutsson (2016)** expandiu a análise incluindo os principais softwares utilizados nesse tipo de análise (além do SPM, também o FSL, o AFNI e o método de permutação não-paramétrica) e também foram obtidos taxa de falsos positivos muito acima do esperado. O problema provavelmente deve-se ao fato de os dados reais não seguirem uma distribuição teórica (gaussiana) como suposto nas análises estatísticas implementada nos softwares.

O achado deve afetar cerca de 40.000 artigos que utilizam a técnica de fMRI. Esse número foi depois removido em uma correção ao artigo. Em 2017, Cox et al., publicaram uma resposta em que contestam a estimativa do erro feita por Eklund e colaboradores. Em vez da taxa de até 70%, Cox e colegas estimam que a inflação dos valores seja de menos de 10%.*****

-----------------
Corretor celular
Em uma revisão, Hugues e cols. (2007), estimaram que 18% a 36% das linhagens celulares utilizadas em pesquisa estavam contaminadas ou eram objeto de erro de identificação.

Em 2012, foi formado o Comitê Internacional de Autenticação de Linhagens Celulares (ICLAC) para avaliar o perfil das linhagens celulares utilizadas em pesquisa. Mais de 400 linhagens estão catalogadas como contaminadas ou erroneamente identificadas.

Christopher Korch, um dos principais pesquisadores da área, estima que apenas com duas linhagens: HEp-2 e INT 407 (contaminadas há muito tempo e atualmente constituídas essencialmente por células HeLa), 7.125 artigos estão comprometidos.

-----------------

*Obs: Apenas um trocadilho com título da principal obra do filósofo Paul Feyrabend. Não é nenhum abono a ela - não que minha recomendação ou restrição conte alguma coisa. (Claro, também uma referência ao conhecido a abusado verso do poeta Carlos Drummond de Andrade.)
**via Rafael Garcia fb
***ht Stevens Rehen fb
****O leitor Ricardo, a quem agradeço, alertou nos comentários que a explicação original estava errada - ela se referia à técnica de PET scan.
****Upideite(24/nov/2019): adido a esta data.

LinkWithin

Related Posts with Thumbnails