O Problema com a pesquisa científica hoje: boa parte do que é publicado é lixo

Tradução de artigo de Henry I. Miller e S. Stanley Young, publicado na Forbes.

Muitas pessoas que não são cientistas ficam confusas e perturbadas pelos conselhos constantemente mutáveis que médicos e pesquisadores fornecem a respeito de várias questões. Numa semana, café causa câncer; na outra, ele previne. Qual deveria ser o limiar de LDL para a administração de estatinas para prevenir doenças cardiovasculares? A radiação dos telefones celulares causa tumores cerebrais?

Parte desta confusão é devido à qualidade das evidências, a qual depende de inúmeros fatores, parte é devido à própria natureza da ciência: nós formulamos hipóteses e depois fazemos experimentos para testá-las; à medida que as informações se acumulam e várias hipóteses são rejeitadas, nós nos tornamos mais confiantes a respeito daquilo que pensamos saber.

Mas isso também pode ser devido ao atual estado da ciência. Os próprios cientistas estão ficando cada vez mais preocupados com inconfiabilidade – isto é, a falta de reprodutibilidade – de muitos resultados experimentais ou de observações.

Investigadores que executam pesquisa em laboratório têm um alto grau de controle sobre as condições e variáveis de seus experimentos, uma parte fundamental do método científico. Se há dúvidas significativas a respeito dos resultados, eles podem repetir o experimento. Em geral, quanto mais repetições, mais confiança sobre a acurácia dos resultados. Finalmente, se os resultados são suficientemente novos e interessantes, os pesquisadores submetem a descrição dos experimentos a um jornal científico de reputação, onde, após uma revisão pelos editores e experts avaliadores, eles são publicados.

Deste modo, pesquisadores fazem o trabalho e, ao menos em teoria, eles estão sujeitos à supervisão dos editores de jornais (e de quem financia os estudos, que frequentemente é uma agência governamental).

É importante saber quão bem este Sistema funciona. Em parte, a resposta depender do desenho do estudo. Estudos de laboratório são “experimentais”, significando que tipicamente eles determinam os efeitos de somente uma única variável, tal como diferentes doses de uma droga ministrada a ratos (enquanto o grupo controle recebe um placebo). Em contraste, “estudos de observação”, nos quais cada indivíduo é investigado e certos resultados são registrados, não tentam afetar o resultado com uma intervenção.

Em estudos de observação, dezenas de milhares de pessoas podem ser questionadas por epidemiologistas sobre qual comida comem, quais drogas usam, ou até em qual CEP residem. Estas pessoas são acompanhadas por um período de tempo e diversas variáveis de saúde são registradas. Finalmente, a “extração de dados” dos enormes conjuntos de dados como estes busca por padrões de associação – por exemplo, o consumo de certos alimentos ou medicamentos correlacionados com dados de saúde. Uma conclusão de tal estudo pode ser, “o uso de terapia de reposição hormonal em mulheres acima de 50 anos está associado com uma menor incidência de ataques cardíacos”, ou “pessoas que tomam grandes quantidades de vitamina C têm menos resfriados”.

Estudos de observação têm limitações práticas e teóricas, eles podem ser sugestivos mas eles não podem provar causa e efeito. Há uma diferença crítica entre plausibilidade e “provabilidade”, e muitos de tais estudos são subsequentemente considerados enganosos. Por exemplo, ao invés do que a princípio alguns estudos observaram, é agora evidente que a personalidade do “Tipo A” não causa ataques cardíacos. A afirmação inicial não pôde ser replicada em dois ensaios clínicos bem conduzidos. De fato, de aproximadamente 50 afirmações encontradas ou sugeridas por estudos de observação, nenhuma foi reproduzida quando testada em ensaios clínicos randomizados.

Como produzimos conclusões tão errôneas de estudos observacionais? Na maioria deles, dúzias, centenas ou até mesmo milhares de questões são realizadas. Significância estatística ocorrerá ao acaso em aproximadamente 5% das vezes, resultando em falsos positivos. Pesquisadores podem explorar este fenômeno fazendo várias perguntas e criando uma história entorno de eventos provavelmente aleatórios, ao acaso.

blahblah

Se planejados e executados corretamente, experimentos de laboratório deveriam ser mais confiáveis que estudos de observação. Entretanto, evidências recentes indicam que frequentemente eles são equivocados: pesquisadores podem “remendar” seus desenhos experimentais até obterem os resultados que desejam e em seguida correrem para publicar sem reproduzir seu próprio trabalho, por exemplo. Investigações encontraram deficiências sistemáticas de metodologia em determinados setores de pesquisa de laboratório. Uma destas áreas é a da experimentação animal; randomização e estudos cegos não fazem parte da cultura dos pesquisadores, ao passo que a retirada arbitrária de animais dos resultados faz. Em um chocante artigo do jornal científico Science, um pesquisador relatou o que ocorre com frequência: “Você olha para seus dados, não há regras… As pessoas excluem animais a seu bel prazer, elas o fazem e não relatam isso.”. O resultado de tais práticas é que as intervenções que parecem curar ou beneficiar animais frequentemente falham nos experimentos com humanos.

Tais falhas em replicar experimentos têm implicações importantes, porque companhias farmacêuticas e fundações com interesses focados frequentemente tentam aplicar os resultados da biologia experimental no desenvolvimento de produtos para intervenções terapêuticas, criação de guias nutricionais e outras aplicações.

Após uma série de tentativas frustradas em expandir os achados da pesquisa básica (de laboratórios acadêmicos), duas grandes companhias farmacêuticas, Bayer e Amgen, cuidadosamente revisaram seus próprios experimentos e viram que apenas 25 e 11 por cento, respectivamente, das alegações na literatura científica poderiam ser reproduzidas de maneira suficientemente robusta para serem úteis como base para projetos de desenvolvimento de medicamentos. Surpreendentemente, mesmo quando eles pediram aos pesquisadores originais para replicar seus próprios trabalhos, a maioria não conseguiu fazê-lo. Isso pode explicar porque a habilidade dos cientistas em traduzir a pesquisa de câncer no laboratório em sucesso clínico tem sido chocantemente escassa.

O altamente respeitado jornal científico Nature Biotechnology recentemente publicou um editorial sobre este tema. Na mesma publicação apareceu um relato da inabilidade de um grupo de cientistas em reproduzir um experimento com camundongos (o qual supostamente descobriu que uma certa classe de RNAs em plantas utilizadas como alimento poderiam ser absorvidos pela corrente sanguínea  de animais e causar um efeito na expressão gênica) que foi feito por um outro grupo de pesquisa e publicado no jornal Cell Research. Este último jornal deveria ter publicado o segundo artigo, o qual, de fato, repudiava o primeiro relato, mas os editores se recusaram a fazê-lo. Logo, o Nature Biotechnology voluntariou-se, porque, disse o editorial, “Quando um relato inicial provoca este nível de preocupação e envolve um considerável investimento de tempo, esforço e recursos de pesquisadores e agências reguladoras em avaliar seus achados e compreender suas implicações, então um estudo de repetição cuidadosamente controlado e executado claramente justifica a publicação”.

Inúmeros estudos empíricos mostram que 80-90% das afirmações vindas de estudos supostamente científicos nos grandes jornais falham na replicação. Isso é um escândalo, e o problema tende a piorar com a proliferação de “editores predatórios” de muitos jornais de livre acesso. De acordo com uma revelação destas práticas por Gina Kolata no New York Times, os jornais publicados por alguns dos piores ofensores não são nada mais do que máquinas geradoras de dinheiro que ansiosamente, acriticamente aceitam essencialmente qualquer trabalho que for submetido para publicação.

Outra tendência preocupante é a crescente publicação de resultados equivocados de “pesquisas de advocacia” que na verdade são elaboradas para dar um falso resultado que propicia valor de propaganda para ativistas e podem ser citadas muito tempo após os achados terem sido desacreditados.

Precisamos de mais estudos de replicação/reprodução de experimentos, e é responsabilidade dos editores dos jornais e revistas científicos e das agências financiadoras garantir que eles sejam executados e publicados. Pesquisadores individuais não são ávidos a tais estudos porque o financiamento para eles é difícil de obter e atualmente há baixa probabilidade de que os mesmos sejam publicados. Em contraste, há incentivos para pesquisadores publicarem achados ostentosos e originais mesmo que subsequentemente descubra-se que eles não sejam reprodutíveis; por um tempo, ao menos, a publicação de tais artigos podem propiciar aos autores notoriedade, financiamento de pesquisa e até mesmo estabilidade acadêmica.

Dados os incentivos para a publicação rápida de pesquisas – sejam elas reprodutíveis ou não – e a facilidade de publicá-las, os desencorajamentos para executar experimentos de replicação, e a falta de interesse nesse assunto por editoras e editores, fica difícil ser otimista sobre reverter as atuais tendências e sobre tornar a ciência mais confiável.

Henry I. Miller, médico e biólogo molecular, é membro do Robert Wesson em Filosofia Científica e Políticas Públicas na Instituição Hoover da Universidade de Stanford; ele foi diretor de fundação do Escritório de Biotecnologia do FDA.

Dr. S. Stanley Young é diretor assistente em Bioinformática no Instituto Nacional de Ciências Estatísticas (NISS) no Research Triangle Park, Carolina do Norte e Professor Adjunto de estatística nas Universidades de Carolina do Norte, Waterloo e Columbia Britânica.

Artigo relacionado (em inglês)

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s