Porque há tanta ciência errada, falsa, exagerada ou enganadora

Num ano em que cientistas parecem ter entendido tudo errado, um livro a tentar explicar porquê é bizarramente relevante. Claro, a ciência estava em sérios problemas muito antes do início da pandemia e as excelentes “Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth” de Stuart Ritchie já estavam a ser elaboradas. Mas é muito bem-vindo, no entanto, e muito importante.

Para um opositor como eu, ler Ritchie é bom para a minha sanidade mental – mas mau para minha integridade intelectual. Ele alimenta os meus antecedentes que muitas pessoas, mesmo especialistas, se iludem pensando que sabem coisas que na verdade não sabem. Resultados científicos fantásticos, sejam do tipo que apareceram nas manchetes ou aqueles que gradualmente chegam ao conhecimento do público, geralmente são tão mal feitos que os resultados não se sustentam; eles não capturam nada real sobre o mundo. O livro é um alerta para uma instituição científica muitas vezes cega demais pelas suas próprias proclamações eruditas.

Repleto de exemplos e de explicações acessíveis, Ritchie conduz habilmente o leitor numa jornada pelos muitos problemas da ciência. Ele categoriza-os nos quatro subtítulos do livro: fraude, preconceito, negligência e exagero. Juntos, todos minam a busca pela verdade que é a raison d’être da ciência. Não é que os cientistas mintam, façam batota ou enganem intencionalmente – embora isso aconteça com uma frequência desconfortável, mesmo nas melhores revistas científicas -, mas experiências mal planeadas, estudos insuficientes, erros de folhas de cálculo ou valores-p manipulados intencionalmente ou não geram resultados demasiados bons para serem verdade. Uma vez que a carreira dos académicos depende da publicação de resultados novos, fascinantes e significativos, a maioria deles não os questiona. Se o software estatístico diz “significativo”, eles redigem o estudo com confiança e argumentam de forma persuasiva o seu caso surpreendente perante um periódico de primeira linha, os seus editores e os colegas negligentes no campo que deveriam policiar os seus erros.

Ritchie não é um negacionista da ciência maluco ou um teórico da conspiração trabalhando na cave da sua mãe; ele é um famoso psicólogo do King’s College London, com muita experiência em desmascarar investigações mal feitas, particularmente no seu próprio campo da psicologia. Durante a última década ou mais, esta disciplina tem sido o infeliz representante da “Replication Crisis”, a descoberta de que – para usar o conhecido título do artigo de John Ioannidis da Stanford University – “Most Published Research Findings Are False”.

Veja-se o exemplo do ex-professor de psicologia da Cornell, Daryl Bem, e da sua infame experiência de “pornografia psíquica” que abre o livro de Ritchie. Em ecrãs, mil alunos universitários viram duas cortinas, das quais apenas uma escondia uma imagem que os alunos deveriam encontrar. A escolha era cara ou coroa, pois eles não tinham quaisquer informações para prosseguir. Como esperado, para a maioria dos tipos de imagens, eles escolheram a cortina certa cerca de 50% das vezes. Mas – e aqui estava a reivindicação da fama de Bem – quando as imagens pornográficas se esconderam atrás das cortinas, os alunos escolheram a certa 53% das vezes, o suficiente para passar por significância estatística na sua amostra. O caminho para a publicação com uma boa classificação estava aberto.

Quando o artigo foi publicado, após passar na revisão pelos pares [“peer review”], o mundo ficou pasmado ao saber que universitários podiam ver o futuro – pelo menos quando estavam envolvidas imagens de natureza sexual. Provado pela ciência, certificado pelo The Scientific Method™, o mundo da psicologia foi lançado no caos. O estudo foi feito de maneira adequada, foi aprovado na “peer review” e publicado numa importante revista desta disciplina, com o mesmo método que sustenta todos os outros resultados bem conhecidos na área. Ainda assim, o resultado era totalmente doido. O que correu mal?

Ou veja-se o autor da economia comportamental, Daniel Kahneman, cujas tantas experiências peculiares convenceram toda uma profissão de economia da irracionalidade individual e, por fim, lhe valeu o Prémio Nobel. A literatura psicológica sobre o chamado “priming“, parte do qual é usado por economistas comportamentais, sugeriu que pequenas mudanças nas configurações podem produzir impactos notavelmente grandes no comportamento. Por exemplo, lembrar subtilmente o dinheiro às pessoas – por meio de símbolos ou do barulho das moedas – faz com que se comportem de forma mais individual e menos cuidadosa com os outros. “Descrença não é uma opção”, escreveu Kahneman no seu famoso “Thinking, Fast and Slow“, “não há escolha a não ser aceitar que as principais conclusões destes estudos [de ‘priming’] são verdadeiras”.

A partir da década de 2010, os psicólogos tentaram replicar esses resultados famosos e muito mais. Quando tentaram noutros locais, com outros alunos, equipamentos melhores ou amostras maiores – ou às vezes com os mesmos dados – não apareciam os mesmos resultados. Que estranho. As equipas de laboratório tentaram replicar muitas descobertas estabelecidas, chegando bem longe: “A crise da replicação parece”, escreve Ritchie, “com um estalar de dedos, ter limpo cerca de metade de toda a investigação em psicologia do mapa”. Havia algo estruturalmente errado na maneira como a psicologia encontrou e mostrou o conhecimento. Alguma investigação.

Resultados por sorte, como os alunos sobrenaturais de Bem, às vezes chegam à literatura publicada. Mais desanimadores são os casos reais de fraude, em que os cientistas falsificam os seus dados, os manipulam ou simplesmente os inventam do nada. As muitas histórias de Ritchie podem fazer perder a fé na instituição científica: cientistas inventando [resultados de] folhas de cálculo (apanhados apenas porque os humanos são muito maus a criar a verdadeira aleatoriedade), inclinação de imagens microscópicas para os lados, re-utilizar os mesmos números enquanto se pretende que são de outro conjunto de dados.

Embora todos concordem que a fraude é um problema e o desafio é evitá-la ou detectá-la antes que cause muitos danos, as outras falhas (enviesamento, negligência e exagero) são mais comuns – e mais prejudiciais por causa disso. Elas operam de maneiras mais subtis, fora da vista e impossíveis aos de fora de a elas se ajustarem. Vejamos o problema do ficheiro [“file-drawer problem“], onde os resultados negativos são guardados enquanto os resultados positivos – mais normalmente obtidos por acaso, como na experiência psíquica de Bem – são enviados para publicação, dando uma falsa impressão do estado do mundo, tanto na literatura como para o público em geral.

O que é fascinante no livro são as discussões de muitos estudos, afirmações e experiências com as quais até mesmo não especialistas estão familiarizados. Bem referenciado e citado de forma abrangente, Ritchie relata enormes problemas com as seguintes histórias sensacionalistas:
– Pratos maiores fazem comer mais.
– Ir ao supermercado com fome faz com que se comprem mais calorias.
– Os ovos causam doenças cardiovasculares.
– Em ambientes confusos ou sujos, as pessoas exibem mais estereótipos raciais.
– A pose de poder (sentar-se com as penas abertas ou colocar as mãos agressivamente nos quadris) cria um impulso psicológico e hormonal que se correlaciona com maior tolerância ao risco e melhores resultados de vida.
– A experiência da prisão de Stanford de Philip Zimbardo e a crueldade desumana por pessoas em posição de autoridade (desmascarada talvez de forma mais eficaz pelos muitos escritos aprofundados de Gina Perry sobre famosas experiências de psicologia).
– Dormir menos de seis horas por noite “destrói o seu sistema imunológico[e] duplica o risco de cancro”, como declara o livro “Why We Sleep” de Matthew Walker.

Tudo errado. Cada uma dessas alegações muito divulgadas e discutidas incluem, pelo menos: conclusões enganadoras não garantidas pela própria investigação; dados fabricados; dados manipulados para passarem em testes de significância; projectos experimentais incompetentes; ou experiências que não se replicam quando tentadas por outros investigadores. Desmontá-los para um público não especializado é onde Ritchie realmente brilha.

Não ficamos surpreendidos que as manchetes das notícias interpretem mal, exagerem ou deixem de reportar nuances, mas Ritchie mostra que mesmo a literatura publicada que apoia essas afirmações tem falhas prejudiciais, minando os seus resultados. No que diz respeito ao resto do mundo, isso não importa muito. Essas reivindicações já eram conhecidas. Muitos dos seus resultados alcançaram o público não científico e entraram no “conhecimento comum”. Pessoalmente, três pessoas diferentes, em ocasiões diferentes, informaram-se sobre os perigos de comer ovos – duas delas em programas de doutoramento nalgumas das universidades mais prestigiadas do mundo. Ser inteligente e estar certo são duas coisas muito diferentes.

Isso faz-me pensar que o exagero [“hype”] é o pior dos muitos pecados da ciência, já que investigadores entusiasmados (ou mesmo instituições admiradas como a NASA) escrevem comunicados à imprensa inchados sobre alguma afirmação revolucionária que acaba por ser fraudulenta, negligente, malfeita, fraca ou simplesmente sem nada de novo na sua própria investigação.

Algumas dessas histórias assustadoras de investigações equivocadas têm resultados sérios no mundo real: os exemplos incluem o erro do crescimento inibidor da dívida dos governos de Reinhart e Rogoff, os esforços fraudulentos de Paolo Macchiarini em pacientes no Karolinska Institute, ou a investigação totalmente inventada que sugeria como a vacina conjunta contra o sarampo, papeira e rubéola causava autismo. Mesmo erros mais pequenos e comparativamente mais inocentes como o “p-hacking”, mudança de objectivos dos resultados ou estudos insuficientes com efeitos muito grandes prejudicam a ciência e tornam o mundo num lugar pior, já que médicos e decisores políticos os utilizam na tomada de decisões.

Num ponto do capítulo sobre enviesamento [“Bias”], o próprio Ritchie perde a esperança, ponderando como superar todas essas falhas estatísticas e humanas para produzir conhecimento preciso sobre o mundo: “A minha resposta é que não tenho qualquer ideia”, escreve.

De alguma forma, ele termina com uma nota algo mais positiva. Os dois últimos capítulos fornecem muitas sugestões promissoras de como a ciência pode melhorar os seus muitos desafios: pode-se financiar a investigação de maneiras diferentes; as revistas científicas podem comprometer-se com a publicação se o “design” do estudo for suficientemente bom, publicando mais resultados negativos; pode-se pré-registar métodos de modo que os investigadores não possam mudar a variável-alvo no meio do estudo; pode-se reter algum dinheiro do financiamento até à publicação, para punir financeiramente os investigadores que arquivaram os seus resultados mal-sucedidos.

Mais revigorante é a tecnologia informática e a crescente transparência que ela permite. Conjuntos de dados inteiros podem ser colocados online e os códigos podem ser analisados ​​linha por linha por muito mais do que o punhado de revisores e editores que (deveriam) normalmente fazê-lo. Além disso, o motivo pelo qual se descobriram tantos infractores em primeiro lugar foi pelo uso de algoritmos inteligentes que encontraram inconsistências nos resultados estatísticos reportados.

O autor alerta contra o niilismo de se “suspeitar de todo e qualquer resultado novo, dado o nosso conhecimento de que o fluxo do progresso científico está longe de ser puro”. Uma dose saudável de cepticismo é boa – jogar o bebé fora com a água suja do banho não é. A ciência é “uma das conquistas mais orgulhosas da humanidade”, proclama, e só porque muito dela é errada, falsa, exagerada ou enganadora, não significa que nunca identificou correctamente nada importante. Pelo contrário.

Enquanto me vejo a cair precisamente na armadilha que Ritchie teme – que as pessoas usem mal o seu livro para negar até mesmo resultados científicos bem estabelecidos – ele preocupa-se mais com o problema oposto. Correctamente: as pessoas, especialmente no Ocidente, depositam uma confiança extraordinariamente elevada nos cientistas – chegando a mais de 90% nalguns países. No Reino Unido, por exemplo, a população parece ter cada vez mais confiança na ciência e nos seus resultados ao longo do tempo.

O livro, embora assustador e desanimador, procura a verdade e, em última análise, é optimista. Ritchie não vem enterrar a ciência; ele vem para a consertar. “Os ideais do processo científico não são o problema”, escreve na última página, “o problema é a traição desses ideais pela forma como fazemos investigação na prática”.

* Texto de Joakim Book, publicado originalmente na American Institute for Economic Research (CC BY 4.0). Foto: woodleywonderworks (CC BY 2.0).