A ciência é supostamente autocorretiva. Ainda nos últimos anos em algumas áreas – biomedicina e ciências sociais, especialmente – o processo parece estar falhando. Muitos estudos publicados acabam por depender de métodos falhos ou mesmo de fraude. Uma causa são os maus incentivos sob os quais a maioria dos cientistas opera. Mas um problema mais profundo, não facilmente curável, é que a ciência, como qualquer outra atividade humana, pode estar sujeita a retornos decrescentes.
Um grande fracasso é a chamada crise de replicação: pesquisadores em ciências sociais e biomédicas não podem repetir com confiança um experimento e obter o mesmo resultado. Como a replicabilidade é o critério para a verdade na ciência experimental, a falha em replicar é um problema sério. Em 2016, a prestigiosa revista científica internacional Nature publicou uma pesquisa que mostrou que “Mais de 70% dos pesquisadores tentaram e não conseguiram reproduzir os experimentos de outros cientistas, e mais da metade não conseguiu reproduzir seus próprios experimentos.” Em 2011, o Wall Street Journal descreveu como a empresa farmacêutica Bayer tentou replicar uma série de estudos sobre drogas e falhou em quase dois terços do tempo. A situação pode ser ainda pior do que esses resultados sugerem, porque na ciência social, especialmente, a replicação raramente é tentada. Segue-se que muitas conclusões sobre dieta, drogas, preconceito, preconceito e o caminho certo para ensinar – são falsas.
Falsas descobertas são necessariamente a base para práticas erradas e a busca de becos sem saída científicos. O pesquisador A aprende com a literatura que X é verdadeiro. Ele infere que, se X for verdadeiro, então Y deve seguir. Ele testa (geralmente inadequadamente) Y, e acha que é verdade … Enxágue e repita com o Pesquisador B e encontrando Y … Se X é de fato falso, essa trilha não leva a lugar nenhum. Pesquisas falhas não são algo que pode ser ignorado: tem um custo real e potencialmente crescente.
Como descobertas falsas são publicadas? Alguns exemplos podem ajudar. O professor Brian Wansink é chefe do Food and Brand Lab na Cornell University. O laboratório teve vários problemas; vários artigos publicados tiveram que ser retirados. Um dos problemas mais triviais dos laboratórios é este (da The Chronicle of Higher Education ):
Wansink e seus colegas pesquisadores passaram um mês reunindo informações sobre os sentimentos e o comportamento dos clientes em um restaurante italiano de buffet. Infelizmente, seus resultados não suportaram a hipótese original. “Isso nos custou muito tempo e dinheiro para coletar”, lembrou Wansink ao aluno de pós-graduação. “Tem que haver algo aqui que podemos salvar.”
Quatro publicações surgiram do estudo buffet “recuperado”.
O problema real, a provável fonte de todos os outros problemas da Wansink, pode ser a motivação para produzir publicações. Por essa medida, seu grupo de pesquisa é extremamente bem-sucedido: 178 artigos de periódicos revisados por pares, 10 livros e 44 capítulos de livros somente em 2014.
O impulso de publicar não se restringe ao professor Wansink. É universal na ciência acadêmica, especialmente entre jovens pesquisadores que buscam bolsas de promoção e pesquisa. Uma forma de incrementar as listas de publicações é adicionar autores: os trabalhos com vários autores aumentaram muito nos últimos anos. Outra é publicar assim que você tiver qualquer resultado ‘significativo’. O LPU (“unidade menos publicável”), uma brincadeira perene entre pesquisadores, é aquele quantum de resultados elusivo e irredutível que será suficiente para uma publicação. Uma nova indústria de jornais pop-up surgiu para atender a essa necessidade de publicar.
Aqui está outro exemplo, de um blog de ciência recente. A questão era o chamado nível de significância que um pesquisador deveria usar como critério para a veracidade de seu resultado. Se a probabilidade do resultado ocorrer por acaso for menor que X%, então ele pode aceitá-lo como verdadeiro: 5% é o valor convencional para X. A resposta (correta) do especialista foi a seguinte: “Não há referência autorizada para usar 0,05 como nível de significância. Au contraire… o nível de significância tem que ser escolhido com base em todo o contexto… ”O padrão de 5% é muito generoso, como se vê.
Mas mais revelador do que a resposta é a pergunta – de um cavalheiro sem constrangimento na Universidade de Oslo: “Como posso justificar o uso de significância aos 10%?” Em outras palavras, esse cara não está interessado na verdade de seu resultado. , mas no que seria necessário para publicá-lo. É difícil imaginar uma demonstração mais clara do declínio do método científico.
Por que essa unidade para publicar? A maioria dos pesquisadores agora são empregados assalariados. Eles precisam de publicações porque é assim que são avaliados. O problema é que, a qualquer momento, o número de aberturas científicas, de questões frutíferas – questões que levam a novos insights, e não a becos sem saída – é limitado. Pode não ter acompanhado a demanda. Pode haver muito poucas perguntas boas para o número de cientistas em busca. O que, então, determina o número de cientistas?
Em 1945, Vannevar Bush, engenheiro e intelectual público, escreveu um relatório influente que levou à criação da National Science Foundation. Em CIÊNCIA, a Fronteira Infinita Bush declarou: “O progresso científico em uma frente ampla resulta do livre jogo dos intelectos livres, trabalhando em assuntos de sua própria escolha, da maneira ditada pela sua curiosidade pela exploração do desconhecido.” [Ênfase minha] Bush acreditava que o campo da ciência é essencialmente infinito, que as oportunidades de fazer novas descobertas são ilimitadas. Resumindo: quanto mais cientistas melhor!
Mas isso é verdade? A alegação ambiciosa de Bush sofreu um ataque recente, em parte devido à crise de replicação e a outros problemas com o produto de pesquisa que acabei de descrever. Tentativas estão sendo feitas para remediar esses problemas, mas sua fonte pode estar fora de nosso controle.
Incentivos ruins são parte do problema, mas a estrutura de incentivo deficiente da ciência moderna pode ser um efeito e não a causa raiz. A causa real pode ser a natureza da própria ciência. Vannevar Bush prometeu avanços científicos em uma “frente ampla”. “Ampla”, sim, mas não infinita. À medida que cada problema é resolvido, novas questões são abertas. Pode não haver fim para este processo, mas o número de linhas de pesquisa frutíferas em qualquer momento pode ser finito. A reação natural a isso pode ser um relaxamento dos padrões científicos. O número crescente de erros pseudocientíficos que testemunhamos nos últimos anos pode não ser apenas um testemunho da fragilidade humana, mas um reflexo do fato de que o número de linhas de pesquisa frutíferas não acompanhou o crescente número de cientistas.
Essa disparidade não é desastrosa. Ainda há respostas a serem encontradas; o avanço continua. Mas a incompatibilidade significa que a proporção de experiências mal sucedidas e bem-sucedidas aumentará.
Falha na ciência é suicídio de carreira
Uma alta taxa de falha não é em si um problema, cientificamente falando. A falha está bem; é uma parte necessária da ciência. O problema é que falhas repetidas não são compatíveis com o avanço na carreira. A ciência é agora para a maioria dos cientistas uma carreira e não uma vocação. Falhas são essenciais para o avanço científico. Muitos dos maiores avanços da ciência, da teoria de Darwin ao bóson de Higgs, ocorreram somente depois de muitos anos de busca infrutífera por evidências. Darwin poderia persistir porque ele era rico independentemente. A busca pelo Higgs fazia parte do empreendimento coletivo do Large Hadron Collider, um investimento necessariamente de longo prazo. Mas o fracasso, especialmente o fracasso individual, não funciona bem com os administradores de pesquisa. Um cientista ambicioso não pode falhar.
E isso criou um grande problema, que ameaça erodir os próprios fundamentos da ciência. Pesquisadores ansiosos serão atraídos para métodos de pesquisa que se pareçam bastante com a ciência para se tornar prática aceita, mas garantem resultados publicáveis pelo menos em parte do tempo.
Em outras palavras, a crise de replicação e outros problemas da ciência, como a aparente desaceleração na taxa de descoberta de novas drogas terapêuticas, podem refletir algo mais do que a suscetibilidade humana a maus incentivos. Talvez o problema não seja pessoas, mas natureza? Talvez existam cientistas demais para o número de problemas solúveis disponíveis? Talvez tenhamos colhido os frutos mais fáceis e o que resta é difícil de colher sem abandonar o rigor?
Pode haver muito de qualquer coisa. Deve haver um número ideal de cientistas que seja inferior a cem por cento da população adulta. Além desse número ideal, a comunidade científica começará a gerar ruído em vez de sinalizar e o avanço será impedido. Estamos nesse ponto agora em áreas como ciências sociais e biomedicina? A prosa inspiradora de Vannevar Bush foi apropriada no final da Segunda Guerra Mundial e levou a grandes avanços na ciência pura e aplicada apoiada pelo governo. Mas a situação agora pode ser muito diferente. Deveríamos pelo menos estar pensando se não precisamos de mais, mas menos cientistas sociais e biomédicos.
