A entrada do blog de hoje é co-autoria com Rosa Cao, Ph.D. (abreviado RC abaixo, [email protected]). Dr. Cao recebeu seu Ph.D. em neurociência do Instituto de Tecnologia de Massachusetts em 2010, estudando o papel do fluxo sanguíneo no processamento de informações no cérebro. Em seguida, completou uma bolsa de pós-doutorado com o Dr. Daniel Dennett na Universidade Tufts, com foco em questões fundamentais na filosofia da mente e filosofia da neurociência. Atualmente é professora assistente na Universidade de Indiana, realizando pesquisas sobre Filosofia da Mente, Filosofia da Neurociência, Filosofia da Biologia e Ciência Cognitiva.
Sean Luo (SL): O tópico de interesse hoje é o papel da replicação na ciência, em particular as ciências do cérebro, e o papel da replicação de resultados científicos como aplicado à prática médica. Este é um tema que vem se tornando mais exposto nos últimos anos, tanto na comunidade científica (aqui, aqui) quanto na imprensa leiga (aqui, aqui e aqui).
Os resultados científicos começaram a desenvolver uma reputação pública de não ser confiável. Os resultados de grandes ensaios clínicos são muitas vezes revertidos em um estudo posterior, para surpresa de muitos. Na maioria das vezes, os achados laboratoriais básicos, especialmente aqueles que se pensam serem espetaculares no início, não podem ser replicados. No campo da psicologia e das ciências cognitivas, este problema tornou-se especialmente pernicioso e controverso.
Para abordar estas questões, o Instituto Nacional de Saúde começou a conceber mecanismos de financiamento formais para replicação, o que tem sido muito raro no passado.
Quais são seus pensamentos como um filósofo que trabalha no cruzamento da filosofia da ciência e da filosofia da mente?
Rosa Cao (RC): Acho que a replicação é enfatizada demais. Não me interpretem mal, é uma espécie de padrão mínimo, e certamente devemos nos preocupar com os tamanhos de efeitos decrescentes na psicologia. Mas no final, o que importa é se as experiências mostram o que eles pretendem mostrar. Ao aumentar o tamanho da amostra, as repetições bem-sucedidas aumentam a credibilidade dos dados reais. Mas isso não nos ajudará se a configuração original estiver com defeito no design e não corrigirá uma interpretação errada dos dados.
A replicação deve ser uma verificação de realidade. Isso foi um acaso? Mais cínicamente, pode detectar fraudes intencionais e inocentes manipulações ilusórias de resultados. Se dois grupos com diferentes incentivos, no entanto, produzem os mesmos dados, podemos nos sentir mais confiantes de que os resultados não foram desviados pelos incentivos experimentais, conscientes ou inconscientes. Mas a replicação não é a única, e certamente não é necessariamente a melhor verificação de realidade. O padrão-ouro em biologia é mecanismo. Um mecanismo biológico claro que produz efeitos de forma previsível dá maior credibilidade aos nossos resultados.
SL: Observação interessante. O problema de replicação tem duas facetas: há uma ciência errada e, em seguida, há cientistas ruins.
RC: chamar para replicação é interpretado como uma acusação de transgressão, e vemos as pessoas se irritando e fechando as fileiras. Bissell, por exemplo, argumenta em uma questão de natureza que é irresponsável chamar para replicações e culpa as falhas de replicação na incompetência em replicadores potenciais. Eu simpatizei com sua frustração – alguém que lhe diz que sua receita não funciona porque são cozinheiros incompetentes. Por outro lado, isso sugere, por sua vez, que muitas descobertas publicadas são tão frágeis que não podemos concluir muito com elas (e muito menos dizer, generalizar de resultados de mouse para humanos).
Mas, por vezes, os resultados não revelam razões inocentes. Sabemos que os dados são sempre barulhentos, e a escolha da cereja, a má interpretação, o design ruim, etc. são comuns. A replicação per se não fará um bom trabalho, quer identificando esses problemas ou resolvendo-os.
Às vezes, a utilidade da replicação é melhor ilustrada pelas replicações "debunking": um grupo posterior encontra os mesmos dados que um grupo anterior fez, mas com um conjunto diferente de hipóteses. Esse pode ser o tipo de debunking mais poderoso, mas estritamente falando, é uma replicação bem-sucedida, onde encontramos os mesmos dados, mas percebemos que merece uma interpretação diferente da que originalmente foi dada. Portanto, o problema não é replicação, é interpretação .
SL: Quais são alguns dos novos desenvolvimentos na filosofia da ciência que são relevantes para a nossa discussão atual?
RC: Filosofia da ciência nos bons velhos tempos em que a física era dominante estava obcecada com as leis. Agora que as ciências biológicas são ascendentes, os filósofos começaram a prestar mais atenção a outras formas que temos de fazer progresso científico. Eles argumentam que o que buscamos não são leis sem exceções do tipo encontrado na física, mas sim generalizações contextualizadas, onde sabemos como algo funciona e funciona na maioria das vezes, mas nem sempre.
Essas generalizações são incorporadas nas descrições do mecanismo pelo qual algum fenômeno de interesse é produzido (ver o documento Machamer, Darden e Craver [1]). Isso nos permite ligar o novo fenômeno de interesse a partes e funções mais simples que já são compreendidas, ou pelo menos parcialmente compreendidas em contextos mais amplos. Se sabemos quais são as peças e como essas peças, por sua vez, funcionam, não podemos apenas fazer generalizações, mas também podemos estimar o quão boas são essas generalizações e qual é o seu alcance, até onde elas se estendem além do contexto experimental original. Essas são as situações que realmente nos interessam. Se um experimento é perfeitamente replicável, mas apenas no laboratório, então, o que é bom fazer medicina ou nossa compreensão da cognição "na natureza"?
SL: Muitos níveis diferentes de análises são importantes. A medicina é ampla o suficiente para que, sem conhecer os mecanismos em detalhes, ainda podemos fazer inferências importantes e úteis, e dado que o nosso orçamento para pesquisa é limitado, como priorizar o financiamento para estudar mecanismo versus sistematicamente categorizar e analisar a fenomenologia, que são caras, torna-se crítico.
RC: Eu ainda acho que a replicação em medicina é realmente um substituto de segunda classe. Quando – como é frequentemente o caso em medicina – ainda não sabemos como algo funciona, podemos nos conformar com a certeza de que isso funciona. Idealmente, queremos saber como um tratamento médico faz seu trabalho. Mas vamos nos contentar com um tratamento eficaz que muitas vezes funciona para a maioria das pessoas, mesmo que não saibamos exatamente como.
Talvez você possa dizer que na medicina, não podemos ignorar a fenomenologia. Se um medicamento parece curar o câncer, temos a responsabilidade de acreditar que sim, e obtê-lo lá, mesmo que não saibamos como ele funciona. Mas não saber como poderia mesmo funcionar, ou seja, uma falta total mesmo de um mecanismo potencial, é evidência prima facie contra o resultado, especialmente se é estatisticamente fraco.
SL: Talvez a crítica contra experimentos de psicologia social não seja que eles não se replicem, mas que eles não se concentram bastante em mecanismos de sistematização e tornando as teorias subjacentes mais rigorosas.
RC: Ou talvez em algo como psicologia social, é muito difícil procurar mecanismos. Nós simplesmente não sabemos o suficiente sobre como as partes biológicas (células, transmissores, etc.) conseguem produzir comportamentos sociais complexos. Mas talvez essa seja uma boa razão para duvidar da utilidade das experiências de psicologia social além dos fenômenos relativamente delineados que investigam diretamente. Para praticamente qualquer campo, precisamos nos lembrar que as alegações experimentais muitas vezes não generalizam tão amplamente quanto gostaríamos e são mais confiáveis quando restrito ao fenômeno real observado.
SL: O problema real que vejo na pesquisa em ciência biológica básica e mecanística, bem como em pesquisas aplicadas, em assuntos humanos, incluindo ensaios clínicos, é que o número de hipóteses está crescendo exponencialmente. Vivemos na era da -omática, quando os sinais derivados de centenas de milhares de genes e regiões do cérebro podem ser medidos e testados para correlações ao mesmo tempo. Assumimos que o reducionismo funciona. Por exemplo, saber mais sobre o circuito cerebral envolvido no vício pode nos ajudar a aliviar o alcoolismo. Mas qual dos milhões de nós no circuito são relevantes? O que vejo é o problema mais desafiante que enfrentamos hoje. A replicação é, de alguma forma, uma relíquia de uma era de ciência da indústria artesanal, quando os insights poderiam ser obtidos a partir de uma única hipótese e de uma única experiência.
RC: É verdade que estamos enfrentando uma proliferação de hipóteses e dados. Então, talvez não precisemos de replicação em áreas onde agora temos grandes tamanhos de amostra. Mas esses tamanhos de amostra enormes acompanham hipóteses que têm pequenos tamanhos de efeitos – estatisticamente significativos, mas não são úteis no final. A genômica ainda não nos ensinou muito sobre como as doenças funcionam, ou como tratá-las. Ele nos deu uma imagem esmagadoramente complexa de quais marcadores estão associados aos outros marcadores. Esse é mais um motivo para seguir o mecanismo. Ao identificar uma determinada via neuronal subjacente, ou um conjunto de moléculas e receptores envolvidos, estamos um passo mais perto de obter uma visão dos comportamentos humanos.
SL: há uma resposta da aprendizagem de máquinas. Dados complexos podem não requerer compreensão de todos os mecanismos subjacentes para produzir produtos úteis e preditivos. Algoritmos podem detectar mecanismos que os humanos têm dificuldade em articular. E mesmo que não possamos todos os mecanismos, ainda podemos imitar funções úteis: o carro da Google é o exemplo perfeito – sabemos muito pouco sobre como os humanos conduzem mecanicamente um carro. O mecanismo reduz a dimensionalidade e melhora o desempenho preditivo.
Para levar a discussão de volta ao ponto original, se pensarmos sobre o método científico como um processo de aprendizagem bayesiano, enquanto o tamanho da amostra (ou seja, a evidência) aumentar, nos aproximamos assintoticamente da "resposta correta" (o mecanismo correto) . A resposta certa pode ser apenas um modelo complexo treinado em um grande conjunto de dados ao invés de hipóteses estatísticas individuais.
Mas se houver compartimentos sistemáticos (por exemplo, viés de publicação), isso não é mais verdade. Assim, mesmo com replicação e modelagem sofisticada, uma grande parte dos resultados científicos ainda podem se tornar bastante tendenciosas. Tornar-se consciente e abordar esses problemas é possivelmente o mais importante.
RC: a ciência deve ser auto-corretiva. Este é outro motivo para ir além da replicação sozinho. Quando novas experiências se baseiam em versões anteriores (em vez de simplesmente procurar repeti-las), obtemos uma segunda verificação se os resultados anteriores são confiáveis. Os métodos mais praticados são os mais credíveis. Há este excelente papel antigo de Ian Hacking, onde ele diz: "se você pode pulverizá-los, então eles são reais". [3].
Esta entrevista foi realizada e editada por E-mails.
REFERÊNCIA
[1] Pensando em Mecanismos, Peter Machamer; Lindley Darden; Carl F. Craver, Filosofia da Ciência, Vol. 67, nº 1. (2000) pp. 1-25.
[2] Reprodutibilidade: os riscos da unidade de replicação. Mina Bissell, Nature 503, 333-334 (21 de novembro de 2013) doi: 10.1038 / 503333a
[3] "Estamos completamente convencidos da realidade dos elétrons quando nos propusemos construir – e, muitas vezes, conseguimos construir – novos tipos de dispositivos que usam várias propriedades causais bem compreendidas dos elétrons para interferir em outras partes mais hipotéticas da natureza "Ian Hacking (1982). Experimentação e Realismo Científico. Tópicos filosóficos 13 (1): 71-87
