Replicação.
É uma daquelas palavras misteriosas que pesquisadores psicológicos e psiquiátricos usam regularmente, mas poucas pessoas do público em geral já ouviram falar, e muito menos entendem. No entanto, se eu tivesse que compilar uma lista de 10 termos que todos os leigos educados interessados em psicologia deveriam saber, a "replicação" seria alta nessa lista. Refere-se à capacidade de pesquisadores, idealmente pesquisadores independentes, duplicar descobertas anteriores. A replicação independente é especialmente crucial, porque uma equipe de investigação pode continuar repetindo seus erros, resultando na aparência errônea de uma descoberta confiável.
As replicações em psicologia são extremamente importantes, especialmente porque uma série de achados interessantes são flukes. Lembre-se do famoso estudo de "bloomer" de Rosenthal e Jacobson de 1968, que mostra que as expectativas positivas de ensino artificial em professores de escola podem produzir mais alto nos QIs em seus alunos? Muitas pessoas, incluindo muitos leigos educados, ouviram falar sobre essa descoberta, mas poucos sabem que uma série de pesquisadores posteriores acharam esses resultados difíceis de replicar. A descoberta original de Rosenthal e Jacobson não é robusta ou (mais provável) é pequena em magnitude, especialmente no mundo real, onde os professores têm a oportunidade de interagir amplamente com seus alunos – o que prejudica os efeitos das expectativas dos professores. O mesmo problema de replicabilidade se aplica ao medicamento; em um artigo de 2005, John Ioannides descobriu que cerca de um terço das descobertas em ensaios clínicos não aguentam estudos posteriores.
Mas há um problema com as repetições: não são sexy. Para muitos, as replicações parecem "notícias antigas". Então, as mídias de notícias – que, afinal, informam sobre o que é "novo" – muitas vezes ignoram. Pegue a literatura de percepção extrasensorial (ESP), na qual a mídia rotineiramente reporta com grande fanfarra qualquer indício de pesquisa positiva ou mesmo uma anedota de apoio, mas mal menciona mais de 150 anos de centenas de repetições falhadas de supostos fenômenos psíquicos.
As replicações também não são sensíveis aos editores de jornais. No início da minha carreira, quando ainda era um estudante de pós-graduação, submeti (juntamente com um co-autor) um artigo a um grande periódico psicológico que era essencialmente uma replicação e menor extensão de descobertas anteriores sobre as diferenças sintomáticas entre duas condições de infância sobrepostas , distúrbio de atenção / hiperatividade e desordem desafiadora de oposição. As críticas que recebemos foram bastante positivas, mas o editor inicialmente recusou-se a publicar o documento com o argumento de que nosso estudo era "apenas" uma replicação de uma descoberta anterior (para dar ao editor o devido, ele estava disposto a ser persuadido e terminou editando nosso artigo após uma revisão substancial). Mas, na maioria dos casos, as replicações provavelmente são ainda mais importantes do que o achado original, porque tantas descobertas iniciais não aguentam pesquisas posteriores.
É por isso que um artigo que apareceu na primeira página do New York Times no dia 17 de junho deu um sorriso no meu rosto. Isso não aconteceu porque eu tenho algum investimento intelectual ou pessoal específico na descoberta – não sei -, mas porque marcou uma das primeiras vezes que eu posso lembrar em que a falha em replicar uma descoberta recebeu quase tanto cobertura de mídia como a descoberta original. Este artigo, escrito pelo poderoso repórter de psicologia do New York Times, Ben Carey, informou que uma descoberta amplamente maliciosa – relatada pela primeira vez por Avshalom Caspi e seus colegas no artigo de 2003 na prestigiosa revista Science – não aguentava quando outros 14 estudos foram combinados no que os psicólogos chamam de meta-análise, que é uma técnica estatística extravagante que permite aos investigadores combinar estudos múltiplos e tratá-los como se fossem um grande estudo. Especificamente, em 2003, Caspi e seus colaboradores descobriram que uma variante específica de genes relevante para o neurotransmissor serotonina "interagiu" com o estresse da vida no aumento do risco de depressão. Ou seja, as pessoas com a variante do gene e o estresse da vida eram especialmente propensas a depressão, de modo que os "efeitos" das influências genéticas e ambientais eram multiplicativos e não aditivos.
Para muitos observadores, a descoberta de Caspi foi especialmente atraente, porque se enquadrava nas noções populares – e indiscutivelmente politicamente corretas – da "interação gene-ambiente". Ela se tornou uma das descobertas mais discutidas e citadas na psicologia moderna; A partir desta escrita (28 de junho de 2009), foi citado um período assustador de 1996 na literatura científica (a título de comparação, o número modal de citações para artigos de revistas em psicologia é 0 – sim, zero) e foi amplamente saudado como entre os resultados científicos significativos da década. No entanto, a nova meta-análise, liderada pelo geneticista Neil Risch e publicada no Journal of the American Medical Association (JAMA), mostrou que, quando os dados de outros estudos foram combinados juntamente com os achados originais de Caspi, o efeito de interação desapareceu. http://jama.ama-assn.org/cgi/content/full/301/23/2462
Claro, é possível que este veredicto negativo possa mudar ao longo do tempo com o surgimento de novas descobertas, e que Caspi e colegas serão finalmente vindicados. A beleza da ciência é que ela é auto-corretiva no longo prazo, mesmo que seja muitas vezes desordenada no curto prazo. Eventualmente, a verdade em relação aos genes da serotonina, eventos de vida estressantes e depressão irá sair. Mas com a aparência do artigo JAMA, a bola está agora no tribunal de Caspi e colegas, não no tribunal de seus críticos, para mostrar que seu efeito de interação não era uma miragem.
Que lições podemos tirar desse episódio? Não devemos confiar muito em qualquer pesquisa de psicologia, a menos que e até que uma equipe de investigação diferente tenha replicado. Também devemos lembrar que as mídias de notícias raramente apreciam a importância da replicação, por isso são susceptíveis de divulgar resultados surpreendentes antes que outros os tenham duplicado. E os próprios pesquisadores devem se esforçar para conter sua excitação sobre a maioria das descobertas até que outras as tenham confirmado. No interesse da divulgação completa, devo notar que posso ser culpado de ter violado este preceito. Em duas ocasiões, publiquei descobertas de interações nos domínios da personalidade e da psicopatologia e, a meu ver, ninguém tentou replicá-las. Em retrospectiva, gostaria de ter sido mais circunspecto ao denunciá-los, em parte porque (por uma série de razões estatísticas, não vou aborrecer os leitores), as interações podem ser especialmente improváveis para replicar e, em parte, porque eu já venho para reconhece o quão fácil é se apaixonar por seus resultados – especialmente quando eles se aproximam das hipóteses.
Finalmente, como consumidores da literatura psicológica, devemos nos lembrar de um nugget de sabedoria que meu sábio Ph.D. mentor, o falecido David Lykken, gostava de dispensar: em geral, quanto mais intrigante um achado psicológico, menos provável é replicar. Com poucas exceções, David provavelmente estava certo, porque quanto mais um achado contradiz o conhecimento acumulado de uma pesquisa cuidadosamente realizada, mais provável é estar errado. Claro, resultados surpreendentes ocasionalmente serão verdadeiros, então, ao interpretar tais descobertas, precisamos caminhar uma linha fina entre o ceticismo excessivo e a abertura de espírito excessiva. Mas se Lykken estiver correto, a quantidade de cobertura de mídia que uma descoberta recebe – o que geralmente reflete sua contra-intuição – pode, na verdade, estar inversamente relacionada à sua confiabilidade. Caveat emptor.
