Cerca de dois terços dos resultados de Psych Hold Up nos principais periódicos

Estudos em pontos de venda de alto nível não estão isentos de preocupações sobre a reprodutibilidade.

Fonte: VikiVector / Shutterstock

Uma equipe de cientistas que tentaram repetir 21 descobertas experimentais de psicologia publicadas nos renomados periódicos Science and Nature conseguiu replicar 13 delas.

A psicologia tem estado no meio de um movimento para reconhecer e reformar práticas problemáticas que levam a resultados não confiáveis. Os insights até mesmo dos periódicos mais conceituados não estão imunes a esses obstáculos, demonstrando a importância de continuar a implementar políticas que tornem as novas descobertas científicas mais confiáveis.

• Sachia Vickery, do US Open Tennis, é “Diggin ‘Deep”.
• Por que um Self-Starter inteligente pode querer desistir
• Como podemos identificar os especialistas?
• Como fazer uma ótima primeira impressão
• Lições Aprendidas: Formando Comunidades de Aprendizagem Profissional

“Todos nós vamos nos empenhar por esse resultado surpreendente e surpreendente. Isso não é uma coisa ruim na ciência, porque é assim que a ciência ultrapassa os limites ”, disse Brian Nosek, principal autor do estudo e professor de psicologia na Universidade da Virgínia. “A chave é reconhecer e abraçar a incerteza disso, e está tudo bem se alguns se mostrarem errados”. O que o último teste mostra, explicou em uma conferência na web na semana passada, “é que podemos ser muito mais eficientes identificando pistas falsas em vez de perseverar, porque nunca nos preocupamos em reproduzi-las em primeiro lugar ”.

Uma equipe internacional de cientistas revisou todos os trabalhos de ciências sociais publicados na revista Science and Nature entre 2010 e 2015. Eles planejaram replicar um subconjunto de estudos que incluiu uma intervenção experimental, geraram um resultado significativo e foram realizados em um grupo de participantes.

A equipe recriou o projeto experimental o mais próximo possível e trabalhou com os autores originais para fazê-lo. Eles também registraram o protocolo, o projeto e a análise do estudo no Open Science Framework, um sistema projetado para aumentar a confiabilidade e a transparência na ciência. Eles conduziram cada estudo com cinco vezes mais pessoas do que o original, de modo que a investigação seria especialmente sensível à detecção de qualquer efeito experimental.

• Por que o trabalho importa: 10 razões para celebrar o Dia do Trabalho
• Mapa 34: O sonho americano – ou a terra da fantasia?
• Por que você não deve subir a escada corporativa
• A busca pelo significado na educação
• 10 perguntas a fazer-se antes de terminar uma amizade

A equipe replicou com sucesso 13 das descobertas do estudo, ou 62%. Os restantes oito estudos não conseguiram replicar. Iniciativas de replicação anteriores produziram uma série de resultados, e a equipe estima que a taxa de reprodutibilidade da psicologia atualmente esteja entre 35% e 75%. Os cientistas também descobriram que a força dos efeitos experimentais era cerca de metade do que eles eram nos estudos originais. Os resultados foram publicados hoje na revista Nature Human Behavior.

Muitas peças contribuíram para os problemas com replicação. Os cientistas normalmente têm flexibilidade na forma como analisam dados experimentais e, ao tentar abordagens diferentes, podem, consciente ou inconscientemente, empurrar as descobertas para o limiar de significância estatística. Os pesquisadores também podem alterar uma hipótese depois de ver os resultados, que têm o efeito de tecer quaisquer resultados significativos que encontrem em uma narrativa convincente. Eles não são obrigados a disponibilizar seus dados, o que pode levar um comportamento questionável a ser desmarcado. Talvez o mais importante, cientistas e editores de periódicos sejam incentivados a publicar tantas descobertas novas e chamativas quanto possível – em vez de replicar as descobertas anteriores para garantir a confiabilidade.

Esses elementos levam a novos resultados e efeitos fortes são relatados a uma taxa enganosamente alta. Isso é ilustrado pelo fato de que o tamanho médio dos efeitos foi metade dos estudos replicados do que era originalmente. “Este é um tema muito consistente na replicação”, disse Sanjay Srivastava, professor de psicologia da Universidade de Oregon, que não esteve envolvido com a pesquisa. “Se os estudos, às vezes, excedem e, às vezes, ficam abaixo do esperado, então deve ser 50/50. Mas isso não é de todo o caso.

A equipe também criou uma experiência para ver se os psicólogos poderiam detectar resultados sólidos e rigorosos. Um grupo de 200 pesquisadores apostou em quais estudos iriam ou não resistir ao escrutínio. A probabilidade de um estudo replicar corretamente previu o resultado para 18 dos 21 estudos.

“Como uma comunidade, não estamos totalmente tropeçando no escuro quando se trata do que vai se replicar”, Will Gervais, professor associado de psicologia da Universidade de Kentucky, disse na webconferência. “Você poderia treinar os revisores para procurar os padrões que as pessoas estão aprendendo. Dessa forma, esperamos poder eliminar alguns desses falsos positivos antes que poluam a literatura. ”

Gervais foi o autor de um dos estudos que não conseguiu replicar. O artigo foi publicado na Science em 2012 e mostrou que o pensamento analítico suprimia a crença na religião. Na época, as preocupações sobre o aumento da credibilidade ainda não haviam permeado o campo. Agora ele reconhece que o experimento foi bastante fraco e não se manteve tão bem quanto outras idéias ao longo de sua carreira.

“Nosso estudo, em retrospecto, foi completamente tolo. Foi um número realmente pequeno [de participantes] e pouco significativo – meio que par do curso antes de começarmos a levar a replicabilidade a sério ”, disse Gervais. “Uma das melhores coisas que vem de todo o movimento de replicabilidade é que isso está levando os revisores e editores a serem mais experientes sobre o que devemos publicar e endossar em primeiro lugar.”

O campo avançou muito no sentido de fortalecer a credibilidade de novas pesquisas. As soluções incluem experimentos de testes em um número maior de pessoas, criando um limite mais estrito para significância estatística, disponibilizando dados publicamente, continuando os esforços de replicação e publicando previamente o plano para um estudo antes de conduzi-lo, o que limita o tipo de flexibilidade do pesquisador que leva a falsas positivos. O Open Science Framework foi criado em 2012 e agora inclui registros de mais de 20.000 estudos, de acordo com Nosek, que é diretor executivo do Center for Open Science. A taxa dobrou a cada ano desde a sua criação.

“Este estudo é realmente uma boa motivação para continuar pressionando jornais para atualizar suas políticas e mudar incentivos para que os cientistas sejam recompensados ​​por mais dessas práticas”, disse Srivastava. “É como empurrar seu carro quando está parado. O carro está se movendo, mas você tem que continuar empurrando, ou então vai parar.