Um Guia Rápido para a Crise de Replicação em Psicologia

O estudo:

Brian Nosek e a Open Science Collaboration:

Realizamos repetições de 100 estudos experimentais e correlacionais publicados em três revistas de psicologia usando projetos de alta potência e materiais originais quando disponíveis. [Artigo da ciência aqui.]

As evidências:

• A verdade sobre "Fake News"
• Velhice e estereótipos
• Renovação da primavera
• Trauma e sono: transtornos
• O que extracurriculares me ajudará a entrar na escola de graduação?

1. Apenas 36% das replicações foram "bem-sucedidas" (ou seja, produziram valores de p <0,05).
2. O tamanho médio do efeito das repetições foi em torno da metade dos estudos originais.
3. Resultados mais fracos e mais surpreendentes foram menos propensos a replicar.
4. Os achados da psicologia social apresentaram menos de metade da probabilidade de se replicarem como achados na psicologia cognitiva.
5. Os efeitos principais foram mais propensos a replicar do que os efeitos de interação.

Algumas das descobertas que não replicaram …

• As pessoas são mais propensas a trapacear depois de ler uma passagem informando-lhes que suas ações estão determinadas e, portanto, que elas não têm livre arbítrio.
• As pessoas fazem julgamentos morais menos graves quando acabaram de lavar as mãos.
• As mulheres parceiras são mais atraídas por homens solteiros quando estão ovulando (quando as mulheres estão ovulando, isto é). [Veja aqui, aqui.]

Qual é o problema?

A taxa de replicação é preocupante baixa. O epidemiologista John Ioannidis estimou que cerca de 50% dos achados publicados são falsos, pelo menos em medicina – então esse resultado é pior do que ele esperava.

• Dormir e seus diferentes estados de consciência
• Este tipo de exercício muda seu cérebro para o melhor!
• TDAH e "Discriminação no tempo"
• Aprendizagem, Memória, Imaginação
• Televisão, comerciais e seu filho

E a taxa de replicação real pode ser mesmo inferior a 36%. Todos os estudos foram retirados de três revistas de psicologia de primeira linha. Quem sabe o que a taxa de sucesso pode estar mais abaixo do totem, em periódicos de menor ranking?

Tomado ao valor nominal, o estudo de Nosek sugere que qualquer descoberta dada em psicologia é mais provável que seja ficção e fato. Se você está estudando psicologia, muito do que você está ensinando é falso. E se você está ensinando psicologia, você está potencialmente dedicando um grande pedaço de sua vida a espalhar falsidades. Isso é um problema.

As respostas:

"Uma taxa de replicação de 36% não é realmente muito ruim".

Sanjay Srivastava:

A ciência precisa envolver a adoção de riscos e a promoção de fronteiras, por isso mesmo uma ciência ótima gerará falsos positivos. Se 36 por cento das replicações estão obtendo resultados estatisticamente significativos, não é claro o que esse número deve ser. [Mais]

Veredicto : discordar.

Primeiro, a alta taxa de falso positivo não é apenas devido à tomada de risco intelectual. É também devido a pequenos tamanhos de amostra, p- hacking, o fenômeno da gaveta de arquivos, viés de publicação e, em alguns casos, a fabricação definitiva de dados.

Além disso, mesmo que nenhuma dessas coisas fosse um problema, a taxa de replicação ainda seria preocupante baixa, desde que raramente as repetições são tentadas ou publicadas em psicologia . Uma taxa de replicação de 36% pode ser boa se prestamos mais atenção ao rootear falsos positivos da literatura – mas não, não é assim.

"Não é apenas psicologia!"

Veredicto : Concordo. Alguns campos estão melhorando do que a psicologia, sem dúvida – mas alguns estão piorando. [Veja, por exemplo, aqui]

"Não é tudo de psicologia. Algumas áreas são piores do que outras. "

Veredicto : Concordo. [Veja, por exemplo, aqui.]

Vern Quinsey:

Eu gosto deste projeto, mas não gosto da maneira paroquial com que os resultados são comunicados. Primeiro, os resultados tendem a ser apresentados como se fossem representativos da psicologia – eles não são. Por exemplo, a psicofísica e a memória estão sub-representadas. Mais importante ainda, muita psicologia não usa experiências de laboratório – os dados são coletados de fontes de arquivo. Em algumas dessas áreas, as observações importantes foram replicadas centenas de vezes (pense na correlação idade-crime, por exemplo). Em segundo lugar, as técnicas de meta-analítica que foram projetadas explicitamente para abordar problemas de replicabilidade e agora são altamente sofisticadas são totalmente ignoradas.

Alguns tweets relevantes:

[Nota: "beh genetic" = "genetic behavioral". O estudo que Brian está vinculado está aqui.]

"Não há crise – a detecção e a rejeição de descobertas falsas é apenas parte da ciência. A psicologia está indo bem. "

Lisa Feldman Barrett:

a falha ao replicar não é motivo de alarme; na verdade, é uma parte normal de como a ciência funciona … Suponha que você tenha dois estudos bem desenhados e cuidadosamente realizados, A e B, que investigam o mesmo fenômeno. Eles executam o que parecem ser experimentos idênticos, e, no entanto, eles chegam a conclusões opostas. O estudo A produz o fenômeno previsto, enquanto o estudo B não. Nós não conseguimos replicar.

Isso significa que o fenômeno em questão é necessariamente ilusório? Absolutamente não. Se os estudos foram bem projetados e executados, é mais provável que o fenômeno do Estudo A seja verdadeiro somente em determinadas condições. O trabalho do cientista agora é descobrir quais são essas condições, a fim de formar novas e melhores hipóteses para testar. [Mais]

Veredicto : discordar.

Ed Yong:

Para começar, como observa Dorothy Bishop, da Universidade de Oxford, no Twitter, "levanta" a questão de saber o quão serio a tomada de conclusões que dependem tão precisamente de condições ". Em outras palavras, se os resultados são flores delicadas que marcham só florescem sob o cuidado de certos experimentadores, quão relevantes são eles para o mundo bagunçado, ruidoso e caótico fora do laboratório? [Mais]

Além disso, os pesquisadores se esforçaram para replicar os estudos com a maior precisão possível, o que deveria ter eliminado quaisquer efeitos de contexto significativos.

"OK, a notícia não é ótima. Mas se olhamos as descobertas através de uma lente bayesiana, eles são um pouco menos sombrios do que aparecem pela primeira vez … "

Veredicto : Concordo. Tomando uma abordagem bayesiana, Alex Etz descreveu o resultado do estudo como este:

• Sucessos de replicação fortes: ≈25%
• Efeitos de replicação moderada: ≈ 10%
• Inconclusivo: ≈30%
• Falhas de replicação moderadas: ≈20%
• Forte falhas de replicação: ≈20% [Mais]

A última palavra

Para ser claro, nada disso implica que a psicologia é inválida como uma ciência, ou que é um campo de inquérito apenas defeituoso. Estamos fazendo progressos, e essa pesquisa é parte disso. Acabamos de avançar do que a maioria de nós pensou!

—————————-

Obrigado ao colega blogueiro Robert King por estimular a discussão sobre essas questões.

Para mais do mesmo, apenas diferente, siga-me no Twitter.