Existe uma crise de replicação na psicologia experimental?

Fonte: wikicommons

Uma crise de replicação?

A publicação do ano passado em Science de um estudo sobre a replicação de achados em psicologia experimental provocou consternação em todos os campos relevantes. Duzentos e setenta pesquisadores associados à The Open Science Collaboration tentaram replicar as descobertas de uma centena de trabalhos de diários líderes de psicologia experimental, mas só conseguiram obter replicações incontestáveis ​​em trinta e nove por cento dos casos. Esse número, é claro, está muito abaixo do número que seria esperado com base nos padrões estatísticos convencionais para pesquisa publicável.

Este artigo apenas contribui para preocupações crescentes com a solidez metodológica de muita pesquisa científica, já que as taxas de retração de artigos publicados entre revistas aumentaram na maioria das ciências na última década. A preocupação geral é que a pressão sobre os cientistas não apenas para publicar, mas para publicar novas descobertas surpreendentes, é atraente para cortar agora e agora em suas pesquisas. Os comentadores adotaram uma variedade de propostas sobre práticas problemáticas que podem levar a uma incapacidade de replicar algum resultado, incluindo um número insuficiente de participantes experimentais ou apresentando uma hipótese formulada com base em padrões descobertos nos resultados após o fato como se fosse a hipótese original em estudo.

O Contexto importa?

• Dominância e apresentação na selva corporativa
• Precisa de um impulso de criatividade? Experimente esta nova abordagem multidônima
• Como encontrar o seu próximo funcionário da Super Star
• Abuso de medicamentos prescritos e o médico Gatekeeper
• Aumente sua confiança com essas principais partes interessadas

Em uma peça recente no New York Times , Jay Van Bavel, descreveu pesquisas que ele e seus colegas realizaram abordando este assunto. Pretendia-se determinar se as diferenças entre os contextos em que as tentativas de replicação foram realizadas, por um lado, e os contextos dos cientistas originais, por outro, podem ter sido uma consideração crítica ao explicar por que a taxa de replicação foi tão baixo. Os contextos em que os estudos de tentativa de replicação foram realizados diferiram de maneira crítica das experiências originais, de modo a reduzir as probabilidades de obter replicações?

Os fatores contextuais abrangem coisas como diferenças temporais, culturais, geográficas e demográficas. Um estudo foi realizado antes da Grande Recessão, enquanto o outro foi realizado depois? Os participantes de um estudo eram chineses, mas os participantes na tentativa de replicação de canadenses? A pesquisa original ocorreu em uma cidade grande, enquanto o estudo correspondente ocorreu em uma cidade pequena? Foram os participantes do primeiro estudo de graduação de uma universidade de elite, universidade privada, mas os participantes da segunda mães solteiras de meia-idade e sem trabalho que se candidataram para selos de comida? O ponto não é que alguém possa saber de antemão que tais variáveis ​​afetarão os resultados dos estudos. É apenas que os resultados de alguns estudos, dado o caráter dos tópicos que estão explorando, podem parecer mais prováveis ​​do que outros serem influenciados por tais questões contextuais.

Explorando o papel do contexto

• A Neurociência da Confiança
• A neurociência da formação de novas memórias
• Iniciando um Ano Novo: Por que eu abraço desconforto
• Exercitando nossa liberdade e inteligência: Parte 6
• A nova pílula de calcanhar da Alemanha

Van Bavel e seus colaboradores recrutaram codificadores com treinamento em psicologia experimental para avaliar a sensibilidade do contexto relativo dos cem experimentos. Cada um dos codificadores leu os resumos de cinquenta dos trabalhos e os classificou em uma escala de um a cinco em relação ao contexto sensível que achavam que os estudos provavelmente eram. A coincidência substancial dos julgamentos dos avaliadores de vinte e cinco estudos selecionados aleatoriamente que todos os avaliadores avaliaram, indicaram que eles estavam classificando estudos de forma semelhante. Van Bavel e seus associados calcularam as avaliações médias da sensibilidade do contexto dos estudos e avaliaram quão bem eles se correlacionaram com as replicações bem-sucedidas.

Crucialmente, os estudos com os escores de sensibilidade do contexto mais baixos foram significativamente mais prováveis ​​de serem replicados com sucesso. As classificações da sensibilidade do contexto dos estudos provaram ser um preditor influente, mesmo depois de terem permitido diversos fatores que já foram conectados na literatura de psicologia experimental com replicação bem-sucedida. A medida de sensibilidade ao contexto também fez um bom trabalho para prever os onze estudos entre os cien para os quais os investigadores originais manifestaram antecipadamente suas preocupações sobre as tentativas de replicá-los. Diante de suspeitas de que esses autores registraram suas preocupações, porque reconheceram as fraquezas de seus estudos, uma análise posterior revelou que apenas a medida de sensibilidade do contexto, entre a variedade de características de estudo anteriormente associadas à predição do sucesso da replicação, provou um preditor significativo de se um autor expressou tais preocupações.

A linha inferior é que, uma vez que os pesquisadores atendem ao papel crítico que as variáveis ​​contextuais podem desempenhar nos resultados de experimentos psicológicos, os rumores sobre uma crise de replicação na psicologia experimental podem ser um pouco exagerados.