Como muitos de vocês podem saber, um esforço colaborativo recente tentou replicar 100 estudos que foram publicados em revistas de psicologia líderes. Dependendo do critério utilizado, apenas cerca de 40% dos estudos foram replicados.
Houve cargas e montes de estudiosos e jornalistas comentando esses resultados e suas implicações para a psicologia como ciência. Muitas sugestões foram feitas que são passos realmente positivos (por exemplo, usando amostras maiores e relatórios mais abertos e completos de dados, design experimental e amostras). Mas eu quero me concentrar em um fator que isso não parece estar recebendo muito "airplay" em que esses efeitos não se replicaram mais facilmente – a complexidade da psicologia humana.
Complexidade e Debate de Replicação
Imagine qualquer comportamento seu, ou qualquer crença que você tenha, ou qualquer emoção que você experimente. Imagine as causas de qualquer uma dessas emoções, crenças ou comportamentos. Agora faça o mesmo, mas expande essa busca para as pessoas ao seu redor, depois para as pessoas do seu país. Em seguida, expanda isso para o mundo inteiro. Agora faça isso quando as pessoas estão em grupos em vez de sozinhas. Ok, agora imagine tentar prever esses vários aspectos dos outros enquanto o mundo fora do laboratório está constantemente mudando e afetando as pessoas. Meu palpite é que você poderia encontrar com facilidade uma ampla gama de fatores que podem influenciar qualquer instância específica de comportamento, pensamento ou sentimento humano.
No entanto, em geral, os psicólogos tentaram concluir em experimentos que 1 ou 2 variáveis podem prever a emoção humana, a cognição e o comportamento. Para tornar as questões mais problemáticas, a maioria desses estudos é feita usando estudantes universitários, quase que inteiramente da Europa Oriental e Central, América do Norte (bem, Canadá e Estados Unidos) ou a Austrália. Tem sido uma simplificação muito grosseira de um ser complexo (o humano!).
Ao descrever essas replicações falhadas, parece haver este ethos de massa entre psicólogos que os efeitos encontrados em pesquisas passadas devem ocorrer de forma semelhante em todas as amostras, independentemente do que está acontecendo no mundo externo e independentemente das características específicas da amostra. Mesmo quando se usam amostras universitárias (que a maioria dos estudos fazem) em estudos originais e nas repetições tentadas, é um pouco míope assumir que cada amostra única em todos os estados responderá de forma semelhante em um estudo de psicologia. Quando você tem replicações sendo tentadas em diferentes países do que o estudo original, isso é ainda mais enigmático, mesmo excluindo problemas de compreensão da linguagem (que não foram avaliados nas tentativas de replicação atuais).
Sabemos por pesquisas que, onde as pessoas vivem, prediz orientação política, crenças religiosas e uma variedade de variáveis de personalidade. Agora, também sabemos que muitos efeitos em experimentos ocorrem apenas para pessoas que são, por exemplo, altas em extraversão, ou politicamente conservadoras, ou que acreditam em Deus. E sabemos que, para o contador de cada um desses "grupos" (pessoas introvertidas, politicamente liberais e ateísta), não só esses efeitos não podem ocorrer, mas os efeitos opostos podem ocorrer.
Agora, por que essa pesquisa está sendo ignorada é intrigante para mim, porque tentamos explicar por que esses estudos não conseguiram replicar. Se você assumir que a maioria dos efeitos de psicologia são moderados (o que parece uma aposta segura para pelo menos os estudos de psicologia social incluídos nas tentativas de replicação) por muitos fatores, então, naturalmente, troque amostras de um lado para outro ou de país para país, vai fazer a diferença. Nem todos os estudantes universitários são os mesmos, em todos os lugares. E nem todos os mundos fora do laboratório estão se comportando exatamente o mesmo. (em história ou cultura).
Se você tomar uma amostra de um estado conservador, é muito provável que eles respondam um pouco diferente (se não oposto) a qualquer estudo que envolva uma variável associada à orientação política e, provavelmente, a crença religiosa também dada a forma como estas duas variáveis são correlacionadas . E sim, é verdade que haverá um número igual de conservadores (provavelmente) em cada condição de um experimento. Mas isso não significa que o efeito não seja dominado pelos conservadores na amostra. E se você tiver mais desses indivíduos, você terá maior probabilidade de replicar o efeito. (se você não medir a orientação política como variável moderadora nas análises estatísticas, você pode obter um efeito principal significativo da manipulação na variável dependente, mas isso não significa que não haja moderação). Se o estudo original não medir esse moderador (neste caso, orientação política) ou denunciá-lo, e apenas assume um efeito principal, então se uma replicação for feita usando uma amostra menor naquela variável moderadora (neste caso tem pessoas mais liberais), o efeito não é susceptível de se replicar.
Em essência, essa falha na replicação não está (inteiramente) mostrando que os efeitos na pesquisa original publicada não existem. O que provavelmente está mostrando é que as coisas são muito mais complexas do que as que fazemos ser, e as características da amostra (e as situações que acontecem especificamente na configuração do experimento, a área fora da configuração e o mundo para esse assunto ) realmente importa. Nós sabemos isso em algum nível, mas continua ficando ignorado nas discussões sobre esse projeto de replicação. Talvez isso seja porque as pessoas têm uma necessidade geral de estrutura e simplicidade, ou porque desejamos uma compreensão clara e forte das pessoas para que possamos ser rotulados como uma ciência. Mas, independentemente, é preciso considerar que o que está em dúvida não é apenas a existência desses efeitos, mas também nossa compreensão dos processos psicológicos e, em particular, a simplificação excessiva dos resultados no passado. No desejo de entender, eu suspeito que simplificamos muito.
Felicito os estudiosos que dedicaram muito trabalho a executar este enorme esforço de replicação. A imensa reação que está recebendo dentro e fora da psicologia atesta sua importância. É crucial para o desenvolvimento do campo e para o resultado positivo subsequente que pode ter no mundo em geral, para fazer o nosso melhor para melhorar muitas de nossas práticas científicas. Mas talvez seja igualmente importante combater o desejo de simplificar demais o mundo social e psicológico ao fazê-lo, pode dificultar a precisão que buscamos.
Vivemos em um mundo de interações de 4-5 interações bastante e fingimos existir em um mundo de efeitos exclusivamente principais (ou no máximo, interações de dois sentidos).
