Nos últimos meses, fiquei intrigado com a crise de replicação em torno do campo de iniciação social. Eu não faço pesquisas sobre iniciação social, nem afirmo saber muito sobre isso, além do que eu li. Mas a iniciação social parece ser um desses campos na psicologia que são considerados todos, exceto "sabedoria recebida" por um tempo, apenas para se tornar controverso à medida que novos grupos de pesquisa têm cada vez mais dificuldade em replicar os achados dos principais adeptos.
Lembrei-me desta questão de crise de replicação ao ler um novo estudo da Universidade de Queensland na Austrália. Os pesquisadores Morgan Tear e Mark Nielsen realizaram um conjunto bastante típico de experimentos nos quais os participantes tocaram videogames violentos e não violentos e foram testados em termos de seu comportamento prosocial ou de ajuda usando a tarefa "caneta". Se você não está familiarizado com isso, basicamente, o experimento faz um show de "acidentalmente" deixando cair um monte de canetas e espera para ver se o participante ajuda a buscá-los. Os resultados indicaram que jogar jogos de vídeo violentos teve pouco impacto em ajudar o comportamento.
Agora, trata-se de uma replicação dos projetos de pesquisa "old school" (ou seja, pré-Brown v EMA, 2011 Tribunal Supremo do caso da Corte Suprema) e tem todas as verrugas típicas desses tipos de estudos. Estudantes universitários que jogam videogames por um intervalo relativamente curto, sozinhos. A tarefa da "pen drop", eu diria, provavelmente é apenas vagamente útil para explorar os tipos de comportamentos prosociais e a empatia em que estamos interessados para o mundo real. Então, considere o que vale a pena. No entanto, é uma replicação relativamente direta de algum trabalho alegando que os jogos violentos diminuem esses comportamentos de ajuda e, jogando no terreno desses estudos da velha escola, não replicam suas descobertas.
Então, o que devemos tirar disso? A questão de saber se os jogos violentos realmente diminuem a ajuda ou os comportamentos prosociais permanece controverso. Isso acrescenta a uma pilha do que já era bastante misturado os resultados da pesquisa e, como mencionado anteriormente, é difícil realmente generalizar esses tipos de estudos da velha escola para os fenômenos da vida real de qualquer maneira (a opinião da maioria da Suprema Corte os afastou em Brown v EMA com bom motivo). Mas a questão de uma crise de replicação é potencialmente iluminadora.
Penso que tendemos a preferir considerar a ciência, mesmo a ciência social, operando em uma espécie de vácuo, protegida das pressões da política e das narrativas societárias. Mas acho que isso está enganado. Como John Ioannidis apresentou em seu clássico "Por que os resultados da pesquisa mais publicados são falsos", é muito comum ver uma idéia de pesquisa promovida em pleno, apesar disso, em um sentido ontológico, essa idéia de pesquisa é falsa. Particularmente quando uma idéia de pesquisa se enquadra com uma narrativa social pré-existente ("jogos de vídeo violentos são ruins"), a pressão sobre a comunidade científica para apoiar a narrativa social pode ser intensa (testemunhe o envolvimento de Fredric Wertham no medo do quadrinho da década de 1950 por exemplo). Particularmente dado o problema da flexibilidade metodológica da ciência social em que uma grande variedade de opções de análise de dados pode permitir aos pesquisadores, mesmo agindo de boa fé, selecionar resultados que melhor se adaptem às suas hipóteses, provavelmente significa muito pouco que alguns grupos de pesquisa obtêm os mesmos resultados e acabou. A questão se torna se os grupos externos, particularmente aqueles que são mais céticos, podem replicar os resultados.
Obviamente, não sou um físico, mas eu imagino que na física, mesmo uma única replicação falhada seria motivo de consternação. Dentro da ciência social, temos que nos perguntar: quantas repetições falhadas é necessária para que uma teoria seja falsificada? Nesse sentido, técnicas como a meta-análise podem realmente ser prejudiciais, eu argumentaria, suavizando repetições falhas por uma ilusão de consistência. Imagine, por exemplo, realizamos 100 estudos sobre uma teoria particular, de tamanho de amostra igual. A metade deles tem efeitos estatisticamente significativos com um tamanho de efeito de r = 0,20. O resto acontece de ser exatamente nulo com r = .00. Este é um campo que devemos celebrar como sabedoria recebida? Não, eu diria que não, mas combinar tudo isso em uma meta-análise e você obtém um efeito médio de r = 0,10, que muitos pesquisadores estariam ansiosos para saudade (auto-atendente talvez) como significativo.
Como os autores desta falha para replicar nota, obter falhas para replicar publicado pode ser difícil. É preciso perguntar-se quantos outros fracassos replicar nunca vêem a luz do dia, dando-nos (e o público em geral) uma visão falsa da "verdade" dos resultados da pesquisa. Eu expresso a opinião de que precisamos fazer mais para mudar a cultura da psicologia da pesquisa que, durante muito tempo, foi adversa à nulidade e falha na replicação dos resultados.
