A psicologia ainda está em crise

Ainda não é hora de parar de falar sobre o nosso problema de replicação.

Talvez o mundo esteja melhorando constantemente, ou talvez simplesmente pensemos que é. Certamente, os cientistas parecem concordar com a “história whig”, a ideia de que a mudança histórica envolve um progresso inevitável e inexorável. Tome, por exemplo, a maneira como eles falam sobre seu trabalho.

Em 1974, um em 50 resumos de periódicos empregou descritores complementares para descrever a pesquisa. Em 2014, esse elogio foi apresentado uma vez em cada seis resumos, um aumento de quase 900%. O termo “inovador” por si só se tornou 2.500% mais comum – sem quaisquer indicações óbvias de que a pesquisa descrita foi 25 vezes mais inovadora. Parece que os cientistas perceberam o calibre de seus resultados para melhorar continuamente a cada ano que passa.

No entanto, as décadas entre 1974 e 2014 foram quase precisamente aquelas em que a inquietação sobre a qualidade da ciência publicada chegou a um ponto febril. Preocupações sobre o preconceito não publicado da publicação, a amostragem de pouco poder e muitos outros problemas levaram os observadores a questionar a posição da pesquisa publicada. Diversos artigos de referência apareceram, como o clássico de John PA Ioannidis, “Por que a maioria dos resultados de pesquisa publicados é falsa”.

Parece que quanto mais aprendemos sobre a fraqueza de nossa pesquisa, mais forte achamos que é. Esse hábito cognitivo é certamente perturbador. Devemos ter isso em mente sempre que nos é dito que os problemas de replicação da psicologia estão sendo resolvidos. Infelizmente, não podemos simplesmente desejar esses problemas.

• Livros personalizados para crianças: o que você precisa saber
• 5 dicas para como parar de repetir os mesmos erros
• Como se tornar um psicólogo clínico: parte 2
• Bullying no local de trabalho: causas, efeitos e prevenção
• Como a auto-estima muda entre as idades de 4 e 94

* * *

De fato, a ciência – incluindo a ciência psicológica – pode estar piorando, em vez de melhor e melhor. Quando o valor de um funcionário da universidade é contado em dólares e citações, o que é bom para o pesquisador individual não é necessariamente bom para sua pesquisa. Uma obsessão com a quantidade produzida tende a tornar o rigor não-adaptativo e, em vez disso, favorece a seleção natural da ciência ruim.

Dada a recente onda de interesse da mídia sobre o recorde de replicação duvidosa da psicologia, é fácil formar a impressão de que nosso estado de crise é algo novo. De fato, nosso campo tem lutado com várias crises entrelaçadas por décadas:

• Furacões, Homossexualidade e Crença na Mão de Deus
• Autismo: Religião e Espiritualidade
• O que faz algo bonito?
• Detectando Decepção Usando Desenhos e Esboços
• Cerebelo nos ajuda a “saber sem saber” no esporte e na vida

• fragmentação teórica ( uma crise paradigmática )
• reducionismo ( uma crise de medição )
• abordagens desleixadas à importância e aos tamanhos de efeito ( uma crise estatística )
• uma tendência para se concentrar em uma pequena parte da população humana ( uma crise de amostragem )
• otimismo prematuro sobre o progresso feito pela psicologia, tanto na ciência básica quanto na resolução de seus problemas de reprodutibilidade ( uma crise de exagero , se você quiser).

Em meu novo livro sobre esse tópico, Psicologia em Crise, eu sistematicamente disseco cada uma das crises acima e várias outras.

Eu aprendi muito escrevendo Psicologia em Crise. Por exemplo, aprendi que, sempre que alguém menciona a palavra “crise”, haverá pessoas que perguntarão: “Crise? Que crise? ”Sempre haverá pessoas desesperadas para desejar a crise.

Em psicologia, confrontos públicos entre autoflagelistas e seus colegas rosados ​​inevitavelmente levaram um articulista a dizer que a psicologia está agora “em crise, seja em crise”, um floreio literário que carrega mais do que um tom de verdade.

* * *

Ultimamente, os psicólogos fizeram progressos significativos no fortalecimento do campo, e é importante reconhecer isso. No entanto, a meu ver, precisamos seriamente evitar sermos embalados pelo otimismo. Não podemos baixar a guarda ainda.

Isso ocorre porque, apesar de nossos esforços para melhorar as coisas, fizemos pouco ou nada para abordar a força fundamental que alimenta nossos problemas de replicação – os incentivos perversos que cultivaram a seleção natural da má ciência em primeiro lugar.

Depois de tudo:

• Os periódicos continuam a priorizar resultados estatisticamente significativos sobre o relato de efeitos nulos, encorajando, assim, práticas descuidadas, tais como p- hacking e ‘HARKing’ (hipóteses após os resultados serem conhecidos), e perpetuando o efeito de gaveta de arquivo. Eles fazem isso porque os torna mais bem sucedidos. O mercado tem fome de significância estatística; os jornais alimentam essa fome para que eles mesmos possam sobreviver.
• As citações (e os índices h ) ainda são usados ​​rotineiramente para avaliar a produção de pesquisadores individuais, embora todos saibam que tais medidas não dizem nada sobre (e, portanto, não promovem) a qualidade da pesquisa . Na verdade, as métricas geralmente indicam o oposto da qualidade – estudos realmente ruins regularmente se tornam virais. Essa persistência em usar as citações como uma medida de proeza do pesquisador – por parte dos comitês de posse e agências de financiamento, entre outros – incentiva o corte de salame, a autocitação gratuita e outros hábitos destrutivos que servem para distorcer a pesquisa.
• Apesar de muitas condenações, os Fatores de Impacto da Revista continuam sendo a principal unidade monetária pela qual os periódicos são avaliados. Os efeitos adversos dos JIFs estão muito bem documentados. Eles pressionam os editores de periódicos a cegarem os olhos para o corte de salame e o preenchimento de citações. Eles também incentivam os editores a manterem papéis “impressos” ou “on-line à margem da impressão” por meses (se não anos) a fio, obscurecendo ainda mais o registro eventual de resultados de pesquisas em um determinado campo. Uma forma competitiva de perseguir critérios, em vez de um desejo genuíno de maximizar a qualidade da ciência, é o que impulsiona o comportamento nessa indústria. Suas crises não vão desaparecer tão cedo.
• Várias convenções de autoria problemáticas continuam desimpedidas. Muitos dizem respeito ao free-loading (a atribuição de crédito de autoria onde não é garantido). Novamente, isso é ativado por convenções arbitrárias e pela conveniência do setor. Por exemplo, em currículos padrão e perfis pessoais (como no Google Acadêmico), as métricas individuais de autor não conseguem controlar o fato de que a maioria dos trabalhos de psicologia são esforços de equipe. Para um determinado artigo, cada co-autor é assim creditado por ter produzido uma publicação completa (ao invés de uma parte de uma) e considerado ter atraído todas as suas citações (ao invés de apenas uma parte). Em qualquer outro contexto de produtividade de trabalho, a saída de uma equipe contaria, logicamente, como uma única saída. Nunca seria contado como uma saída multiplicada pelo número de membros da equipe . Na psicologia, como em outras partes da ciência, uma espécie de escalabilidade infinita impulsiona a autoria extensiva como freeloading (autorias ‘honorárias’ ou ‘fantasmas’ ainda são uma coisa), criando uma tendência escorregadia em direção a um desprezo generalizado pela ética em pesquisa. (Considere: se está certo ignorar as normas éticas de autoria, então, que outras normas éticas é correto desconsiderar?) Tal desleixo é a própria antítese do rigor, e perniciosamente alimenta a má ciência em todas as suas formas.

* * *

Fonte: Jesse Orrico / Stocksnap

O pré-registro de protocolos de pesquisa certamente ajudará a lidar com o problema da gaveta de arquivos. No entanto, em geral, o registro da pesquisa continua sendo opcional e não obrigatório. Os psicólogos podem facilmente buscar programas de pesquisa sem se preocupar em fazer o pré-registro.

Quando se trata de posse ou promoções, poucas universidades (se houver) fornecem pontos de bônus para publicar estudos pré-registrados em oposição ao tradicional, não registrado. Assim, embora os relatórios registrados sejam importantes para a boa ciência, os incentivos necessários para incentivar os cientistas a produzi-los permanecem extremamente fracos.

Não tenho conhecimento de estatísticas abrangentes sobre o assunto, mas ficaria surpreso se a pesquisa pré-registrada perfaz até 1% do que será publicado nos periódicos de psicologia neste ano. De uma linha de base de zero não muito tempo atrás, isso representa progresso. Mas não vamos nos deixar levar pelo nosso ousado mundo novo ainda.

* * *

O fracasso em desmantelar a arquitetura de recompensa distorcida que molda a pesquisa em psicologia (e outras ciências) garante que continuaremos a ver a mesma dinâmica que, ao longo do século passado, nos levou à nossa atual desordem.

Alegações de que consertamos nossos problemas (ou, mais sutilmente, de que os exageramos) são contraproducentes porque nos acalentam em otimismo indevido. Eles nos fazem tirar os olhos do prêmio.

Em vez disso, devemos investir esforços para manter nosso foco afiado. Não vamos celebrar o fim da crise prematuramente. Não vamos sucumbir à negação da crise ou nos atolarmos em disputa pela premissa. Vamos tentar evitar a guinada da dissonância cognitiva, auto-ilusão otimista e reforço vacilante que causou a crise em primeiro lugar.

Caso contrário, poderíamos acabar em um tipo cada vez mais profundo de turbulência, inteiramente de nossa própria criação – em crise sobre se estamos mesmo em crise sobre se estamos em crise.