Psicologia Rife com Inaccurate Research Findings

O caso de um psicólogo holandês que fabricou experimentos de pano inteiro durante pelo menos uma década está brilhando em evidências sobre falhas sistêmicas no relatório de pesquisa psicológica.

Diederik Stapel, um psicólogo bem conhecido e amplamente publicado na Holanda, falsificou dados rotineiramente e compôs experimentos inteiros, de acordo com um comitê de investigação.

Mas, de acordo com Benedict Carey, do New York Times , o escândalo é apenas uma série de constrangimentos em "um campo que os críticos e os estatísticos dizem que precisa ser revisado como trata os resultados da pesquisa":

Nos últimos anos, os psicólogos relataram uma série de descobertas sobre viés de raça, imagens cerebrais e até percepção extra-sensorial que não resistiram ao escrutínio ….

• O futuro sente-se abrandador?
• Lembrando Jesus (ou não)
• "Cat Wars" pede a matança de gatos que se arrastam gratuitamente
• Estudantes traumatizados na Educação Especial em toda a América, Seclusão, Restrição e Aversivos
• Profissionalismo médico versus comercialismo

O Dr. Stapel foi capaz de operar por tanto tempo, disse o comitê, em grande medida porque ele era "o senhor dos dados", a única pessoa que viu a evidência experimental que havia sido reunida (ou fabricada). Este é um problema generalizado na psicologia, disse Jelte M. Wicherts, psicólogo da Universidade de Amsterdã. Em uma pesquisa recente, dois terços dos psicólogos de pesquisa holandeses disseram que não disponibilizaram seus dados brutos para outros pesquisadores. "Isso é uma violação das regras éticas estabelecidas no campo", disse o Dr. Wicherts.

Em uma pesquisa de mais de 2.000 psicólogos americanos programados para serem publicados este ano, Leslie John of Harvard Business School e dois colegas descobriram que 70 por cento tinham reconhecido, anonimamente, cortar alguns cantos em relatórios de dados. Cerca de um terço disseram ter relatado uma descoberta inesperada como previsto desde o início, e cerca de 1 por cento admitiu a falsificação de dados.

Também é comum uma negligência estatística auto-suficiente. Em uma análise publicada este ano, o Dr. Wicherts e Marjan Bakker, também na Universidade de Amsterdã, pesquisaram uma amostra aleatória de 281 papéis de psicologia para erros estatísticos. Eles descobriram que cerca de metade dos artigos em revistas high-end continham algum erro estatístico e que cerca de 15 por cento de todos os artigos apresentavam pelo menos um erro que mudou um achado relatado – quase sempre em oposição à hipótese dos autores …

• 2 Virtudes aumentam a queda no amor para sempre
• A morte é melhor do que uma casa de enfermagem?
• Três maneiras de reduzir a agricultura animal
• Quando a má ciência mata
• Um Método Perigoso: Relacionamentos, Sexualidades, Idéias e Ego

Implicações forenses

Enquanto descobertas imprecisas e até mesmo fabricadas tornam o campo da psicologia parecido bobo, eles assumem ramificações potencialmente muito mais graves em contextos forenses, onde as apostas podem incluir pagamentos de seis dígitos ou privações extremas de liberdade.

Por exemplo, as reivindicações baseadas em estudos de varredura cerebral de fMRI são cada vez mais permitidas no tribunal em contextos criminais e civis. No entanto, uma análise de 2009 descobriu que cerca de metade desses estudos publicados em revistas científicas proeminentes eram tão "gravemente defeituosos" de que eles representavam ciência voodoo que "não deveria ser acreditado".

Da mesma forma, o pesquisador Jay Singh e colegas descobriram que as meta-análises que demonstram a eficácia dos instrumentos utilizados para prever quem será violento no futuro estão atormentadas de problemas, incluindo falha em descrever adequadamente os procedimentos de pesquisa do estudo, falha na verificação de amostras sobrepostas ou viés de publicação, falha em investigar a confusão da heterogeneidade da amostra e o uso de uma técnica estatística problemática, a Área sob a curva (AUC), para medir a precisão preditiva.

Particularmente preocupante para mim é um novo estudo que descobre que a vontade dos pesquisadores de compartilhar seus dados está diretamente correlacionada com a força da evidência e a qualidade do relatório de resultados estatísticos. (A análise está disponível on-line a partir da revista PloS ONE).

Ouvi falar de vários pesquisadores no campo da avaliação do risco do agressor sexual que obstinadamente resistem aos esforços de outros pesquisadores para obter seus dados para a reanálise. Conforme observado pelo Dr. Wicherts, psicólogo da Universidade de Amsterdã, isso é uma violação das regras de ética. Mais importante ainda, torna-nos impossível confiar na confiabilidade e validade das reivindicações desses pesquisadores. Apesar disso, instrumentos potencialmente não confiáveis ​​- alguns deles nem mesmo publicados – são rotineiramente apresentados no tribunal para estabelecer perigosas futuras.

Os críticos dizem que os problemas generalizados no campo apóiam fortemente a necessidade de reformas obrigatórias, incluindo o estabelecimento de políticas que exigem que os pesquisadores arquivem seus dados para disponibilizá-los para inspeção e análise por outros. Esta reforma é importante para a credibilidade da psicologia em geral, mas absolutamente essencial na psicologia forense.