Os resultados da psicologia social mais publicados são falsos?

A psicologia social está em crise porque ninguém sabe o que acreditar mais. As revistas agora estão preenchidas com replicação de iniciação falhada após a replicação de iniciação com falha. (Para os leitores leigos, a iniciação refere-se à idéia de que, se você fizer alguma idéia, conceito, crença, atitudes ou valor saliente de alguma forma, pode influenciar de forma generalizada suas percepções e comportamentos subseqüentes de maneiras que estão inteiramente fora de sua consciência – referida como "automaticidade" na linguagem social psíquica). Priming estudos, uma vez realizada grande influência na psicologia social, porque os estudos publicados mostraram incríveis efeitos de influência global de priming. Priming muitas vezes ocorre fora da consciência, então o material parecia mostrar que as pessoas não sabem por que estão fazendo o que fazem na maioria das vezes. Surpreendente! E se você acha que é uma reivindicação de pênaltis, pense em Voltar a A Inesquecível Autenticidade do Ser (se você é um leitor leigo, basta procurar isso no Google Scholar).

Priming estereótipos idosos supostamente levou as pessoas a caminhar lentamente. Impulsionar o dinheiro supostamente levou as pessoas a estarem menos dispostas a ajudar. Expor os homens para mulheres atraentes supostamente levou a um aumento na tomada de riscos e consumo conspícuo. As pessoas estavam fora do (seu próprio) controle! A adoção de fortes posições não-verbais assertivas ("poses de poder") poderia supostamente melhorar sua vida, melhorando sua confiança e como as pessoas tratam você. Mas todas essas descobertas, e muito mais, provaram ser suficientemente difíceis de replicar que muitos cientistas consideram que são duvidosos na melhor das hipóteses.

E as questões vão além das replicações falhadas de estudos de iniciação. Pesquisa de ameaça de estereótipo, que é amplamente interpretada como mostrando que "remover a ameaça e os resultados dos exames em preto e branco são iguais" nunca apresentaram tal coisa. A pesquisa do preconceito implícito, que foi amplamente interpretada como mostrando a existência de preconceito racial generalizado, nunca mostrou que, por exemplo, os resultados de testes de associação implícita supostamente refletindo o preconceito (pontuações acima de 0) geralmente correspondem a um comportamento muito discriminatório (pelo menos um estudo mostrou que eles correspondem a comportamentos igualitários). Ou, de forma diferente, alguns dos efeitos mais famosos e influentes na psicologia social, especialmente os efeitos obtidos nos últimos 20 anos, foram questionados por replicação falhada após replicação falhada e por revelações de metodologia questionável, estatística e interpretativa práticas.

E piora antes de melhorar.

• Frente e centro: um importante domínio para as mulheres
• Como lidar com um psicopata no local de trabalho
• Quatro coisas (disfuncionais) que fazemos para evitar a desaprovação
• Scaring Away Namorados e homens que me amaram
• 12 Falhas comuns de pessoas passivas e agressivas

Parte I: A (Ir?) Replicabilidade da Psicologia Social

Algumas das evidências mais fortes para a afirmação de que "a maioria da psicologia social é falsa" vem de um único artigo (Open Science Collaboration, 2015 publicado em Science) que examinou a pesquisa publicada em 2008 em vários campos da psicologia, incluindo a psicologia social.

Esse trabalho foi uma colaboração multi-laboratório que tentou replicar 52 estudos publicados em duas revistas sociais sociais principais (Journal of Personality and Social Psychology and Psychological Science). O que "conta" como uma "replicação bem-sucedida" não é uma ciência instalada. O que conta como "evidência de que o efeito é real" não é uma ciência estabelecida. Então eles usaram várias medidas. Dependendo dos critérios, eles descobriram que entre 25 e 43% dos estudos foram replicados ou revelaram um efeito verdadeiro.

• Por que ganhar se sente bem
• Traços de personalidade, inteligência emocional e colaboração
• Você está sendo manipulado?
• Territórios remotos do Noroeste que não possuem cuidados de saúde mental
• O benefício surpreendente de falar com estranhos em um avião

Até agora, isso soa como "A maioria dos achados psicológicos sociais são falsos" está em boas razões. E pode ser. Mas eu não acho que essa conclusão geral seja justificada por este estudo de replicação em grande escala.

Parte II: OSC 2015 é um ótimo estudo, mas não vamos sobre-interpretar isso

Aqui é a coisa fundamental que a OSC NÃO fez que faz a inferência "a maioria das descobertas psicológicas sociais são falsas" injustificadas:

Eles não identificaram uma população de estudos de psicologia social (digamos, desde 1950 ou 1970 ou mesmo 1990), selecionam aleatoriamente e tentam replicá-los.

Em vez disso, eles primeiro restringiram as tentativas de replicação para 2008. Então eles criaram subamostra de estudos (por exemplo, os 20 primeiros artigos publicados em Ciências Psicológicas). Eles então permitiram que suas equipes de replicação selecionassem os papéis para tentar uma replicação. Em geral, por design, os últimos estudos em relatórios de vários estudos foram selecionados para tentativas de replicação. Além disso, no entanto, a partir do relatório publicado na Science, é impossível saber como as equipes de replicação selecionaram qual papel ser replicado. É possível que, desproporcionalmente, as equipes selecionaram documentos que relatassem estudos que achavam improváveis ​​de replicar (não há como saber sem examinar os mais de 100 co-autores dessas replicações, o que não fiz). No mínimo, isso não pode ser descartado.

Independentemente da ausência de amostragem aleatória autêntica de estudos durante um longo período de tempo, nenhuma conclusão geral sobre a replicabilidade da psicologia social pode ser alcançada com base neste documento. Inferno, nem sequer podem chegar a conclusões claras sobre a replicabilidade da psiquiatra social publicada em 2008 a partir deste artigo.

Claro, essas limitações não significam que a psicologia social seja segura. Eles não significam que o estudo é definitivamente conhecido por fornecer resultados não representativos da psicologia social. Isso certamente significa que muitas coisas estão sendo publicadas e é difícil de replicar.

Parte III: A replicação na Psicologia Social é difícil mesmo quando o efeito é conhecido como verdadeiro

Jon Krosnick é um psicólogo social / cientista político de Stanford, que também é internacionalmente reconhecido como um dos principais pesquisadores da pesquisa em ciências sociais. Ele já dirigiu o Estudo Nacional Eleitoral Nacional, uma pesquisa nacionalmente representativa de opiniões políticas que tem ocorrido há décadas, aparece rotineiramente nos NYTimes e recebeu numerosos prêmios por seu trabalho.

Alguns anos atrás, ele coletou dados de pesquisa em quase 10 mil pessoas. Uma série de efeitos bem conhecidos da pesquisa foram identificados como estatisticamente significativos nesta grande amostra (por exemplo, efeitos de ordem, aquiescência, etc.). Subsamples de cerca de 500-1000 pessoas foram examinadas para determinar a frequência com que as subamostra estatisticamente significativas demonstrariam os mesmos efeitos.

Apesar de os fenômenos em estudo serem geralmente significativos na grande amostra, as subamostra encontraram evidências significativas do efeito apenas cerca de metade do tempo (as análises ainda estão em andamento e o número exato de repetições para cada fenômeno está sujeito a alterações). Mesmo que o número de "replicação" de 50% seja apenas análises finais de estádio pendentes, isso fala sobre as dificuldades de replicação, mesmo com grandes amostras, e mesmo sem práticas questionáveis ​​de pesquisa.

Ou seja, em alguns aspectos, boas notícias. Isso significa que, por exemplo, quando estudos de amostras menores apenas replicam 30% ou 40% do tempo, não é necessariamente evidência de práticas problemáticas desenfreadas. Pode ser simplesmente um testemunho dos grandes efeitos da variabilidade da amostragem e pequenas mudanças no contexto (por exemplo, sendo realizadas em um estado ou país diferente) ou procedimento. E há mais boas notícias. Pelo menos com suas grandes amostras, os resultados preliminares da equipe de Krosnick sugerem que, se eles encontraram evidências significativas do efeito ou não, cerca de 80% dos estudos não foram significativamente diferentes uns dos outros. Novamente, se o recorde final é de 71% ou 93% ou 80%, esse é um nível relativamente alto de replicação.

Por que isso é importante? Ele mostra como os caprichos da variabilidade da amostragem podem tornar a detecção mesmo um efeito verdadeiro bastante difícil. Isso também significa que, talvez, precisemos reconsiderar nossa compreensão sobre a freqüência com que um achado precisa replicar para que ele seja credível e como podemos distinguir um achado credível de um incrível. Muitos cientistas estão trabalhando apenas nesta questão e desenvolveram novas ferramentas estatísticas completas para descobrir o que é credível do que não é (p-curvas, índices de replicação, testes estatísticos para identificar e controlar os viés de publicação, etc.). A maioria desses métodos é, no entanto, suficientemente novo que provavelmente será um pouco antes de sabermos quais são os melhores resultados.

Parte IV: A Replicabilidade da Psicologia Social

Algumas áreas da psicologia social são uma bagunça, especialmente aquelas que envolvem "iniciação social" (ver referências para links para discussão de artigos, as várias crises de iniciação e falhas em replicar). Não estou dizendo que tudo é falso, mas, com algumas raras exceções, não sei quais os efeitos sociais iniciais são credíveis e quais não são. A iniciação cognitiva não é uma bagunça. Há muito tempo existe um trabalho excelente e facilmente replicável sobre a iniciação cognitiva na psicologia cognitiva. Após a exposição à palavra "preto", as pessoas reconhecem mais rapidamente as apresentações subsequentes da palavra "preto" (em comparação, por exemplo, com outras palavras, como "verde" ou "blasfêmia").

No meu laboratório, há mais de 30 anos, reproduzi cada um dos seguintes fenômenos:

• Estereótipos comparam a forma como as pessoas julgam um indivíduo quando as pessoas não possuem muita informação (além da categoria de categorias de estereótipos) sobre esse indivíduo
• As pessoas julgam massivamente os indivíduos com base em suas características pessoais e quase não em estereótipos, se as pessoas tiverem informações relevantes sobre as características pessoais desse indivíduo – por exemplo, sua personalidade, realizações, comportamentos, etc.
• Níveis de precisão moderados a altos em muitos estereótipos demográficos
• A inexatidão penetrante nos estereótipos nacionais quando avaliada em relação aos cinco critérios de auto-relato da personalidade
• As expectativas dos professores produzem profecias auto-realizáveis ​​na sala de aula – mas esses efeitos tendem a ser fracos, frágeis e fugazes (alguns outros pesquisadores os descreveriam dessa maneira, mas quando você olha os resultados reais, isso é praticamente o que quase todos têm realmente encontrado).
• As expectativas dos professores prevêem principalmente a realização do aluno porque essas expectativas são precisas e não auto-realizáveis.
• No entanto, as expectativas dos professores também prejudicam suas próprias avaliações dos estudantes em um grau modesto.
• O aumento da mortalidade aumenta o antisemitismo.
• A autoconfiança domina as reações cognitivas ao feedback de desempenho; O auto-aprimoramento domina as reações afetivas ao feedback de desempenho
• O erro de atribuição fundamental
• Vontades egoístas
• Questões de confirmação politicamente motivadas

Não descobri esses fenômenos. Então, minhas repetições constituem evidências independentes de que os fenômenos são reais. No entanto, nenhuma delas foi replicação direta. Na linguagem moderna, todas eram replicações conceituais. Na verdade, essa distinção não estava em minha mente quando conduzi esses estudos. 25 anos atrás (ou 15 ou mesmo 5), ninguém estava falando sobre replicações diretas versus conceituais, e eu simplesmente tomava por certo que outras pesquisas encontraram um fenômeno, e também viendo se eu poderia, geralmente, ao serviço de alguns Outro esforço de pesquisa (por exemplo, Rosenthal & Jacobson, 1968 demonstrou profecias auto-realizáveis ​​induzidas experimentalmente, queria ver se as expectativas que os professores desenvolveram por conta própria, sem serem enganadas pelos pesquisadores, também eram auto-realizáveis ​​- eles eram). Muitas vezes, reproduzi os fenômenos dos outros (mais recentemente, concluímos uma replicação conceitual bem-sucedida do estudo de tendência de discurso / correspondência pró-disfarce e de Harris de Jones e Harris, mas com estereótipos sexuais que restringem o comportamento ao invés de pedidos de pesquisadores). Agora, a maioria desses não são os "tópicos chamativos" nos últimos 20 anos. Sem iniciação, sem preconceito implícito, sem postura de poder, sem ameaça de estereótipo. Muitas, embora não todas essas descobertas, são acompanhadas por tamanhos de efeito bastante amplos (que foi um dos preditores de sucesso na replicação no documento OSC, 2015).

Isso é apenas no meu laboratório. Contando apenas coisas que eu conheço de outras pessoas, que foi replicada em mais de um laboratório independente:

• Os fundamentos morais de Jon Haidt se replicam.
• Similaridade-atração é muito poderosa.
• O preconceito de direita contra os grupos de esquerda e o preconceito de esquerda contra os grupos de direita repetidamente repete.
• Explicação de retoques de estereótipos políticos.
• O preconceito (desprezando / gostar de um grupo) geralmente prediz todos os tipos de viés mais forte do que os estereótipos (crenças sobre os grupos.
• Acima da chance de precisão na percepção de pessoa baseada em fatias finas de replicações de comportamento.
• As heurísticas de Kahneman e Tversky são principalmente replicadas.
• Os preconceitos do grupo são replicados a maior parte do tempo.
• Auto-avaliações auto-suficientes de competência, moral e replicação da saúde.
• Na percepção pessoal, as pessoas procuram informações de diagnóstico mais do que informações de confirmação em praticamente todos os estudos que tenham dado às pessoas a chance de buscar informações de diagnóstico.

Enquanto se fala sobre resultados técnicos, em vez de interpretações excessivas sobre tais resultados:

• Razão IAT racial maior que zero amplamente replicada;
• Os conservadores rotulam pontuações mais altas em medidas comuns de rigidez e dogmatismo do que os liberais
• A raça / etnia e as diferenças de classe na realização acadêmica abundam.

Estou certo de que há muitos mais que não incluí.

Muitas descobertas são fáceis de replicar.

Por outro lado, esta não é uma amostra aleatória de tópicos. Não seria justificado concluir da minha experiência pessoal ou desta lista fora do topo da cabeça que, de fato, a psicologia social está bem, muito obrigado. E os problemas vão muito além da replicação, mas essa é uma missiva para outro dia.

Como descobriremos o que, do vasto armazém de quase um século de pesquisa psicológica social, é realmente válido e credível? Como podemos distinguir os resultados dramáticos, que mudam o mundo, que são apenas exageros, fantásticos relatos de histórias, resultados falados, pensamentos ilusos e, em última instância, o óleo de cobra, de resultados dramáticos que mudam o mundo, que realmente podemos colar nossos chapéus e sair e mudar o mundo com? Ninguém realmente sabe ainda, e qualquer um que afirma que eles fazem, sem ter submetido suas reivindicações a testes céticos, como pvores, índices de replicação e tentativas de replicação pré-registradas, está apenas vendendo o óleo de cobra reembalado.

Para mim, existe um ingrediente único e crucial para descobrir isso: diversidade de pontos de vista e profundo ceticismo das reivindicações do outro. Quando as respostas não são uma ciência estabelecida – e grande parte da nossa ciência está atualmente instável – a diversidade e o ceticismo são ferramentas essenciais para expulsar a verdade do hype, do sinal do ruído e dos resultados reais do mundo do óleo de cobra.

Pensar de forma grupal e deferência às "autoridades" científicas e às histórias repetidas "científicas" que descansam em pés empíricos de firmeza pouco clara é uma ameaça significativa para a validade da psicologia social. Grandes doses de humildade e incerteza, pelo menos em relação às nossas reivindicações sobre psicologia social, parecem estar em ordem. Nesse espírito, provavelmente estamos melhor excluindo reivindicações extremas, incluindo "a maioria dos achados de psicologia social são falsos", a menos que possamos conhecer bases fortes de suporte científico.

Quem sabia que Mark Twain era cientista? "Não é o que você não sabe, que você tem problemas. É o que você sabe com certeza que não é assim ".

Referências

Jones, EE, & Harris, VA (1967). A atribuição de atitudes. Journal of Experimental Social Psychology, 3, 1-24.

Krosnick, JA Replication. Discussão apresentada na reunião de 2015 da Sociedade de Personalidade e Psicologia Social.

Loeb, A. (2014). Benefícios da diversidade. Natureza: Física, 10, 616-617.

Open Science Collaboration. (2015). Estimando a reprodutibilidade da ciência psicológica. Science, 349, aac4716. doi: 10.1126 / science.aac4716

Rosenthal, R., & Jacobson, L. (1968a). Pygmalion na sala de aula: expectativas dos professores e desenvolvimento intelectual dos estudantes. Nova York: Holt, Rinehart e Winston.

Fácil de acessar recursos on-line sobre o preparo problemático e outros estudos difíceis de replicar

Falhas de inicialização recentes

Efeitos de iniciação válidos e inválidos

Uma replicação iniciadora precoce

Unicórnios da Psicologia Social

Unicórnios psicológicos sociais: Replicações falhadas Dispõem Mitos científicos>

Power Posing Just Hype?