O que é errado com a Ciência Psicológica Social?

Fonte: Wikimedia Commons

Esta entrada de blog resume algumas das muitas e profundas disfunções que caracterizam a ciência psicológica e, especialmente, a ciência social psicológica. Parte disso envolve "olhar sob o capô" – aspectos técnicos, estatísticos e metodológicos da pesquisa psicológica social.

Isso não é incrivelmente chato, em comparação com, por exemplo, ler artigos sobre "Seis caminhos para melhorar o sexo" ou "Cinco sinais que você está vivendo com um sociopata" – o tipo de artigos que muitas vezes encontra em outros blogs da Psych Today. Por que alguém além dos cientistas se preocupa com isso?

É por isso que você deveria se importar e por que eu acho que muitos de vocês acharão isso interessante. A "informação" nessas colunas de conselhos pode ser proveniente de dois lugares: as experiências profissionais e pessoais dos autores, ou a ciência. Na ausência de uma boa ciência, a experiência profissional e pessoal é tudo o que temos de continuar, e definitivamente é melhor do que nada.

Mas o padrão-ouro é ciência. Quando a ciência é conduzida de uma maneira de alta qualidade e produz respostas claras para alguma questão – essa é a resposta que eu irei sempre. E se conseguir a resposta certa é importante para você, você deve tentar rastrear a ciência.

• 10 maneiras de aliviar o estresse em 5 minutos ou menos
• Uma função biológica para o sexo oral?
• Os Rituais específicos antes de um evento podem afetar nosso desempenho?

Você prefere dirigir a sua vida com base no seu bisavô de 95 anos que fumou 3 pacotes todos os dias até que ele finalmente chutou, ou na montanha de evidências de que fumar coloca você com um risco muito maior para todas as doenças terríveis e uma morte anterior? Claro, isso só faz sentido se a ciência for boa …

Então, aqui está a visão de baixo do capô …

The Controversial Fiske Essay

Este é o meu segundo post inspirado por um ensaio inflamatório, mesmo inflamatório, por um psicólogo social eminente. (Vá aqui para a primeira entrada).

Naquele ensaio, que foi enquadrado como um apelo a uma maior civilidade na crítica científica, o ex-presidente da Associação para Ciências Psicológicas, Susan Fiske, criticou as críticas on-line da ciência psicológica, chamando-lhes todos os tipos de nomes desagradáveis, como "bully "E" terrorista metodológico ".

Nesta publicação, reviso o contexto científico profundamente disfuncional do qual o ensaio de Fiske surgiu. Há um termo militar, começando com "cluster" e seguido pela palavra de quatro letras, para uma operação em que várias coisas simultaneamente foram erradamente errado, uma vez popularizado por Jon Stuart no Daily Show. Provavelmente se aplica bem ao estado atual de Psicologia Social.

O QUE FOI ERRADO COM CIÊNCIA PSICOLÓGICA?

A Crise de Replicação

Às vezes, os problemas na psicologia social são referidos como uma "crise de replicação" porque:

1. Muitos de nós acreditamos que descobrimos recentemente que grande parte da nossa literatura empírica publicada não consegue replicar. Todos os tipos de achados famosos, fofos e contra-intuitivos foram sujeitos a falhas de replicação. Veja São Mostos de Resultados Psicológicos Sociais Falso para mais detalhes. No final deste post, eu forneço uma lista – uma lista muito longa – de fenômenos ou descobertas, muitos dos quais eram bastante famosos e provocavam salpicos nos principais canais de notícias porque eram incríveis !!! que foram sujeitos a replicações falhadas ou a outras fontes de dúvida.

Fonte: Lee Jussim, as inundações são um-risin '

2. No entanto, não há nem um consenso na psicologia social quanto ao que "conta" como uma replicação bem sucedida versus falha. Por exemplo, quando o Open Science Framework (OSF) realizou tentativas de replicação de vários sites de muitos estudos psicológicos sociais, eles estimaram a replicação de várias maneiras e apresentaram uma cifra entre 25% e 50%, dependendo dos critérios.

Gilbert et al (2015) argumentaram por padrões diferentes e concluíram que quase 85% replicavam.

Simonsohn (2016) argumentou que ambos estavam errados.

Não vou "resolver" esta questão; Meu ponto principal aqui é que os psicólogos sociais não podem sequer concordar sobre o que conta como uma replicação. Até nós, como um campo, alcançar algum tipo de consenso sobre esta questão, nós * seremos reduzidos a intermináveis ​​brigas internas sobre o que replica e o que não, e o que tudo significa.

* E por "nós" quero dizer pesquisadores psicológicos sociais. Tangencialmente, se não tivermos consenso sobre essas questões, poderemos considerar ser um pouco mais tolerantes com os leigos que nem sempre acreditam sempre em nossas reivindicações às vezes elevadas.

Independentemente do que se pensa do estudo de replicação do OSF, muitos psicólogos sociais acreditam que existe um problema de replicação e por uma boa razão. Muitas coisas não se replicam. Posso publicar repetidamente sobre o Psych Today sobre esse mesmo problema:

Veja meus dois blogs de unicórnios (Social Psych Unicorns and Unicorns of Social Psych) e minha entrada mais recente intitulada "Os resultados da psicologia social mais publicados são falsos?"). Spoiler: Eu duvido que a resposta seja "sim", mas é muito difícil saber com certeza. E é ainda mais difícil saber quais descobertas, em nossa vasta história de publicação de pesquisa, provavelmente serão robustas e válidas, e que são completamente falsas, não completamente falsas, mas exageradas, e nos quais podemos realmente colar nossos chapéus.

No entanto, a "Crise de Replicação" é uma expressão errônea, porque se concentra muito estreitamente em repetições fracassadas como uma ameaça para a ciência psicológica social. As replicações falhadas são uma ameaça e uma grande. Mas…

A crise de validade: as disfunções na ciência social psicológica vão além das replicações falhadas

Aqui está uma breve amostragem de problemas adicionais que ameaçam a integridade da ciência psicológica social e como eles criam problemas potenciais e muitas vezes muito reais que prejudicam a validade da psicologia social.

Pequenas amostras . As estatísticas calculadas com pequenas amostras limitam-se sem sentido, comparável ao dizer: "estamos bastante seguros de que a temperatura amanhã estará em algum lugar entre 10 e 100 graus Fahrenheit". O estudo da prisão Zimbardo é talvez um dos exemplos mais famosos de um estudo, dado uma propaganda extremamente intensa, com base em uma pequena amostra de 24 participantes.

E aqui está um tidbit que realmente é realmente maluco. Um estudo recente dos reformadores de ciências Chris Fraley e Simine Vazire (fundador da Sociedade para a Melhoria da Ciência Psicológica) descobriu que os periódicos mais prestigiados e influentes na psicologia social – aqueles que "todos" (no campo) lê e que têm grandes fatores de impacto e índices de citação – tamanhos médios de amostra menores do que os periódicos menos prestigiosos e impactantes. Quem se importa? Estudos com pequenas amostras produzem resultados menos credíveis do que aqueles com amostras maiores. Você pode pensar que as "melhores" revistas científicas seriam garantes da ciência de alta qualidade. Mas se você achasse isso, você estaria errado (o que não quer dizer que tudo publicado não é ruim, apenas que eles freqüentemente não conseguiram manter uma das fontes mais importantes e óbvias da ciência sendo boa).

10 anos atrás, eu teria escrito "você pode me atirar agora" – no entanto, é precisamente por causa da evidência e advocacia de reformadores como Fraley e Vazire que as coisas estão, de fato, começando a melhorar (exatamente como é um blog Por outro dia, mas uma mudança simples é que muitas revistas podem exigir tamanhos de amostra maiores).

Fonte: Lee Jussim, um edifício que não tinha integridade

Amostras não representativas. Muitas vezes, injustificadamente, chegamos a conclusões sobre "pessoas" com base em participantes que claramente não representam "toda a humanidade". Geralmente, eles não são representativos de nenhum grupo conhecido, nem mesmo estudantes universitários (eles podem ser estudantes universitários sem ser representativos de estudantes universitários da mesma forma que você pode ser de Iowa sem ser representativo de Iowans).

P-hacking e falta de transparência . Nós às vezes executamos muitas estatísticas, cereja escolhe os que dizem o que queremos e, em seguida, inventamos uma história convincente. Isso foi chamado de "p-hacking" para capturar as idéias que, intencionalmente ou não, os pesquisadores às vezes "atravessam" o caminho para o Santo Graal de "significância estatística", que geralmente é necessário para publicar um artigo. Ou seja, às vezes conduzimos nossas estatísticas como um arqueiro que dispara uma flecha, então desenha um alvo em qualquer lugar onde a flecha pousa, com a flecha no bullseye. O Garden of Forking Paths capta a ideia de que existem muitas maneiras de analisar os dados e apenas relatamos um subconjunto que nos leva onde queremos ir (de preferência, uma publicação em um jornal de prestígio).

Cronismo . Os cientistas às vezes são tendenciosos em favor do trabalho de seus amigos e estudantes atuais e anteriores.

Estatísticas sub-óptimas. As estatísticas da força de trabalho na maior parte da psicologia não respondem a pergunta que os pesquisadores geralmente querem responder. Geralmente, os pesquisadores querem saber, "É minha teoria ou hipótese correta, ou, pelo menos, é mais direto do que alternativas conhecidas?" As estatísticas que a maioria de nós usamos respondem a seguinte pergunta: "Quão provável é a relação ou a diferença que eu obtive ocorreu ou um ainda maior (mais extremo), se a hipótese nula for verdadeira? "(a hipótese nula geralmente indica que, na população maior, não há efeito ou relação). Se isso parecer complicado para você, e você não pode segui-lo, não fique muito chateado. É complicado. Na verdade, para chegar à conclusão, "Eureka, minha hipótese é confirmada!", A lógica fica ainda mais complicada. Isso porque a lógica precisa ser torturada para que as estatísticas pareçam dizer "Minha hipótese é confirmada!", Quando na verdade não fazem isso.

Questões de publicação. Revistas e pesquisadores geralmente requerem estudos empíricos para alcançar um Santo Graal estatístico antes da publicação, ("significância estatística", também conhecido como "p <0,05 " ). Para os não iniciados estatisticamente, você pode estar se perguntando o que o inferno é p <.05? Isso significa que "há menos de 5% de chances de que esses dados, ou dados mais extremos, ocorram se a hipótese nula fosse verdadeira." O que é a "hipótese nula?". É a hipótese de que não há nenhum efeito de um condições experimentais ou intervenção, ou que não há relação entre duas variáveis. Então, por exemplo, uma "hipótese nula" seria: "A confiança não está correlacionada com o desempenho".

P <.05 tem sido interpretado no sentido de "Eureka, meu incrível! Mudança mundial !! A hipótese está confirmada! "e os periódicos raramente estavam interessados ​​em publicar hipóteses não confirmadas. Uma conseqüência disso é que a literatura publicada muitas vezes exagera o poder dos processos psicológicos sociais e das hipóteses. Pense nisso. Se apenas os efeitos "fortes" (p <.05) forem publicados, muitos dos efeitos próximos a zero não serão publicados. Mas precisamos saber sobre os efeitos quase zero para descobrir o poder do fenômeno em estudo. Mas não sabemos sobre eles porque eles não são publicados.

Mais vies de publicação . Carl Sagan disse uma vez: "As reivindicações extraordinárias exigem evidências extraordinárias." Isso é porque algo extraordinário é altamente improvável que seja verdade. Para superar o ceticismo justificado sobre tal alegação, a evidência deve ser muito forte. A psicologia social funcionou de forma quase inteiramente oposta: "As reivindicações extraordinárias requerem pequenos tamanhos de amostra." Isso ocorre porque a psicologia social tem uma cultura estranha de valorizar achados "surpreendentes" e "contra-intuitivos". Os criadores de posterchildren para essas disfunções são os estereótipos infames de idosos iniciantes / caminhando pelo estudo do salão que ajudaram a desencadear a crise de replicação, que teve dois experimentos "demonstrando" esse efeito, cada um com apenas 30 participantes; e ameaça de estereótipo, em que o maior estudo (114 participantes) não teve efeito significativo de ameaça ao estereótipo, mas um foi relatado em estudos com 40 e 47 participantes). Essas descobertas são vistas como inovadoras e criativas, portanto, ao invés de manter os pesquisadores em padrões de evidência mais elevados, muitas delas realizam tais estudos para reduzir os padrões.

O resultado é que a literatura científica social psicológica pode ser salpicada de incrível! contra-intuitivo! Mudança mundial! dramático! resultados que são, na melhor das hipóteses, difíceis de replicar e, na pior das hipóteses, não são verdadeiras. Esta é a versão científica do velho ditado: "Se parece bom demais para ser verdade, provavelmente é." Quantas descobertas isso descreve? Quais? Ninguém sabe ainda.

Contagem de histórias e overselling . Os pesquisadores geralmente fazem reivindicações extraordinárias com base em evidências muito fracas. O meu livro passa a ser o caso depois disso, onde as profecias auto-realizáveis ​​e outros preconceitos são rotulados como poderosos e penetrantes, quando, de fato, a evidência mostra que eles são fracos, frágeis e fugazes. A ameaça de estereótipo, em que um tweak de situação menor é reivindicada para eliminar completamente as diferenças de diferenças de realização racial, é outro exemplo.

Preconceitos de confirmação do pesquisador e práticas interpretativas questionáveis. Muitas em gerações anteriores de cientistas psicológicos (Phds obtidos 1970-2010) foram treinados para contar "narrativas convincentes". Os pesquisadores ficaram tão bons em contar essas histórias que, às vezes, eles fazem isso, independentemente do que os dados digam. O meu recente artigo Interpretações e Métodos, passa por exemplo após o exemplo (depois de um exemplo após o exemplo) de artigos psicológicos sociais que contam narrativas tão convincentes, embora os dados não apoiem essas narrativas.

Cherrypicking resultados e estudos , os pesquisadores geralmente podem chegar a qualquer conclusão que eles preferem. Explicações alternativas muitas vezes são ignoradas ou ignoradas; e muitas vezes são mais viáveis ​​do que as explicações publicadas. Às vezes, os psicólogos sociais chegam a afirmar que certas coisas são verdadeiras sem qualquer evidência (por exemplo, afirma que os estereótipos são imprecisos, os humanos são uma ardósia em branco, os testes padronizados são inválidos, etc.). Estudos famosos geralmente são citados em taxas muito mais elevadas que as repetições fracassadas desses mesmos estudos, mesmo após a publicação das replicações falhadas.

Teorias de mortos-vivos. Alguns de nós acreditamos que a falsificação tem um papel central na ciência. Alguns de nós acreditam que o progresso científico se reflete em descartar teorias antigas, ruins ou sub-ótimas com melhores e mais válidas. É, no entanto, quase impossível declarar qualquer teoria na psicologia social "errada" ou falsificada. Algumas razões possíveis para este estado bizarro de assuntos científicos podem ser encontradas aqui: "É ofensivo declarar que alguma afirmação psicológica está errada?"

Preconceitos de status. Os psicólogos às vezes agem como aqueles de nós com cadeiras nomeadas e as nomeações da Ivy League garante maior voz, atenção e credibilidade – e acesso a canais de publicação e financiamento – do que aqueles de nós sem esse status. Mas a ciência deve ser sobre a qualidade dos dados, não o status dos autores.

Preconceitos políticos. Durante muito tempo, a psicologia social tem sido um clube para pessoas com visões políticas de esquerda. Isso expulsou alguns estudiosos do campo, e distorceu conclusões em tópicos politizados.

A CIÊNCIA PSICOLÓGICA SOCIAL NÃO É SOMENTE?

A resposta curta é … ninguém sabe. Alguns provavelmente são; alguns certamente são bons, e atualmente temos pouco ou nenhum consenso sobre como descobrir qual é o qual. Na verdade, provavelmente é a pergunta errada. A questão correta, ou, pelo menos, uma questão melhor é: quais achados psicológicos sociais são sólidos e válidos e quais não são?

Cada um dos resultados ou conclusões seguintes foi amplamente aceito. Eles estão todos agora sob uma nuvem porque eles são:

• Conhecido para ser falso, exagerado ou mal representado
• Sujeito a replicações com falha
• Ou suas conclusões são duvidosas, ou, de outra forma, em dúvida.

Se você não está familiarizado com nenhuma dessas áreas de pesquisa, você pode descobrir mais da seguinte maneira:

1. Tópicos com links são para meus blogs ou documentos que os discutem.

2. Para tópicos não vinculados, você pode fazer uma pesquisa do Google para esse tópico + "replicação" ou "falha de replicação" ou "reprodutibilidade" e você geralmente poderá encontrar o resultado original e a fonte de dúvida.

• Ameaça de estereótipo
• todo tipo de estudos iniciais
• Principais influências sobre a percepção
• viés maciço do grupo em percepções de um jogo de futebol
• o poder da situação
• os céticos do clima acreditam em teorias de conspiração estranhas
• os conservadores negam as realidades ambientais
• Os conservadores são mais tendenciosos do que os liberais geralmente
• profecias auto-realizáveis ​​são poderosas e penetrantes
• Os estereótipos são a base padrão e os poderosos distúrbios da percepção da pessoa
• os estereótipos são imprecisos
• postura de poder (posturas não verbais expansivas têm influências extraordinárias sobre a confiança e como os outros percebem)
• As chamadas intervenções "sábias" aumentam a realização ou a participação dos eleitores
• as lacunas demográficas resultam da discriminação
• As pontuações acima de 0 na versão do preconceito do teste de associação implícita são inegalitárias
• as medidas de preconceito implícitas prevêem uma discriminação melhor do que as medidas explícitas
• Os estereótipos levam a sua própria confirmação
• depleção do ego
• A hipótese de feedback facial
• himmicanes
• grandes porções de neurociência social
• e provavelmente muito mais que eu não tenho listado.

Fonte: Lee Jussim, um edifício em colapso

As controvérsias sobre se as franquias da psicologia social estão entrando em colapso em torno de nossos ouvidos inflamaram as paixões dos cientistas. Algumas vezes, são paixões justas, às vezes até paixões auto-justas e insultantes, sobre o que é ciência, o que conta, quem está fazendo boa ciência e quem não é. Esse é o contexto científico a partir do qual o ensaio de Fiske, com suas incitantes acusações de incatividade, emergiu.