Avaliando a pesquisa em psicologia

Muitos famosos estudos psicológicos não podem ser reproduzidos.

Estudos em psicologia freqüentemente encontram resultados diferentes. Mesmo em campos como a medicina, onde se pode pensar que existe uma relação direta entre a intervenção que está sendo testada e seus efeitos, os resultados podem variar.

Experiência da prisão de Stanford

Fonte: Wikimedia Commons

• Suas mídias sociais estão impedindo você de ser contratado?
• Os 10 principais motivos para os break-ups de relacionamento
• Eu sou alcoólatra? Ou simplesmente acho que sou?
• Festas de verão e a praia! Um Guia Rápido para Lidar com os Cravings do Álcool
• The Holidays: Guia de sobrevivência para álcool sóbrio

Por exemplo, um estudo descobriu que beber um copo de suco de laranja por dia pode aumentar o risco de uma pessoa ter diabetes tipo 2 em 18%. Pesquisadores da Universidade da Califórnia, Davis, no entanto, descobriram que beber suco 100% reduziu o risco de várias doenças crônicas, incluindo o câncer.

Marshmallows Brancos

• O que eu aprendi ao escrever um blog do PT
• Insecure-5 razões pelas quais seus registros médicos foram hackeados
• Voa em bebidas e macacos em aplicativos
• Personalidade humana e bizarro, produtos de cachorro maluco
• O modelo biopsicossocial e suas limitações

Fonte: Wikimedia Commons

Mas muitos acham que a situação é pior na psicologia.

Um recente artigo do New York Times menciona alguns famosos estudos de psicologia do comportamento humano que não podem ser reproduzidos, incluindo o famoso Experimento da Prisão de Stanford que mostrou como as pessoas interpretando rapidamente agiram cruelmente para zombar de prisioneiros, bem como o famoso “teste de marshmallow” que mostrou que as crianças pequenas que poderiam atrasar a gratificação demonstraram um maior desempenho educacional anos depois do que as que não conseguiram.

Por que os resultados da pesquisa variam e não se replicam?

A relação entre uma intervenção e seus efeitos pode depender de muitos fatores. E as diferenças no contexto ou na implementação podem ter um grande impacto nos resultados de um estudo. Há outras razões pelas quais os estudos podem relatar diferentes efeitos: os erros de probabilidade podem afetar os resultados de um estudo. Os pesquisadores também podem, consciente ou inadvertidamente, influenciar seus resultados.

Todas essas fontes de variabilidade levaram a temores de uma “crise de replicação” na psicologia e outras ciências sociais. Dada essa preocupação, como devemos avaliar a psicologia e a pesquisa em ciências sociais?

A primeira regra é não confiar apenas em qualquer estudo. Se possível, analise metanálises ou revisões sistemáticas que combinem os resultados de vários estudos. Meta-análises podem fornecer evidências mais confiáveis. Meta-análises podem sugerir razões pelas quais os resultados são diferentes.

Uma meta-análise é uma análise estatística que combina os resultados de vários estudos de pesquisa. O princípio básico por trás da meta-análise é que há uma verdade comum por trás de todos os estudos de pesquisa conceitualmente semelhantes, mas cada estudo individual foi medido com um certo erro em estudos individuais. O objetivo é usar estatísticas para obter uma estimativa agrupada, mais próxima da verdade comum desconhecida. Uma meta-análise, então, produz uma média ponderada a partir dos resultados de todos os estudos individuais.

Além de fornecer uma estimativa da verdade comum desconhecida, a metanálise também pode contrastar resultados de diferentes estudos e identificar padrões entre os resultados do estudo. Também pode identificar fontes de discordância entre esses resultados. E pode identificar outras relações interessantes que surgem no contexto de múltiplos estudos. Um dos principais benefícios da abordagem meta-analítica é a agregação de informações que leva a um poder estatístico mais alto e uma estimativa pontual mais robusta do que é possível a partir da medida derivada de muitos estudos individuais.

Ainda assim, existem algumas limitações da abordagem meta-analítica a considerar também. O pesquisador deve fazer escolhas sobre os estudos a serem incluídos que podem afetar os resultados da metanálise (por exemplo, apenas estudos publicados). O pesquisador deve decidir como pesquisar os estudos. E o pesquisador deve decidir como lidar com dados incompletos, analisar os dados e explicar o viés de publicação.

Às vezes, porém, queremos avaliar um único estudo psicológico individual. Então, como devemos fazer isso? Ao considerar quanto peso dar a um estudo e seus resultados, concentre-se no tamanho da amostra. É mais provável que os estudos não se repliquem se usarem pequenas amostras. Os resultados mais positivos e negativos são geralmente aqueles com amostras menores ou intervalos de confiança mais amplos. Estudos menores são mais propensos a não replicar em parte devido ao acaso, mas os efeitos também podem ser menores à medida que o tamanho da amostra aumenta, por várias razões. Se o estudo estava testando uma intervenção, pode haver restrições de capacidade que impeçam a implementação de alta qualidade em escala. Estudos menores também costumam ter como alvo a amostra exata desejável que produziria os maiores efeitos.

Há uma linha de raciocínio para isso: se, por exemplo, você tem um programa educacional de diversidade caro que só pode ser usado com uma quantidade limitada de alunos, você pode ter apenas uma turma e ter alunos que poderiam se beneficiar dela com mais frequência. Isso significa que o efeito provavelmente seria menor se você implementasse a educação sobre diversidade em um grupo maior. Então, de maneira mais geral, pode ser útil pensar sobre as coisas que poderiam ser diferentes se o programa educacional fosse ampliado. Por exemplo, é improvável que programas educacionais de pequena diversidade afetem a instituição, a comunidade ou a sociedade em geral. Mas, se ampliada, a cultura institucional, comunitária ou social pode mudar em resposta.

Da mesma forma, considere recursos específicos da amostra, contexto e implementação. Como os pesquisadores vieram estudar o programa educacional de diversidade, incluindo a instituição e os alunos que fizeram? Você esperaria que essa amostra tivesse um desempenho melhor ou pior do que a amostra em que você está interessado? Por exemplo, se eu estivesse interessado em testar o resultado do método de ensino que usei em meu curso de webconferência, a configuração da psicologia da diversidade em Harvard (por exemplo, Harvard, webconferência, campus) poderia ter afetado os resultados também. Havia algo único sobre a configuração que poderia ter tornado os resultados maiores?

Se o estudo estivesse avaliando um curso educacional de diversidade, o modo como esse curso foi implementado também é importante. Por exemplo, suponha que você saiba que um curso de conferência na web sobre diversidade pode melhorar os sentimentos de pertencimento e inclusão dos alunos. Se você estava pensando em implementar um curso semelhante, provavelmente gostaria de saber o formato do curso da webconferência, o conteúdo do curso e o treinamento do corpo docente, a fim de avaliar se você pode ter resultados diferentes.

Você também pode ter mais confiança nos resultados de um estudo se houver algum mecanismo claro que explique as descobertas e seja constante entre as configurações. Alguns resultados na economia comportamental, por exemplo, sugerem que certas regras do comportamento humano são hardwired. Mas esses mecanismos podem ser difíceis de descobrir. E muitas experiências em economia comportamental que inicialmente pareciam refletir uma regra hardwired não conseguiram se replicar, como descobrir que a felicidade aumenta a paciência e a aprendizagem.

Mas, se houver uma razão convincente de que poderíamos esperar ver os resultados que um estudo encontrou, ou se há uma forte razão teórica que podemos esperar que um resultado específico generalize, isso deve nos levar a confiar nos resultados de uma pesquisa. estudo único um pouco mais. Mas devemos ter o cuidado de examinar por que achamos que há uma razão convincente.

Finalmente, se parece bom demais para ser verdade, provavelmente é. Isso se baseia em um princípio das estatísticas Bayesianas: afirmações mais estranhas devem exigir evidências mais fortes para mudar os “preceitos” ou crenças de alguém. Se levarmos nossas crenças sinceramente – e houver razão para concluir que, em média, os seres humanos são razoavelmente bons em fazer previsões – então os resultados que parecem improváveis, na verdade, são menos prováveis ​​de serem verdadeiros.

Em conclusão, toda a pesquisa em psicologia está sujeita a erros e, portanto, os resultados podem variar e não se replicar. É muito melhor estar ciente disso do que estar desinformado dos erros potencialmente ocultos na pesquisa. O método científico foi desenvolvido com base no raciocínio empírico para nos ajudar a resolver casos em que os estudos variam ou não se replicam. A aplicação do método científico ao estudo do comportamento humano e da psicologia não simplificou o comportamento humano; Em vez disso, sugeriu como o comportamento humano é complexo.

Referências

Weissmark, M. (próximo). A ciência da diversidade . Oxford University Press, EUA.

Weissmark, M. (2004). Questões de Justiça: Legados do Holocausto e Segunda Guerra Mundial . Oxford University Press, EUA.

Weissmark, M. & Giacomo, D. (1998). Fazendo Psicoterapia Efetivamente. Universidade de Chicago Press, EUA.