Eu encontro sua falta de teoria (e replicações) Perturbando

Digamos que você se encarregue de um grupo de crianças. Uma vez que você é um psicólogo relativamente médio, você tem uma hipótese relativamente estranha que deseja testar: você quer ver se usar uma camisa vermelha fará as crianças melhorarem na bola dodge. Você pensa que isso acontecerá. Eu digo que essa hipótese é estranha porque você derivou de, basicamente, nada; é apenas um palpite. Pouco mais do que uma idéia "não seria legal se fosse verdadeira?". Em qualquer caso, você deseja executar um teste de sua hipótese. Comece por alinhar os alunos, então você passa por eles e conta em voz alta: "1, 2, 1, 2, 1 …". Todas as crianças com um "1" colocam uma camisa vermelha e estão juntas em uma equipe; Todas as crianças com um "2" vão e escolhem uma nova camisa para vestir de uma pilha de camisas não vermelhas. Eles servem como seu grupo de controle. As duas equipes então se jogam em uma rodada de dodge ball. A equipe que usa as camisas vermelhas sai vitoriosa. Na verdade, eles ganham uma margem substancial. Isso deve significar que o uso das camisas vermelhas tornou os alunos melhores em dodge ball, certo? Bem, uma vez que você é um psicólogo relativamente médio, você provavelmente concluirá que, sim, as camisas vermelhas têm claramente algum efeito. Claro, sua conclusão é, no mínimo, precipitada e provável, errada, mas você é apenas um psicólogo médio: não podemos definir a barra muito alta.

"O salto foi bem sucedido (p <0,05)"

Uma avaliação crítica da pesquisa poderia observar que apenas porque as crianças eram aleatoriamente designadas para grupos, isso não significa que ambos os grupos fossem igualmente correspondentes para começar. Se as crianças do grupo de camisas vermelhas fossem apenas melhores antes, isso poderia influenciar o efeito. Também é provável que as camisas vermelhas tenham tido muito pouco a ver com qual time acabou ganhando. A questão urgente aqui parece ser por que esperamos que as camisas vermelhas tenham algum efeito? Não é como se uma camisa vermelha tornasse a criança mais rápida, mais forte ou melhor capaz de pegar ou jogar do que antes; pelo menos não por qualquer razão teórica que venha à mente. Mais uma vez, esta hipótese é estranha quando se considera sua base. Vamos assumir, no entanto, que o uso de camisas vermelhas realmente fez com que as crianças tivessem um desempenho melhor, porque ajudava as crianças a tocar em algum conjunto de habilidades preexistente. Isso levanta a questão um tanto óbvia: por que as crianças precisam de uma camisa vermelha para explorar esse recurso anteriormente inexplorado? Se ser bom no jogo é importante socialmente – afinal, você não quer ser provocado pelas outras crianças pelo seu desempenho fraco – e as crianças podem fazer melhor, parece, bem, estranho que eles nunca façam pior. Seria necessário colocar algum tipo de trade-off efetuado pela cor da camisa, que parece ser uma espécie de variável estranha para alguns mecanismos cognitivos a ter em conta.

No entanto, como qualquer psicólogo que pretenda continuar sua carreira acadêmica, você publica seus resultados no Journal of Inexplicable Findings. O "efeito da camisa vermelha" torna-se um clássico, relatado em livros de introdução à psicologia. Os relatórios publicados começam a surgir de pessoas diferentes que tiveram outras crianças usando camisas vermelhas e realizam várias tarefas de atletismo relativamente melhores. Embora nenhum desses documentos sejam replicações diretas do seu estudo inicial, eles também têm filhos com camisas vermelhas que superam seus pares, para que eles sejam rotulados de "replicações conceituais". Afinal, uma vez que os conceitos parecem estar em ordem, é provável que eles toquem o mesmo mecanismo subjacente. É claro que essas repetições ainda não tratam das preocupações teóricas discutidas anteriormente, de modo que alguns outros pesquisadores começam a ficar um tanto desconfiados quanto ao fato de o "efeito da camisa vermelha" estar tudo certo. Parte dessas preocupações baseiam-se em torno de uma aparência estranha de como a publicação funciona: resultados positivos – aqueles que encontram efeitos – tendem a ser favorecidos para publicação em estudos que não encontram efeitos. Isso significa que pode haver outros pesquisadores que tentaram fazer uso do efeito Red Shirt, não conseguiram encontrar nada e, por causa de seus resultados nulos ou contraditórios, também não conseguiram publicar nada.

• Entrevista de um Terapeuta TOC: Dr. Doronn, a Ironwoman
• Quem era George Washington?
• Nós, psicólogos, ignoramos nossa responsabilidade para o público
• O que se passa com o uso ilegal de drogas?
• O Futuro da Pesquisa de Sinestesia

Eventualmente, a palavra chega até você de uma equipe de pesquisa que tentou replicar o efeito da camisa vermelha uma dúzia de vezes no mesmo documento e não conseguiu encontrar nada. Mais preocupante ainda, para sua carreira acadêmica, de qualquer forma, seus resultados viram publicação. Naturalmente, você se sente muito chateado com isso. Claramente, a equipe de pesquisa estava fazendo algo errado: talvez eles não usassem a sombra adequada da camisa vermelha; talvez eles usassem uma marca diferente de bolas de esquiva em seu estudo; talvez os experimentadores se comportassem de uma maneira sutil que fosse o suficiente para contrariar totalmente o efeito Red Shirt Effect. Então, novamente, talvez o periódico em que os resultados foram publicados não possui normas suficientes para os seus revisores. Algo deve estar errado aqui; Você sabe tanto porque seu Efeito de camisa vermelha foi replicado conceitualmente muitas vezes por outros laboratórios. O efeito da camisa vermelha só deve estar lá; você tem contado os hits da literatura com fidelidade. Claro, você também não contou as falhas que nunca foram publicadas. Além disso, você estava contando os hits ligeiramente alterados como "replicações conceituais, mas não as perdas ligeiramente alteradas como" desconfirmações conceituais ". Você ainda não conseguiu explicar, teoricamente, porque devemos esperar também o efeito Red Shirt. Então, novamente, por que algo disso seria importante para você? Parte da sua reputação está em jogo.

E essas cores não correm! (p <0,05)

Em notícias algo relacionadas, houve alguns comentários salgados do psicólogo social Ap Dijksterhuis voltado para um estudo recente (e cobertura do estudo, e o periódico em que foi publicado) sobre nove falhas para replicar algum trabalho que Ap realizou no início da inteligência, bem como o trabalho realizado por outros em busca de inteligência (Shanks et al, 2013). A idéia inicial de inicialização de inteligência, aparentemente, era que os assuntos iniciais com sugestões relacionadas ao professor tornaram-nos melhores em responder a questões de conhecimento geral de múltipla escolha, enquanto que os assuntos de iniciação com sugestões relacionadas ao soccer-hooligan os faziam pior (e não, eu Não estou brincando. Foi realmente tão estranho). A própria inteligência é um conceito bastante difuso, e parece que estimular as pessoas a pensar em professores – as pessoas tipicamente consideradas mais altas em alguns domínios desse conceito difuso – é uma maneira ruim de torná-los melhores em questões de múltipla escolha. Tanto quanto eu posso dizer, não havia uma teoria em torno do porquê os primes deveriam funcionar desse jeito ou, mais precisamente, porque as pessoas não deveriam ter acesso a esse conhecimento na ausência de algum primo vago e não relacionado. No mínimo, nenhum foi discutido.

• Por que eu questiono pesquisa acadêmica sobre felicidade
• Nós temos algo para todos: o efeito Barnum
• A questão que o configurará para a falha … Toda vez
• Como o amor afeta a felicidade?
• Quão jovem é jovem demais?

Não foi só que as falhas para replicar relatadas por Shanks et al (2013) não eram significativas, mas na direção certa, lembre-se de você; muitas vezes pareciam na direção errada. Shanks et al (2013) procuraram as características da demanda explicitamente, mas também não conseguiram encontrá-las. Nove falhas consecutivas são surpreendentes à luz do fato de que os efeitos de inicialização da inteligência foram previamente relatados como bastante grandes. Parece bastante peculiar que grandes efeitos possam desaparecer tão rapidamente; eles deveriam ter tido muitas chances de se replicar, se fossem reais. Shanks et al (2013) sugerem, com razão, que muitos dos estudos confirmatórios de iniciação da inteligência, em seguida, podem representar o viés de publicação, graus de liberdade de pesquisador na análise de dados ou ambos. Felizmente, os comentários salgados de Ap lembraram aos leitores que "a descoberta de que se pode obter inteligência privilegiada foi obtida em 25 estudos em 10 laboratórios diferentes". Certo; e quando uma massa no MLB só conta as vezes que ele bateu na bola enquanto no morcego, sua média de batedura seria um 1.000 surpreendente. Contar apenas os sucessos e não as falhas, com certeza, parece que hits são comuns, por mais raro que sejam. Talvez Ap devesse ter pensado em professores mais antes de escrever seus comentários (embora seja dito que penso em primes os arruina também, então talvez ele esteja sem sorte).

Gostaria de acrescentar que havia outros comentários salgados feitos por outro psicólogo social, John Bargh, quando seu trabalho na inicialização de estereótipos antigos na velocidade de caminhada não conseguiu se replicar (embora John tenha excluído suas postagens). Os dois casos têm algumas semelhanças impressionantes: reivindicações de outras "replicações conceituais", mas nenhuma reivindicação de "falhas conceituais para replicar"; ataques pessoais sobre a credibilidade da revista publicando os resultados; ataques pessoais aos pesquisadores que não conseguiram replicar a descoberta; mesmo ataques pessoais às pessoas que informam sobre as falhas replicadas. Mais interessante, John também sugeriu que o efeito inicial era, aparentemente, tão frágil que mesmo pequenos desvios do experimento inicial poderiam lançar a coisa inteira em desordem. Agora, parece-me que, se o seu "efeito" é tão fugaz que mesmo pequenos ajustes no protocolo de pesquisa podem cancelá-lo completamente, então você realmente não está lidando muito com a importância do efeito, mesmo que seja real . Esse é precisamente o tipo de tiro-yourself-on-the-foot uma pessoa "mais inteligente" poderia ter considerado deixar de fora o seu berço de outra forma persuasivo.

"Manusei a falha em replicar bem (p <0,05)"

Eu também acrescentaria, por uma questão de exaustividade, que os efeitos iniciais da ameaça do estereótipo também não se replicavam. Ah, e os efeitos do realismo depressivo não mostram muita promessa. Isso me leva ao meu último ponto sobre o assunto: tendo em conta os riscos colocados pelos graus de liberdade de pesquisa e o viés de publicação, seria sábio promulgar melhores salvaguardas contra esse tipo de problema. Replicações, no entanto, apenas vão tão longe. As replicações exigem que os pesquisadores que estão dispostos a fazê-los (e podem ser de baixa recompensa, atividades desencorajadas) e jornais dispostos a publicá-los com freqüência suficiente (o que muitos não, atualmente). Consequentemente, sinto que as replicações só podem nos levar até agora a resolver o problema. Um remédio simples – embora apenas parcial – para a questão é, eu sinto, exigir a inclusão da teoria real na pesquisa psicológica; teoria evolutiva em particular. Embora não pare de falsos positivos serem publicados, pelo menos permite que outros pesquisadores e revisores avaliem mais detalhadamente as reivindicações feitas nos documentos. Isso permite que os pressupostos ruins sejam melhor eliminados e melhores projetos de pesquisa criados para abordá-los diretamente. Além disso, atualizar a velha teoria e fornecer novos materiais é uma empresa pessoalmente valiosa. Sem teoria, tudo o que você tem é uma coleção de descobertas, algumas positivas, algumas negativas, e nenhuma idéia do que fazer com elas ou como elas devem ser compreendidas. Sem teoria, coisas como inicialização de inteligência – ou Red Shirt Effects – som válido.

Referências : Shanks, D., Newell, B., Lee, E., Balakrishnan, D., Ekelund, L., Cenac, Z., Kavvadia, F., e Moore, C. (2013). Priming Comportamento Inteligente: Um Fenômeno Elusivo PLoS ONE, 8 (4) DOI: 10.1371 / journal.pone.0056515

Copyright Jesse Marczyk