O rap p-hack

Como Melhorar a Ciência Psicológica Uma Música Hip Hop de Cada Vez

Este é um post convidado de Daniel Rosenfeld, um graduado em psicologia e gerente de laboratório na Universidade de Cornell. Sua pesquisa é centrada na escolha de alimentos, moralidade e identidade, com um foco particular no vegetarianismo.

Se você preferir ir direto ao rap, existe um vídeo do youtube de um rap real, The P-Hack Rap, a cerca de 3/4 do caminho.

—————————————

Eu sou um estudante de graduação. Eu tenho apenas dois anos de experiência na condução de pesquisas psicológicas. Nesse curto espaço de tempo, entretanto, desenvolvi uma imensa apreciação pelo amplo escopo, conquistas significativas e implicações práticas da ciência psicológica. Mas também aprendi sobre replicabilidade científica – e estou bastante preocupado.

• Quanto tempo as mães devem amamentar?
• Por que os veteranos de combate amam Jordan Peterson
• Tiroteio na escola: como responder
• 6 caminhos para a saúde mental, você provavelmente não sabe
• Neandertalogia: Por que os psicólogos deveriam estudar os neandertais?

A crise de replicação

Fonte: Lee Jussim

• Ansiedade e Evitação Escolar
• Resolvendo conflitos pacificamente (parte 1)
• Shrinks abafados, Mad Kings: Qual é a regra Goldwater?
• Q & A com Stephen Kuusisto, autor de “Have Dog, Will Travel”
• Como adormecer

Estou preocupado com a forma como nós, como campo, formaremos uma geração emergente de estudiosos. Preocupa-me que esforços admiráveis ​​para resolver uma “crise de replicação” não cheguem a leigos suficientes, incluindo outros alunos de graduação. Preocupa-me que os cientistas psicológicos em ascensão de hoje percam muitas das conversas que moldarão o futuro de sua disciplina.

Ao mesmo tempo, sou otimista. No semestre passado, terminei um seminário focado nos Sete Pecados Mortais da Psicologia, de Chris Chambers, e discuti dilemas metodológicos, estatísticos e éticos na pesquisa psicológica. Aprendi sobre os movimentos emergentes em direção à ciência aberta – que, em uma infinidade de maneiras, tenta tirar a ciência psicológica das sombras dos laboratórios de pesquisa proprietários (onde as hipóteses originais, histórias post-hoc, práticas, decisões estatísticas e conjunto completo de métodos são mantidos a portas fechadas, conhecidos apenas por esse laboratório) e à luz do dia (onde todos podem ver – e, crucialmente, examinar erros e vieses, e tentar replicar usando métodos próximos ao estudo original). Uma dessas práticas é o pré-registro. O pré-registro envolve pesquisadores preparando um documento escrito identificando suas hipóteses originais e análises planejadas; é importante porque o pré-registro torna o conjunto completo de práticas muito mais transparente e, às vezes, publicamente disponível. Torna transparente exatamente quais hipóteses foram testadas a priori e quais foram exploratórias, permitindo assim que os consumidores dessa pesquisa (incluindo outros cientistas) tenham uma melhor noção de quais descobertas são mais confiáveis ​​e quais são mais experimentais.

P-Hacking: a busca por “significado estatístico”

Aprendi que nós, como indivíduos e como campo, podemos abordar questões urgentes que ameaçam a validade científica, revisando as formas normativas de conduzir pesquisas. Aqui, gostaria de compartilhar minha perspectiva sobre um assunto discutido extensivamente em meu seminário: o conceito de “p-hacking”.

Fonte: Lee Jussim

Para leitores leigos: o “p” em p-value significa probabilidade, e um abaixo de 0,05 é tipicamente referido como “estatisticamente significante”. Os valores de P são geralmente obtidos quando os pesquisadores comparam condições experimentais ou calculam correlações. Sem entrar em muitos detalhes, se todos os tipos de suposições forem atendidas, um valor-p é a probabilidade de encontrar uma diferença ou correlação observada (ou uma ainda maior) por acaso, se realmente (no mundo mais amplo) for sem diferença ou sem correlação.

P-valores abaixo de 0,05 são frequentemente tomados para significar “eureka, meus resultados são reais!” Porque muitas vezes erroneamente acredita-se que significa “meus resultados são sistemáticos e válidos, eles não são devidos ao acaso!” significa qualquer uma dessas coisas, mas isso é um blog para outro dia). O importante, no entanto, é que, até muito recentemente, era quase impossível para os cientistas psicológicos publicarem suas descobertas sem um p <0,05, ou seja, um resultado "estatisticamente significativo". E, é claro, no mundo da ciência acadêmica, é “publicar ou perecer” – o que significa que os pesquisadores de psicologia são altamente incentivados a “alcançar” significância estatística, o que alguns fazem por qualquer meio possível. Alguns desses meios são cientificamente sólidos – como a obtenção de amostras muito grandes; isso “funciona” porque grandes amostras têm mais “poder” estatístico e, portanto, têm maior probabilidade de produzir resultados significativos. Mas alguns meios não são tão bons.

O que nos leva a p-hacking. Imagine que você esteja conduzindo um estudo para testar o efeito do modo de leitura de livros didáticos no desempenho acadêmico. Você seleciona alunos de uma aula de psicologia introdutória, faz com que eles façam um exame e os classificam aleatoriamente em dois grupos. Você instrui o primeiro grupo de alunos a ler todos os próximos capítulos de livros didáticos via livro-texto de impressão e o segundo grupo a ler através de livro de texto on-line. Você testa uma hipótese clara: os leitores de livros didáticos on-line mostrarão melhorias maiores no desempenho ao longo de um mês.

Após o exame de acompanhamento, você analisa os dados. Não houve diferença significativa na mudança de desempenho entre os dois grupos! “Porra”, você pensa consigo mesmo: “Essa não pode ser a história. Talvez a leitura de um livro on-line apenas beneficie os alunos que obtiveram uma média inferior à média de 80% no exame de base. ”Então, você analisa novamente as análises – desta vez excluindo todos os alunos com 80% ou mais no início do estudo – e aparece um resultado significativo : um valor-p de 0,04. Você escreve isso, conclui que os alunos com desempenho abaixo da média que lêem os livros on-line mostram maiores aprimoramentos acadêmicos e submetem seu manuscrito para análise.

Parece que você fez seu estudo funcionar – mas apenas com a ajuda de p-hacking. Coloquialmente, p-hacking pode ser pensado em nós “cozinhando os dados” ou “torturando os dados até que eles confessem” – não é fraude, no sentido de que os pesquisadores não estão inventando dados, mas eles executam muitas análises diferentes sobre o assunto. dados que, quase inevitavelmente, algo vai cruzar o limiar de 0,05 em “significância estatística”. Quando p-hacking é comum, em todo um corpo de literatura científica, as linhas entre fenômenos estabelecidos e o mero ruído estatístico podem ficar completamente borradas.

Como campo, precisamos de maneiras criativas de envolver uma geração emergente de acadêmicos em conversas atuais sobre replicabilidade científica. Esforços estão sendo feitos para tornar a pesquisa psicológica mais transparente, de modo que problemas e erros possam ser mais facilmente identificados e, portanto, tornar suas descobertas mais reprodutíveis. À medida que agora vemos os psicólogos celebrando as repetições diretas pré-registradas de seus laboratórios independentes em seus estudos nas mídias sociais, temos muito a ganhar com o ensino dos estudiosos de amanhã sobre os benefícios da metodologia aberta e sólida.

Combinando meu próprio envolvimento em pesquisa com minha paixão pelo hip-hop, escrevi um rap sobre o p-hacking.

Apreciar.

O rap p-hack

Tentando publicar em revistas

Isso tem um alto impacto

Mas muitas vezes, na verdade

Métodos estão longe de estarem intactos

Com um p-hack, vemos que

Nos falta um teste a priori adequado

Mas em um sistema onde a novidade

É visto como a melhor coisa

Validade voa pela porta

À medida que testamos moderadores e mais

Perca a visão da realidade

Temendo uma bota pela porta

Temendo ser essa pessoa

Quem tem um baixo índice H

Porque suas análises foram limpas

Com estatísticas morais como Windex

Preso nulo resultando em descobertas

Não aderindo à ligação

Condições que definem

Qualquer hipótese a qualquer momento

Talvez deletar esse outlier

Apenas um, só para experimentar

E inconscientemente sucumbir

Para pura polarização de confirmação

Ou pode-se começar a hipótese

Depois que os resultados são conhecidos

Apenas para fazer uma nova reclamação

Que na realidade é exagerado

Como um pescador no mar

Pode-se bobinar para falsos positivos

Descubra uma nova descoberta

Quando na realidade é o oposto

Pesquisando dados como se fosse uma mina de ouro

Tentando ganhar um bom mérito

Precisa de um p menos que 0,05

Porque é publicar ou perecer

Juntos podemos revisar

Normas e sistemas convencionais

Como um campo podemos subir

Em direção à sabedoria metodológica

Precisamos de maior transparência

Para vencer esta crise de replicação

Para superar os preconceitos que emergem

Quando deixado para nossos próprios dispositivos opacos

Revisão começa com novas visões

Que inflamar novas ignições

O pré-registro revelará

Todas essas decisões post hoc

———————————————————————————

Se você gostou disso, você também pode gostar deste poema:

Vingança de pós-graduandos

Lee Jussim tweets como PsychRabble, e você pode segui-lo aqui: https://twitter.com/PsychRabble onde ele aborda questões de reforma da ciência, diversidade, preconceito, estereótipos, discriminação e psicologia política.