O esforço de reforma científica e seus descontentamentos

Um ensaio controverso de um ex-presidente da Associação para Ciências Psicológicas que pede civilidade em discussões científicas inspirou muitos comentários de escritores científicos na internet. Você pode ler minha sinopse do ensaio aqui; você pode ler todo o ensaio aqui.

Como o status quo na ciência psicológica inclui estudos, práticas e resultados problemáticos, e porque o ensaio de Fiske parecia estar defendendo esse status quo, muitos na vanguarda da reforma científica deram certo. Por que você deveria se importar? Não é a questão da qualidade e da credibilidade da pesquisa científica tão técnica para o leigo inteligente entender? Primeiro, nem mesmo. A maioria dos problemas na ciência psicológica é facilmente compreensível para os leigos, e qualquer um que sugere o contrário é puxar um rápido (veja o link acima). Em segundo lugar, a credibilidade de qualquer coisa que você lê sobre ciências psicológicas depende da qualidade dessa ciência. Se essa qualidade for sub-óptima, você quer conhecê-la (pelo menos, se você é o tipo de pessoa interessada em psicologia e também prefere acreditar em coisas verdadeiras, em vez de alguma mistura desconhecida de óleo de cobra, ar quente, práticas ruins , e auto-promoção auto-suficiente).

Muitos cientistas da ciência consideraram o ensaio de Fiske como muito mais do que um apelo à civilidade. Fiske acusou aqueles que se engajavam em críticas à ciência psicológica fora dos estabelecimentos estabelecidos para análise de pares, enquanto se envolvem em ações hostis e antiéticas. Como tal, muitos a interpretaram como uma tentativa de defender o status quo (o que muitos acreditam ser disfuncional) na ciência psicológica e protegê-lo de críticas justificadas.

Aqui estão alguns dos que eu acredito serem os melhores comentários mais difíceis sobre o ensaio de Fiske e a reforma científica de forma mais geral:

• Como o escândalo da Fundação Trump prejudica o setor sem fins lucrativos
• Há um ponto de equilíbrio feio para a empatia
• As Guerras Contra Homens
• O Mito do Eleitor Irracional
• Carta aberta a Angela Merkel de 100 psicólogos sociais

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, note que este é um podcast, e você pode encontrar a citação no segundo segmento, que começa cerca de 20 minutos):

"Por ética, ela significa as coisas que mantêm o status quo e o estabelecimento no lugar … Do ponto de vista de um estranho, lê um pouco como:" Vocês pessoas fora do clube não conseguem questionar nossos métodos, mesmo que sejam objetivamente questionáveis. Você precisa passar por nós para fazer isso, e nós temos que aprovar as críticas que você faz da nossa metodologia e das nossas práticas ".

ANDREW GELMAN (O QUE ACONTECE AQUI ESTÃO OS CAMINHOS FORAM CHANGADOS). A publicação completa de Gelman é longa, mas magistral e eu encorajo você a ler tudo. Aqui estão alguns excertos:

• Por ser o pai de Luke importado
• A dissolução de um por cento: seu cérebro moral
• Acalmando a dor do rejeição no Facebook
• O mito do altruísmo animal
• O Altruísmo dos Ricos e dos Pobres

"A história curta é que Cuddy, Norton e Fiske fizeram um monte de erros de dados – o que é muito ruim, mas essas coisas acontecem – e então quando os erros foram apontados para eles, eles se recusaram a reconsiderar qualquer coisa. Sua teoria substantiva é tão aberta que pode explicar quase qualquer resultado, qualquer interação em qualquer direção.

"E é por isso que os autores afirmam que corrigir os erros" não altera o

conclusão do artigo "é ridículo e tudo muito verdadeiro. É ridículo porque uma das principais reivindicações é inteiramente baseada em um p-valor estatisticamente significativo que já não existe. Mas a afirmação é verdadeira porque a verdadeira "conclusão do documento" não depende de nenhum dos seus detalhes – tudo o que importa é que há algo, em algum lugar, que tem p menos do que .05, porque isso é suficiente para tornar publicável, promocional afirma sobre "a omnipresença e persistência do estereótipo idoso" ou o que quer que eles desejem publicar nesse dia.

Quando os autores protestam que nenhum dos erros realmente importam, faz você perceber que, nesses projetos, os dados quase não são importantes ".

"… ela está trabalhando dentro de um paradigma morto. Um paradigma que deveria estar morto nos anos 60, quando Meehl estava escrevendo sobre tudo isso, mas que, na sequência de Simonsohn, Button et al., Nosek et al., Certamente morreram hoje. É o paradigma da teoria aberta, de publicação em revistas e promoção na imprensa popular e empresarial, com base em resultados "p menos de .05" obtidos usando graus de liberdade de pesquisadores abundantes. É o paradigma da teoria que, nas palavras do sociólogo Jeremy Freese, é "mais vampírica do que empírica – incapaz de ser morto por meros dados.

"Fiske expressa preocupações com as carreiras de seus amigos, carreiras que podem ter sido danificadas pela transmissão pública de seus erros de pesquisa. Basta lembrar que, para cada uma dessas pessoas, pode haver três outros jovens pesquisadores que estavam fazendo um trabalho cuidadoso e sério, mas não foram escolhidos para um trabalho de ameixa ou promoção porque era muito difícil competir com outros candidatos que fizeram trabalho desleixado, mas chamativo, publicado em Psych Science ou PPNAS. Vai em ambos os sentidos. "

"Fiske está irritado com as mídias sociais, e eu posso entender isso. Ela está sentada no topo da mídia tradicional. Ela pode publicar um artigo no APS Observer e obter toda essa discussão sem ter que passar pela revisão pelos pares; ela tem o poder de aprovar artigos para os prestigiosos Procedimentos da Academia Nacional de Ciências; Trabalhar sozinha e fazer colegas são apresentados em jornais nacionais, TV, rádio, e mesmo Ted fala, ou então eu ouvi. Os meios de comunicação direta são amigos de Susan Fiske. A mídia social, porém, não tem controle. Isso deve ser frustrante e, como um praticante bem-sucedido da mídia tradicional, eu mesmo (sim, eu também publiquei em revistas científicas), eu também posso ficar irritado quando os recém-chegados contornam os canais tradicionais de publicação. Pessoas como Fiske e eu mesmo gastamos nossa vida profissional construindo uma pequena fortuna de moeda sob a forma de publicações e citações, e é doloroso ver isso desvalorizado, ou pensar que há outro tipo de scrip em circulação que pode comprar coisas que nossos o dinheiro da velha escola não pode.

"Deixe-me concluir com um desacordo-chave com Fiske. Ela prefere fóruns moderados onde a crítica é feita em privado. Eu prefiro uma discussão aberta. Pessoalmente, não sou fã do Twitter, onde a limitação do espaço parece encorajar trocas rápidas, muitas vezes adversárias. Gosto de blogs e comentários de blog, porque temos espaço suficiente para nos explicar completamente e dar referências completas ao que estamos discutindo ".

E então, houve um comentário assassino sobre a publicação de Gelman e o ensaio de Fiske por uma pessoa que apenas se identificava como "Plucky" (que eu entremei e recebi permissão para citar na íntegra):

PLUCKY'S BULLSEYE (Ciência é um método, não uma comunidade):

O problema-chave com Fiske é esta frase: "Em última análise, a Ciência é uma comunidade, e estamos todos juntos".

Isso é simples, errado e errado nas formas que resultam em tudo o que você criticou. A ciência não é uma comunidade, é um método.

Não conheço bem o seu campo, mas conheço bem a política. Um problema de leitura primordial

A carta de Fiske é essa, a menos que se tenha contado o contexto e os antecedentes, poderia ser facilmente confundido com o tipo de defesas políticas fracas dos grupos de interesse da variedade op-eds-written-by-lobbyists. A palavreira, o tom, a caracterização de uma disputa responsável, adulto-contra-indisciplinado de uma disputa, bandidos maldosos sem nome, comparação gratuita com o terrorismo e a falsa reivindicação de falta de participação pessoal na luta são todas mutações retóricas de política padrão hacks, e deve ser embaraçoso para um campo científico que alguém que aparentemente seja bastante eminente seria falar dessa maneira. Isso não é realmente um bom olhar para a Ciência.

"Obviamente, a Ciência é algo praticado por pessoas em colaboração, em torno do qual uma comunidade se formará naturalmente, mas o elemento crítico para a autoridade e a legitimidade da empresa é e tem que ser que todos os arranjos institucionais sejam projetados para contra-agir do humano natural tendências de camarilha, carreira, etc e ser continuamente analisados ​​para a sua eficácia ao fazê-lo. O ponto inteiro de concessão de mandato, por exemplo, é precisamente proteger a prática da ciência das maquinações da política e permitir que as pessoas façam coisas como admitir que perderam mais de 10 anos perseguindo um fantasma sem perder seu emprego. Algumas concessões para a natureza humana devem ser feitas, mas a ciência e seus praticantes devem sempre assumir a posição de que a verdade é mais importante do que a reputação ou a carreira de um cientista.

"O problema fundamental com a definição da Ciência como" em última análise … uma comunidade "é que as comunidades geralmente não valorizam a verdade sobre o bem-estar de seus membros (tanto no sentido material quanto emocional). O propósito funcional de uma comunidade é precisamente fornecer suporte, proteção e validação para seus membros. As comunidades cujo propósito declarado é altruísta precisam de compromissos muito fortes de forma individual e institucional para evitar a corrupção, e mesmo com esses compromissos a luta para evitar a corrupção é eterna e nunca é bem sucedida. Dada a descrição dos interesses de pesquisa do Dr. Fiske, ela deveria saber melhor isso do que qualquer pessoa ".

TAL YARKONI (NÃO HÁ UM PROBLEMA "TONAL" NA PSICOLOGIA)

"Não há nada de errado com o tom geral do nosso discurso na psicologia no momento.

"Mesmo que houvesse algo errado com o tom do nosso discurso, seria profundamente contraproducente desperdiçar nosso tempo falando sobre isso em vagas condições gerais.
O medo de ter descobertas científicas despedaçadas por outros não é incomum ou patológico; Na verdade, é um sentimento completamente normal e saudável para um cientista.
Os apelos à justiça não valem a pena ser levados a sério, a menos que o argumento seja lançado ao nível de toda a comunidade científica, e não apenas a subcomunidade a que pertence ".

"Nenhum pesquisador tem o direito de liderar uma carreira bem sucedida sem problemas e sem qualquer questionamento sério de suas descobertas. Nem pesquisadores de início de carreira como Alec Beall, cujo papel sugerindo que as mulheres férteis são mais propensas a usar camisas vermelhas foi severamente criticado por Andrew Gelman e outros. É lamentadamente verdade que críticas críticas incisivas podem prejudicar a reputação e as perspectivas de emprego daqueles cujo trabalho foi criticado. E também é verdade que isso pode ser bastante injusto, no sentido de que geralmente não há nenhuma razão particular para que essas pessoas em particular sejam criticadas e sofrerem por isso, enquanto outras pessoas com corpos de trabalho muito similares ficam ilesas e garotas com garotas seguras ou promoções ".

Mas aqui está a coisa: o que não parece justo ao nível de um indivíduo é muitas vezes perfeitamente justo – ou pelo menos, inevitável – ao nível de uma comunidade inteira. Assim que alguém se destaca de qualquer indivíduo e, em vez disso, pesquisa o campo da psicologia como um todo, fica claro que os mercados de trabalho e reputação são, para uma primeira aproximação, um jogo de soma zero. Como Gelman e muitas outras pessoas observaram, para todas as pessoas que não recebem emprego porque seu artigo foi criticado por um "replicador", poderia haver outros três candidatos que não obtiveram emprego porque o trabalho muito mais metodologicamente rigoroso tomou muito tempo para publicar e / ou não conseguiu empilhar em flashiness para o trabalho PR-agarrando que ganhou a loteria do trabalho.

"… a idéia de que um achado publicado em um de nossos periódicos deveria ser considerado livre de preconceito porque aconteceu que aconteceu primeiro, enquanto uma crítica ou replicação subseqüente dessa descoberta deve ser descontada por motivos pessoais ou outros vícios é, francamente, delirante . Os preconceitos estão em toda parte; Todos os têm. Embora isso não signifique que devemos ignorá-lo, isso significa que devemos (a) chamar todos os preconceitos igualmente – o que geralmente é impossível, ou pelo menos extremamente impraticável – ou (b) aceitar que fazê-lo não é produtivo e que a melhor maneira de eliminar o viés a longo prazo é abaixar os desejos de todos uns contra os outros e deixar argumentos lógicos e dados empíricos decidir quem está certo ".

NEUROSKEPTIC (SOBRE "DESTRUCTO-CRITICISM")

"Vamos supor que Fiske está certo e que alguns indivíduos, enquanto fingem estar discutindo ciência, estão realmente envolvidos no assédio pessoal alvo de cientistas específicos. Se for esse o caso, o que devemos fazer?

"Na minha opinião, devemos nomear nomes (ou pseudônimos!): Devemos responsabilizar os infratores com referência a exemplos específicos de seus ataques. Afinal, essas pessoas (Fiske diz) são agressores viciosos que estão se comportando de forma seriamente não ética. Se assim for, eles merecem ser expostos.

"No entanto, Fiske não faz isso. Ela diz: "Não estou dando nomes porque as táticas de manchas de ad hominem já estão prejudicando o nosso campo". Mas não é um esfregaço de ad hominem para apontar um caso de bullying ou assédio e dizer "isso é errado". Pelo contrário, isso representaria a decência. Se os terroristas realmente estão entre nós, precisamos saber quem eles são.

"Outra razão pela qual acho que Fiske (e qualquer outra pessoa em uma posição similar) deve nomear nomes é que ajuda a desenhar limites. Fiske reconhece que nem todos os blogueiros são ruins: "Nem todos os críticos auto-nomeados se comportam de forma não ética." Então, quem são os éticos? Isso ajudaria a conhecer alguns exemplos das "boas" críticas porque poderíamos saber onde Fiske desenha o limite separando as boas críticas do mal. Como está, as denúncias de Fiske podem ser facilmente lidas como destinadas à grande maioria daqueles que debatem ciências online.

"Em resumo, quero saber quem Fiske está chamando de" crítico destrutivo "para que eu possa avaliar a precisão do rótulo. Eu sou um? "

NEUROCHAMBERS (TERRORISMO METODOLÓGICO E OUTROS MITOS)

"A verdade é que estamos no meio de uma luta de poder, e não é entre os" destructo-críticos "de Fiske e suas vítimas, mas entre reformadores que tentam desesperadamente melhorar a ciência e uma vanguarda dos tradicionalistas que, de vez em quando, Olhe para baixo de seus tronos para lançar um registro na estrada. À medida que a contagem do corpo das repetições falhadas continua a subir, uma nova geração quer um tipo diferente de ciência e eles querem agora. Eles exigem uma maior transparência nas práticas de pesquisa. Eles querem ser recompensados ​​por fazer pesquisas de alta qualidade, independentemente dos resultados. Eles querem que os pesquisadores sejam responsáveis ​​pela qualidade do trabalho que produzem e pelas escolhas que eles fazem como profissionais públicos. É tudo muito sensível, construtivo e no interesse público ".

NEURONEURÓTICO (O DIA A PALMA AVE A CARA)

Sou simpatizante com a ideia de que a crítica sofre, que devemos talvez ser mais conscientes de quão snarky e frívolos estamos com a nossa crítica e que existe um nível de alegria associado à divulgação de falhas de replicação. Mas também há muita alegria com a qual os papéis de alto impacto são divulgados e apresentados nas conversas da TED. Se você quiser que o primeiro pare, talvez também devêssemos finalmente pôr fim ao besteira.

URI SIMONSOHN (TRÊS IDÉIAS PARA CRÍTICA CIVIL)

Eu acho que o jornalista de dados é uma metáfora mais precisa do que a polícia de dados. Como os jornalistas e, ao contrário dos policiais, os blogueiros (acadêmicos) não possuem poderes físicos nem legais, eles apenas exercem análises de compartilhamento de fala livre e opiniões não vinculativas que são valorizadas pelas pessoas que escolhem lê-los (em contraste, nós somos não é livre para ignorar a polícia). Como os jornalistas, o poder dos blogueiros depende de ser interessante, correto e persuasivo.

Importante, ao contrário dos jornalistas, a maioria dos blogueiros acadêmicos tem treinamento semelhante no assunto como os autores originais cujo trabalho eles discutem, e eles também habitam seus círculos sociais e profissionais. Então os blogueiros são jornalistas de elite: mais qualificados e melhor incentivados a estar certos

BENJAMIN KIRKUP (comentarista no blog Simplystatistics.org, Statistical Vitriol)

"Na biomedicina, as pessoas estão lutando por suas vidas e sua imortalidade tanto. Aqueles que estão tentando manter uma renda estável através de bolsas têm suas costas contra a parede. Aqueles que publicaram artigos que vêem como seu legado nos rolos e anais da ciência, talvez tenham ainda mais em jogo.

"Na psicologia comportamental e social, também há algo em jogo. Lendo alguns dos estatísticos, eles falam sobre como todos esses preconceitos inconscientes devem ser considerados pequenos efeitos, razão pela qual os resultados são notáveis ​​e surpreendentes e provavelmente estão errados (himmicanes, furacões, assentos de primeira classe no avião, tanto faz). Mas isso perde todo o ponto. As pessoas que avançam nessas teorias acreditam seriamente que esses distúrbios são ENORMES e constituem uma nova forma de pecado original que dita ações humanas individuais e estruturas organizacionais e institucionais; que deve ser medido, reconhecido, de propriedade, contabilizado, arrependido e pago em mortificação e penitência. Dizer que os efeitos devem ser considerados pequenos é basicamente uma blasfêmia. Agora, atacar a pesquisa como infundada, particularmente com base em priores bayesianos que se recusam a ver todas as nossas ações fundamentadas neste pecado original – é um conflito de visão de mundo básica, de religião. De identidade. É um conflito de estilo "Haidt". Como todos sabem, atacar o sustento de alguém, seu legado – e sua religião?

"Então, o vitriol está em retrospectiva auto-explicativa. Uma questão é se ou como desentrar as estatísticas dele. Isso exigiria uma exploração de alternativas, a questão da ciência como forma de saber, e assim por diante. As apostas são obviamente altas ".

LINHAS DE FUNDO

1. Duvido que a presença on-line de reformadores científicos seja dissuadida pelo ensaio de Fiske.

2. É, na minha opinião, bom para a ciência psicológica que não serão.

3. Fiske é, sem dúvida, certo de que algum discurso on-line entre cientistas é incivil. Incivilidade é ruim. Concordo completamente que o discurso civil deve ser encorajado e o discurso incivil se desencoraja.

4. O discurso incivil entre os acadêmicos é anterior à nova mídia on-line, e ocorre rotineiramente nos pontos de venda que seu ensaio recomendou (por exemplo, revisão pelos pares).

5. Muitas das respostas ao ensaio de Fiske demonstram que problemas e disfunções na condução da ciência psicológica emergiram do antigo sistema, e provavelmente não serão resolvidos sem uma reforma importante desse sistema.

6. Mas, no panteão dos problemas que envolvem a ciência psicológica, a incivilidade é a menor das suas preocupações.

Muitos acreditam que a psicologia científica está tão cheia de práticas problemáticas, que tornou-se difícil ou impossível saber o que é verdade e o que não é. É o antigo sistema que produziu esta crise. O esforço de reforma científica não tem todas as respostas – mas pelo menos está procurando.

As tentativas de suprimir essa crítica são profundamente disfuncionais.