Nove anos atrás, me pediram para começar a escrever um blog para o Psychology Today. Eu fiz isso por cerca de seis meses enquanto eu era pai de uma estada com minha filha. Então, voltei a trabalhar em tempo integral e os blogs não pareciam importantes. Eu ocasionalmente escrevia alguma coisa, mas no aniversário de um ano eu desisti. Algumas semanas atrás, pediram para eu reiniciar o blog e eu relutantemente aceitei.
A relutância tem a ver com 1) Eu parei de todas as mídias sociais, então duvido que alguém leia isto – eu certamente não anunciá-lo-ei. E 2) Quando iniciei o blog, a Psychology Today disse que me compensariam com base no número de leitores. Eu tive alguns leitores, e corri os números, e percebi que eu devia cerca de 70 centavos. Eu ainda estou esperando meu cheque.
Eu superei o # 1 porque algumas das coisas que eu quero dizer neste (novo) blog são coisas que eu só quero pensar e escrever, então não importa se alguém lê, e eu escrevi # 2 apenas para que eu possa referenciar o garoto em Better off Dead, que quer seus dois dólares.
Então estou de volta.
Uma das coisas que aconteceu entre então e agora é que eu me tornei um editor. Fui nomeado Editor Associado para Psicologia do Desenvolvimento , que é uma posição que ocupei nos últimos 8 anos (estou oficialmente concluído no final deste ano civil, mas continuarei lidando com quaisquer trabalhos pendentes que tenham recebido P & R em 2019 ). Eu fui editor associado de Frontiers in Developmental Psychology por 3 anos, e fui membro do conselho editorial do American Psychologist por alguns anos. Eu também editei um livro sobre desenvolvimento cognitivo em museus infantis (com minha maravilhosa co-editora, Jennifer Jipson) e estou escrevendo um novo livro agora.
Aqui está o que eu aprendi, a edição é difícil. Você é um porteiro. Você gasta muito tempo trabalhando na edição de responsabilidades, geralmente por pouca recompensa. Certa vez calculei o salário que recebi da APA para minhas tarefas de edição com base em uma estimativa do número de horas em que trabalhei; foi em torno do salário mínimo. Você deixa muitas pessoas loucas e raramente as pessoas ficam felizes – mesmo quando os trabalhos são aceitos, os autores geralmente não gostam de você, porque você os faz revisar seus envios originais, às vezes mais de uma vez. E nunca termina – os manuscritos continuam chegando. Não importa quantas cartas de ação eu escreva, parece que novos manuscritos chegam no mesmo ritmo. Você sempre sente que há um peso pressionando você para lidar com o próximo manuscrito – você é parcialmente responsável pelas carreiras dos outros.
Mas eu não estou aqui para reclamar (bem, eu sou, mas não sobre isso). O que eu realmente quero falar é sobre a crise de replicação. Todos nós sabemos o que é isso – muitos estudos psicológicos publicados não se reproduzem. Existem inúmeros projetos que tentam replicar os estudos. Alguns são mais íntegros que outros, e alguns fazem mais sentido que outros. Alguns se preocupam apenas com o que se replica (e, portanto, deve ser considerado “ciência”), enquanto outros se preocupam com o motivo pelo qual um determinado estudo replica ou não (o que, francamente, é muito mais científico por natureza). Eu tenho muitos pensamentos sobre isso, o que eu vou fazer em outros posts, mas hoje eu quero falar sobre algo que eu sinto que contribui para o processo, mas não é mencionado com frequência.
A psicologia – qualquer ciência, na verdade – é um campo pequeno. Nós todos nos conhecemos. E somos principalmente amigos. Na psicologia do desenvolvimento, há pessoas que eu gosto e há pessoas que eu não conheço bem, mas não há muitas pessoas que eu não gosto muito (a não ser você, segundo revisor do primeiro trabalho que já submeti a uma revista em 1997). , que disse que o papel era tão ruim que eu não deveria ser um cientista – eu sei quem você é e eu não gosto de você). Mas a revisão deve ser neutra. Quando envio um manuscrito para revisão, estou me esforçando muito para garantir que as revisões sejam imparciais – que não haja relações pessoais entre os autores e os revisores e que não haja conflitos de interesse que impeçam a objetividade.
Agências de financiamento (pelo menos nos EUA e em vários outros países) exigem que você pense se você tem um conflito de interesses com o candidato. Você não deve analisar uma proposta de concessão de alguém com quem você tem um conflito de interesses. É tendencioso. Você não deve rever a concessão de seu ex-aluno de pós-graduação ou seu ex-mentor, ou pessoas que foram co-autoras no passado recente – você gosta dessas pessoas, e pode olhar para o seu trabalho favoravelmente. Você não deve rever a concessão de seus amigos próximos, ou amantes (ou ex-amantes), ou parceiros (ou ex-parceiros), ou colaboradores. Um oficial do programa na NSF uma vez descreveu isso para mim como o “teste do pijama” – basicamente, se você viu a pessoa de pijama, não deveria rever a proposta. Além do óbvio, uma maneira de pensar sobre isso é assim: suponha que você acabe em uma cidade estranha – se você puder ligar para a pessoa e conseguir ficar na casa deles, você não deveria rever sua concessão.
Então, por que isso importa. O guia de estilo da APA fala sobre isso detalhadamente: “Em geral, não se deve revisar um manuscrito de um colega ou colaborador, um amigo pessoal próximo ou um aluno recente. Normalmente, o editor de ações não selecionará indivíduos para serem revisores em que isso é óbvio conflito de interesse pode existir. ”(Pp. 17-18) Mas eu não sei de uma revista que exige que os autores revelem seus conflitos de interesse. E pior, muitos periódicos encorajam você a sugerir revisores em potencial. O que impede alguém de jogar o sistema aqui?
Como editor de ação, tenho visto frequentemente autores pedirem aos colaboradores que revisem seus manuscritos. Eu tenho visto autores (geralmente professores assistentes recentes) pedirem que seus conselheiros revisem seu manuscrito. Eu tenho visto autores (geralmente Tenured faculdade) pedir para seus alunos reverem seus manuscritos. Geralmente isso é fácil de pegar, e você simplesmente nega o pedido. Mas às vezes não é. Às vezes, um editor de ação não sabe, e isso escapa.
Aqui está o pior caso que me deparei: me pediram para editar um artigo escrito por um aluno de pós-graduação e mentor. O mentor era um membro do corpo docente com grande experiência em publicação. O manuscrito estava perto o suficiente na minha área, e eu pude avaliá-lo, mas longe o suficiente da minha área que eu não conhecia muitos dos pesquisadores daquele subcampo. Eu perguntei 5-6 pessoas. Alguns eram da lista de pedidos dos autores (que era razoavelmente longa), alguns foram gerados por mim. Depois de uma semana enviando pedidos, não consegui ninguém.
Então, voltei, li o manuscrito novamente, perguntei a mais algumas pessoas. Mais uma vez, alguns eram da lista de pedidos dos autores e alguns foram gerados por mim. A pessoa que eu perguntei na lista de pedidos dos autores era um pós-doc. Eu não conhecia o pós-doutorado, mas eu já havia perguntado ao mentor do pós-doutorado (que havia dito não), então imaginei que estaria tudo bem. O pós-doc disse que sim (como fez algumas outras pessoas, então eu agora tinha muitos revisores).
Eu esperei e os comentários chegaram. Duas rejeições, uma revisão e reapresentação pessimistas, e uma aceitação. A aceitação foi do pós-doc. Minha opinião era bastante negativa, então comecei a escrever uma carta de rejeição. Mas a revisão brilhante realmente ficou comigo – estava faltando alguma coisa? Essa pessoa sabia algo que os outros não sabiam? Essa pessoa publicou mais nessa área? Então, olhei para o CV do pós-doc.
OK, tempo completo de divulgação. Eu deveria ter feito isso antes de perguntar ao pós-doutorado. Eu deveria ter lido o CV com cuidado. Esse é o meu erro.
Acontece que o pós-doutorado foi um graduado recente do mesmo programa de pós-graduação. E depois de escavar um pouco, descobri que o pós-doutorado e o estudante de pós-graduação eram amigos íntimos. O autor sênior no papel estava no Ph.D. comitê do pós-doutorado.
Eu escrevi uma carta de rejeição. O autor sênior então apelou. Apelos de rejeição acontecem na publicação – isso aconteceu comigo uma vez a cada 18 meses ou mais – alguém que foi rejeitado pediria a oportunidade de reenviar. Geralmente fico feliz em dizer sim a esses pedidos. Essa foi a primeira vez que eu recusei o apelo.
Existem duas correções óbvias aqui. A primeira é não permitir que os autores sugiram revisores. A segunda é que todos os editores de ação ignorem essas sugestões. O primeiro pode ser uma mudança muito grande para as pessoas; o segundo parece dúbio. Então, aqui está minha correção: Se você é um autor de manuscrito e submete esse manuscrito para publicação, você deve declarar que não tem conflito de interesse com nenhum revisor que você recomende. Além disso, a definição de “conflito de interesse” deve ser articulada pela revista. Eu pessoalmente gosto das definições da NSF, mas reconheço que isso é uma questão de gosto. Revistas (na verdade, editoras) podem instituir essa correção com pouco custo.
By the way, por favor, não pense que este é um problema que pode ser resolvido simplesmente por acesso aberto. Revistas de acesso aberto têm exatamente o mesmo problema. Os editores geralmente não conhecem os conflitos de interesse dos revisores, e os revisores podem saber quem é o autor para identificar o conflito. Dito isso, por mais que não tenha gostado de minhas experiências com publicação em acesso aberto (sobre as quais escreverei em entradas subseqüentes, eu prometo), a única coisa que gostei da minha experiência como editor da Frontiers foi que os revisores e editores obrigado a assinar seu nome. É uma boa verificação no sistema por vários motivos.
Talvez mais periódicos devam exigir isso. Dessa forma, mesmo que o editor de ações não consiga detectar um conflito de interesses durante o estado de revisão, ele poderá ser detectado depois que o manuscrito for aceito e uma anotação feita. No maravilhoso livro de Métodos de Pesquisa em Desenvolvimento de Scott Miller, ele distingue entre viés de experimentador “não intencional” e “intencional” – casos em que experimentos podem afetar intencionalmente ou não intencionalmente os resultados de seus experimentos (ver p. 106 da edição de 2018).
O que estou sugerindo aqui seria uma maneira de identificar vieses de publicação não intencionais, o que pode contribuir para a crise de replicação. Autores recomendam revisores que gostem deles, e não que irão arbitrar sua ciência objetivamente. Embora eu não tenha nenhuma evidência de que alguém tenha agido de maneira antiética em minha história, fico imaginando com que frequência os autores sugerem pessoas que podem não ser tão objetivas quanto possível.
Aponto tudo isso para não dizer que a ciência deveria ser abandonada ou que a crise de replicação aponta para um problema maior com a psicologia como ciência. Em vez disso, aponto para indicar que podemos fazer melhor. Mas é disso que trata o método científico – descobrir as maneiras pelas quais estamos errados para nos aproximarmos do que é certo. Se a ética é parte da ciência, ter cientistas que pensam sobre ética pode ajudar com sua ciência.
