Entendendo e Realizando Avaliação por Pares

A " revisão por pares " envolve cientistas que lêem o trabalho de outros cientistas e decidem se é digno de ser publicado. Eu tinha um mentor que costumava dizer que a ciência não era verdadeiramente ciência até que fosse disseminada (publicada ou pelo menos apresentada em conferências científicas). Até então, tudo o que mexer no laboratório não é mais do que um hobby, porque os esforços não contribuíram para o nosso conhecimento compartilhado de conhecimento científico.

O processo de revisão pelos pares é um componente essencial disso, porque não apenas tudo conta como ciência. Infelizmente, há uma certa quantidade de "cientificismo", entre os acadêmicos, bem como as críticas da ciência, que vestiram sua linguagem com termos científicos, mas não são realmente praticantes da ciência. É apenas ciência se há uma tentativa sistemática de contribuir significativamente para o conhecimento científico.

Na prática, a forma como é determinado se esta barra foi cumprida é enviando relatórios científicos a revisores independentes para comentários e críticas. Eles darão sugestões sobre como melhorar a apresentação ou esclarecer detalhes sobre o método científico. É raro ver um artigo em uma revista científica que não passou por este processo de revisão e revisão.

Embora esta seja uma parte essencial do processo científico, surpreendentemente é que os cientistas freqüentemente recebem treinamento relativamente pequeno. Muitos estudantes de pós-graduação, universitários ou pessoas que trabalham em instituições de recursos baixos não tiveram a oportunidade de obter boas instruções sobre como realizar uma revisão científica. Como editor de um periódico científico, muitas vezes me pedei orientações para os revisores e compartilhe algumas sugestões abaixo.

O processo de revisão pelos pares baseia-se em revisões pontuais e rigorosas. O campo da psicologia é afortunado porque a maioria dos pesquisadores se dedica a proporcionar revisores equilibrados e construtivos que identificem adequadamente os principais pontos fortes e fracos de um manuscrito. Fornecer análises a outros estudiosos é uma importante via para influenciar o campo e maximizar a qualidade da pesquisa de violência.

O resultado é um conjunto de evidências que provavelmente é mais forte de muitas maneiras do que às vezes é retratada na mídia ou por políticos. Não é fácil publicar um estudo científico, especialmente em um jornal de topo.

Normas gerais para o processo de revisão

1) É importante manter um tom construtivo e identificar pontos fortes e fracos. Independentemente de o manuscrito ser publicado em um periódico específico, o objetivo final do processo de revisão pelos pares é melhorar o nível geral de ciência no campo. Felizmente, mesmo quando os manuscritos são rejeitados, os autores encontrarão os comentários úteis para seu trabalho futuro. Ao longo dos anos, recebi muitos comentários apreensivos dos autores, até as cartas de rejeição, sobre conselhos úteis para continuar suas pesquisas.

Se você está lendo um artigo que parece ter inúmeros problemas, lembre-se de que muitos desses podem ser os primeiros esforços de estudantes ou outros estudiosos júnior. Nós não queremos assustá-los fora do campo com críticas desnecessariamente hostis, queremos orientar as pessoas para alcançar os mais altos padrões científicos.

2) Existem geralmente inúmeras escolhas metodológicas e estatísticas aceitáveis. Um dos primeiros conselhos que eu dou novos revisores ou novos editores é perceber que outros cientistas não precisam ter feito as escolhas que você fez. Há quase sempre várias opções razoáveis ​​para medidas, estatísticas, citações para outros trabalhos. Uma série de abordagens beneficia o campo.

Os elementos de uma revisão

Comentários narrativos. A parte principal da revisão é um comentário narrativo detalhado. Se a sua única experiência com as avaliações é obter um papel de volta em uma faculdade ou aula do ensino médio, você provavelmente ficará surpreso com a forma detalhada dos comentários. Normalmente, há comentários de 2 ou 3 revisores anônimos mais o editor. No geral, é comum que estes se juntem a várias páginas digitadas de feedback. Eu recebi comentários de volta para vários dos meus papéis que adicionam até 9 ou 10 páginas de feedback de um único espaço.

A análise individual típica varia de alguns parágrafos para algumas páginas da narrativa, que inclui feedback específico para os autores. É comum que as revisões sejam organizadas na ordem do manuscrito. Alguns avaliadores preferem organizar suas revisões sobre o que consideram ser o mais importante para comentários menos importantes. Qualquer organização é aceitável. Os autores geralmente acham útil se os comentários são numerados, então eles são mais facilmente mencionados em sua carta de apresentação explicando como eles revisaram o manuscrito.

Pode parecer bom escrever uma revisão muito curta e completamente positiva, mas, a longo prazo, isso não é apenas prejudicial para a ciência, eles também não ajudam os cientistas a melhorar. Você não diria a alguém que eles poderiam ganhar Wimbledon, que mal conseguem balançar uma raquete de tênis, e não é bom sugerir que um estudo seja ótimo se for significativamente falho.

Os comentários narrativos são compartilhados com os autores.

Recomendação geral . Os nomes para diferentes recomendações de publicação variam de diário a revista, mas geralmente as seguintes categorias estão incluídas de alguma forma. Essas recomendações NÃO PODEM ser vistas pelos autores, apenas pelo editor:

Aceite como está : geralmente é reservado para manuscritos que passaram por uma ou mais revisões. É importante que os manuscritos sejam tão fortes quanto possível, tanto em termos de ciência como de clareza de apresentação. Praticamente todos os manuscritos têm espaço para melhorias. "Aceitar como é" é uma decisão inicial extremamente rara.

Revisão Menor : revisão menor e específica refere-se a edições menos extensas, como esclarecimentos ou elaboração de implicações.

Perguntas sobre a adequação da lógica, a adequação das medidas ou a solidez da abordagem estatística raramente são menores.

"Menor" também geralmente implica que há apenas alguns problemas restantes a serem abordados. A sua análise será compilada com outras pessoas que possam aumentar pontos diferentes, por isso, se você identificou muitos pontos para abordar (certamente 10 ou mais), é improvável que caia na categoria "revisão menor".

Revisão principal : esta recomendação é apropriada para manuscritos que têm potencial para fazer uma contribuição sólida, mas exigem revisões mais substantivas para avaliar completamente a ciência. As recomendações para re-fazer análises estatísticas geralmente se enquadram nesta categoria, uma vez que uma reanalisação dos dados pode produzir os resultados em uma luz muito diferente. Isso também é apropriado para documentos que fornecem descrições incompletas de uma ou mais medidas, se a adequação da operacionalização não puder ser determinada. Nenhuma dessas questões, no entanto, provavelmente mudará drasticamente os resultados ou a interpretação dos dados, e não há indicação de um problema insuperável importante (como um problema com o procedimento que não pode ser "corrigido").

Rejeitar : esta opção é para manuscritos que têm potencial limitado para contribuir com a literatura. Isso pode ser devido a problemas de mensuração ou amostragem insuperáveis ​​(os problemas estatísticos são potencialmente mais "corrigíveis"). Isso também pode ser devido ao escopo limitado do estudo, especialmente se isso parecer indicar uma abordagem fragmentada à publicação (por exemplo, enfocando apenas 2 ou 3 variáveis ​​de um conjunto de dados maior que poderia fornecer uma análise mais abrangente).

Embora, claro, nenhum autor espera receber uma decisão de "rejeição", a rejeição serve vários propósitos importantes. Principalmente, essas decisões ajudam a manter altos padrões de rigor científico. Esperemos que as decisões de rejeição também ajudem os pesquisadores a projetar estudos futuros ou a dar-lhes idéias sobre como fortalecer sua submissão para outra saída.

Preparando uma Revisão

Há um número quase infinito de questões que podem ser levantadas em uma revisão, mas algumas das preocupações mais comumente mencionadas envolvem o seguinte:

1) Os documentos empíricos precisam estabelecer como o manuscrito atual se baseia de forma significativa no trabalho existente (incluindo o trabalho mais recente) e especialmente como o manuscrito atual contribuirá de novo para o campo. Além disso, não é necessário, nem há espaço em um manuscrito, para fornecer revisões detalhadas da literatura em um artigo que apresenta novos dados.

2) A introdução precisa fornecer um raciocínio específico, idealmente baseado em teoria, para incluir as principais variáveis ​​em estudo.

3) As revisões de literatura e os trabalhos teóricos também devem indicar claramente como a síntese avançará no campo.

4) Em relação à metodologia, uma das questões mais importantes é focar a adequação da operacionalização das construções. Medição de alta qualidade é essencial. Nenhuma quantidade de análises estatísticas sofisticadas pode compensar medidas problemáticas ou procedimentos de amostragem defeituosos.

5) As estatísticas devem ser claramente justificadas e explicadas, e apropriadas para testar as hipóteses.

6) O objetivo das discussões não é simplesmente re-cap resultados, mas colocar as descobertas no contexto da literatura anterior, reconhecer as limitações do estudo atual e sugerir implicações específicas para futuras pesquisas e aplicações para prevenção, intervenção ou política .

Aprender sobre a revisão por pares e como fazer boas críticas é ótimo para se tornar um cientista melhor e também um consumidor melhor de informações científicas.

Nota: Isto é adaptado de um guia de revisão anterior que preparei para revisores de Psicologia da Violência.