Eu ressalto em The Folly of Fools que a ciência é naturalmente auto-corretiva – requer experiências, coleta de dados e modos de análise para ser totalmente explícito, melhor ser replicado e, portanto, verificado ou falsificado -, mas onde os seres humanos ou o comportamento social estão envolvidos , a tentação de um progresso rápido e ilegítimo é acelerada pela aparente importância dos resultados e pela dificuldade de verificar sua veracidade. Recentemente, casos de fraude deliberada foram descobertos no estudo da cognição dos primatas (Harvard), os benefícios para a saúde do resveratrol (U Conn) e numerosos achados de psicologia social (Tilburg U, Países Baixos). Vou dedicar alguns blogs posteriores a outros aspectos da fraude na ciência, mas começarei aqui com uma análise muito inteligente da fraude estatística e da falta de compartilhamento de dados em artigos de psicologia publicados nos Estados Unidos. Este trabalho e relacionado sugerem que o problema da fraude na ciência é muito mais amplo do que os poucos casos de fraude deliberada e de grande escala sugerem.
Wicherts e co-autores usaram uma característica pouco notável de todos os artigos publicados nas mais de 50 revistas da American Psychological Association (APA) – os autores desses documentos comprometem-se por contrato para compartilhar seus dados brutos com qualquer um que o solicite , para tentar a replicação. No entanto, trabalhos anteriores desse mesmo grupo mostraram que, para 141 artigos em quatro revistas APA, 73% dos cientistas não compartilharam dados quando solicitado. Uma vez que, como eles apontam, os erros estatísticos são surpreendentemente comuns e as contas de resultados estatísticos às vezes imprecisas e os cientistas muitas vezes motivados a tomar decisões durante a análise estatística que são tendenciosas em sua própria direção preferida, eles estavam naturalmente curiosos para ver se havia qualquer conexão entre falha em relatar dados e evidências de viés estatístico.
Aqui é onde eles obtiveram um resultado dramático. Eles limitaram suas pesquisas a duas das quatro revistas cujos cientistas eram ligeiramente mais propensos a compartilhar dados e a maioria dos quais eram semelhantes em ter um projeto experimental. Isso lhes deu 49 papéis. Novamente, a maioria não compartilhou dados, em vez de se comportar como uma paródia de acadêmicos. Dos perguntados, 27 por cento não responderam ao pedido (ou dois lembretes de seguimento) – primeiro e melhor linha de autodefesa, silêncio completo – 25% prometeu compartilhar dados, mas não o fizeram após seis anos e 6 por cento alegaram que os dados estavam perdidos ou não havia tempo para escrever um livro de códigos. Em suma, 67 por cento dos cientistas (supostos) evitavam o primeiro requisito da ciência, tudo o mais explícito e disponível para inspeção por outros.
Havia algum viés em toda essa não conformidade? Claro que sim. As pessoas cujos resultados estavam mais próximos do ponto de corte fatal de p = 0,05 foram menos propensas a compartilhar seus dados. De mãos dadas, eles eram mais propensos a cometer erros estatísticos elementares em seu favor. Por exemplo, para todos os sete artigos onde as estatísticas calculadas corretamente tornaram os resultados não significativos (10 erros no total), nenhum dos autores compartilhou os dados. Isso é consistente com dados anteriores que mostram que levou muito mais tempo para que os autores respondessem a consultas quando a inconsistência em seus resultados relatados afetou o significado dos resultados (onde respostas sem compartilhamento de dados!). De um total de 1148 testes estatísticos nos 49 artigos, 4 por cento estavam incorretos com base apenas nas estatísticas de resumo dos cientistas e 96 por cento desses erros estavam em favor dos cientistas. Os autores diriam que seus resultados mereceram um "teste de uma união" (mais fácil de alcançar), mas eles já haviam montado um teste de uma unha, de modo que, ao diminuí-lo, eles criaram um "teste de meio tailed". Ou eles executaram um teste de uma só cauda sem mencionar isso mesmo que um teste de duas colunas fosse o apropriado. E assim por diante. O trabalho separado mostra que apenas um terço dos psicólogos afirmam ter arquivado seus dados – o resto faz a reanálise impossível quase no início! (Tenho 44 anos de dados de arquivo "arquivados" – seja meu convidado). É provável que práticas semelhantes estejam entrelaçadas com a relutância generalizada em compartilhar dados em outras "ciências" da sociologia à medicina. É claro que esta malversação estatística é presumivelmente apenas a ponta do iceberg, uma vez que, nos dados e análises não revelados, espera-se ainda mais erros.
A profundidade do problema foi maravilhosamente revelada em um artigo recente de Simmons e co-autores. A mensagem take home está em (parte) do título: "A flexibilidade não divulgada na coleta e análise de dados permite apresentar qualquer coisa como significativa". E eles significam qualquer coisa. Em um estudo falso, eles corriam em assuntos reais, eles conseguiram provar que ouvir um tipo de música mudou a data de nascimento em relação a ouvir outro. Como eles conseguiram isso surpreendente – e muito importante! – Resto? Ao introduzir a idade do pai de cada assunto como uma variável falsa, destinada a "controlar a variação na idade basal entre os participantes". Provavelmente, o truque mais comum e eficaz é continuar a reunir dados até que um resultado seja significativo e depois pare. Os autores têm um grande número de "graus de liberdade" em relação à análise e apresentação de dados, que os graus dão ampla oportunidade – não "massagem" seus dados, como os cientistas gostam de colocar, mas para criar a verdade fora da aleatoriedade.
Então, há boas notícias e más notícias. O ruim é que há uma ampla latitude para enganar estatisticamente significante e muita motivação para produzir e, em seguida, escondê-lo. Isso pode operar em diferentes graus de consciência. Ao mesmo tempo, a ciência é auto-corretiva, os estudos citados acima são bons exemplos. Ter uma ciência da verdade – especialmente no que diz respeito à vida social humana – requer uma ciência das mentiras, incluindo novas metodologias para expô-las.
Wicherts, JM, Bakker, M e Mlenar, D. 2011. A vontade de compartilhar dados de pesquisa é divulgada à força da evidência e à qualidade do relatório de resultados estatísticos. PLoS One: 6: 1-7.
Simmons, JP, Nelson, LD e Simonsohn, U. 2011. Psicologia falsa-positiva: flexibilidade não divulgada na coleta e análise de dados permite apresentar qualquer coisa como significativa. Ciência Psicológica 22: 1359-1366.
