Psicologia da Integridade Científica: Syllabus Graduado

A PSICOLOGIA DA INTEGRIDADE CIENTÍFICA: O SÍMBOLO DE GRADUAÇÃO

Leituras Requeridas

NOTA: Todas as leituras abaixo são links, portanto, se você estiver interessado, você pode ler a maioria dos artigos no original. Ocasionalmente, devido a problemas de direitos autorais de revistas, você só pode ver o resumo; ou, você pode precisar de uma assinatura para um portal de notícias mainstream. Na maioria dos casos, no entanto, se você é afiliado a uma faculdade, você pode acessar a fonte através do seu sistema de biblioteca.

PARTE I: INTRODUÇÃO

• Cães, seres humanos e o vínculo social forte e mediado pela oxitocina
• Sonia Lea: sexo, amor e honestidade
• Você está vivendo bem ?: 10 perguntas que você precisa responder
• "Magic Mushrooms" pode ser mais mágico do que primeiro pensamento
• Limpando o nevoeiro: a terapia craniosacral visa diminuir a demência

Qual é o problema?

Fonte: Magician Will Fern **

Freedman (novembro de 2010). Mentiras, mentiras e ciência médica. O Atlantico.

Neuroskeptic (2012). Os nove círculos do inferno científico.

• A Dieta do sono eletrônico
• O efeito Ripley: Intrusos alienígenas no ventre
• Star Wars Psychology: os problemas com o diagnóstico de Kylo Ren
• Assistindo TV: Por que nós adoramos Binge
• O Princípio do Novo Prazo

Lehrer, J. (13 de dezembro de 2010). A verdade desaparece. O Nova-iorquino.

O que é a Ciência Suposto ser?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

PARTE II: REPLICAÇÃO E SEUS DISCONTOS

A "ciência psicológica" é irrepreensível?

OSF (2015). Estimando a reprodutibilidade da ciência psicológica. Science, 349, doi: 10.1126 / science.aac4716.

Jussim (2012). Unicórnios da psicologia social. Psych Today .

Jussim (2012). Unicórnios psicológicos sociais: as repetições falhadas dissipam os mitos científicos? Psych Today.

Henrich et al (2010). As pessoas mais estranhas do mundo? Behavioral and Brain Sciences, 33, 61-135.

Funder (2012). A dificuldade perigosa do não-replicador. Finanças.

Dreber et al (2015). Usando mercados de previsão para estimar a reprodutibilidade da pesquisa científica. PNAS, 112, 15343-15347.

Somos Sociopatas, Incompetentes ou Ambos?

Simmons et al (2011). Falso psicologia positiva: flexibilidade não divulgada na coleta e análise de dados permite apresentar qualquer coisa como significativa. P sychological Science, 22, 1359-1366.

Fonte: Lee Jussim. Você está me chamando de sociopata?

Johns et al (2012). Medindo a prevalência de práticas de pesquisa questionáveis ​​com incentivos para a narrativa da verdade. Ciências psicológicas, 23 , 524-532.

Schimmack, U. (2012). O efeito irônico de resultados significativos na credibilidade de vários artigos de estudo. Métodos psicológicos, 17, 551-566.

Vul et al (2009). Correlações extremamente elevadas nos estudos de IMMRI sobre emoção, personalidade e cognição social. Perspectivas sobre Ciências Psicológicas, 4 , 274-290.

Wicherts et al (2011). A disponibilidade para fornecer dados está relacionada à força da evidência e à qualidade dos resultados estatísticos relatados. PLoS One, 6 (11 ): e26828. doi: 10.1371 / journal.pone.0026828

Espere: eu sou um cientista, tudo é apenas bom

Gilbert et al (2016). Comentário sobre "Estimar a reprodutibilidade da ciência psicológica". Science, 351, 1037.

Fonte: Lee Jussim. Só porque estou no fundo da neve, a 11.500 pés, em uma montanha remota do Colorado, isso não significa que tudo não está bem.

Fiedler, K., & Schwartz, N. (2015). Foram revisadas práticas questionáveis ​​de pesquisa. Ciências sociais psicológicas e de personalidade, 7, 45-52.

Entre Pânico e Complacência …

Jussim (2016). A maioria publica resultados de psicologia social falsos? Psych Today.

Inzlicht (2016). Reconhecendo com o passado. Melhorando.

Simonsohn (2016). Avaliando as replicações: 40% cheio não está vazio de 60%. Data Colada.

Parte III: ALÉM DA REPLICAÇÃO

A ciência é auto-correta, certo?

Ioannidis, J. (2012). Por que a ciência não é necessariamente auto-corretiva. Perspectivas sobre Ciências Psicológicas, 7, 645-654.

Jussim, L. (2015). Auto-correção científica lenta e inexistente em psicologia. Psych Today.

Jussim (2016). É ofensivo declarar uma afirmação psicológica errada? Psych Today

Orenstein (25 de abril de 2013). Nossa guerra de bem-estar no câncer de mama. NYTimes.

NYTimes (2013). A cirurgia de joelho comum faz muito pouco para alguns

Loeb, A. (2014). Benefícios da diversidade. Nature Physics, 617-617.

O'Boyle et al (2014). O efeito da crisálida: quão feios os resultados iniciais metamorfoseiam em belos artigos. Journal of Management, 19 .

Outsiders por design, podcast Freakonomics.

As estatísticas mais baixas são rigorosas, claras e objetivas, certo?

Gelman & Loken (2014). A crise estatística na ciência. Cientista americano.

Fonte: Lee Jussim. Isso não é um foguete, é uma cafeteira de imprensa francesa. O design e a presença em um deserto de Utah são extraordinariamente estatisticamente improváveis.

Fraley & Vazire (2014). O fator N-Pacto: Avaliando a qualidade das revistas empíricas em relação ao tamanho da amostra e ao poder estatístico. PLoS One, 9: e109019. doi: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Método científico: erros estatísticos. Natureza , 506 , 150-152.

Westfall et al (2014). Poder estatístico e design ótimo em experimentos em que amostras de participantes respondem a amostras de estímulos. Journal of Experimental Psychology: General, 143, 2020-2045.

Como saber o fato científico da ficção: P-Curving e outros métodos

Masciampo & Lalande (2012). Uma prevalência peculiar de valores p abaixo de 0,05. Quarterly Journal of Experimental Psychology, 65 , 2271-2279.

Simonsohn et al (2014). Curva P: uma chave para a gaveta de arquivos. Journal of Experimental Psychology: General, 143, 534-547.

Simonsohn et al (2014). Curva P e tamanho do efeito: Corrigindo o viés de publicação usando apenas resultados significativos. Perspectivas sobre Ciências Psicológicas, 9, 666-681.

Franco et al (2014). Quota de publicação nas ciências sociais: Desbloquear a gaveta do arquivo. Science, 345, 1502-1505.

Simmons et al (2012). Uma solução de 21 palavras. Diálogos.

Bakker et al (2012). As regras do jogo chamado ciência psicológica. Perspectivas sobre Ciências Psicológicas, 7 , 543-554.

O problema da interpretação: conclusões ruins baseadas em bons dados

Fonte: Shihong Khor

Vazire (2014). O simples e o muddleheaded.   Às vezes eu estou errado.

Abramowitz et ai (1975). Publicação ou política: viés do Árbitro na revisão do manuscrito. Journal of Applied Social Psychology, 5, 187-200.

Eagly, A. (1995). A ciência ea política de comparar homens e mulheres. Psicólogo americano, 50, 145-158.

Inbar & Lammers (2012). Diversidade política na psicologia social e de personalidade. Perspectivas sobre Ciências Psicológicas, 7, 496-503.

Jussim (na imprensa). Précis da percepção social e da realidade social: por que a precisão domina o preconceito ea profecia auto-realizável. Ciências comportamentais e cerebrais.

Jussim, Crawford, Stevens e Anglin (2016). A política da ciência psicológica social: Distorções na psicologia social das relações intergrupais. Em P. Valdesolo e J. Graham (eds), Psicologia Social da Polarização Política.

Steele & Aronson (1995). Estereótipo de ameaça e o desempenho de afro-americanos. Jornal de Personalidade e Psicologia Social, 69, 797-811. – apresentado como um estudo de caso sobre como interpretar mal os dados

Jussim (2016). O que explica as lacunas demográficas? Psych Today.

—–

Esta entrada, como a anterior, foi inspirada nesta publicação no blog de Sanjay Srinivasta. Sanjay esteve na vanguarda da melhoria da ciência psicológica, e sua postagem foi um falso programa para um curso intitulado Tudo é F **** d: The Syllabus. Sanjay define práticas científicas como f ***** d quando apresentam "… desafios conceituais difíceis para os quais as soluções implementáveis ​​e do mundo real para os cientistas que trabalham não estão disponíveis ou são rotineiramente ignoradas na prática".

Semana após semana, o curso falso de Sanjay apresenta leituras argumentando que algum aspecto do que consideramos como "bom" ciência em psicologia é f ***** d. Isso inclui experiências, revisões, estatísticas, meta-análise, replicação e muito mais.

O que é, eu tenho ensinado dois cursos reais em basicamente o mesmo tema desde 2014. O apresentado aqui é o meu curso de pós-graduação. Minha postagem anterior, do meu currículo de graduação, é mais uma ótima visão geral para o leitor leigo interessado com uma educação universitária básica ou que é amplamente lida e razoavelmente numerado (você na verdade não precisa de uma educação universitária para qualquer um).

No entanto, o curso de graduação tem algumas fontes gerais, mas muitas leituras técnicas. Nada sagrado sobre eles, mas eles são os que eu atribuí. Eu ensinei este curso Spring 2015, e, desde então, descobri todo tipo de fontes interessantes (um balde inteiro no site de Sanjay). Muitos provavelmente serão incorporados na próxima vez que eu ensinar o curso.

Visão geral

Esta classe de métodos de pós-graduação se concentrará nas mudanças em rápida evolução na compreensão sobre o que constitui boas práticas na condução da pesquisa científica. Por "pesquisa científica", quero dizer todos os aspectos das práticas envolvidas na produção do conhecimento científico.

Uso o termo "integridade científica" para se referir a duas idéias relacionadas, mas separadas: 1. A honestidade pessoal de cientistas individuais na condução e no relatório de suas pesquisas; e 2. Desenvolver corporações robustas de conclusões que são válidas e intactas. Obviamente, práticas desonestas ou enganosas podem prejudicar a ciência. Considerando que a desonestidade pessoal pode explicar problemas como a fraude de dados, tais casos são extremamente raros e não o foco deste curso.

É o segundo significado do termo "integridade científica" que será o foco deste curso.

Mesmo quando os pesquisadores não sofrem de falta de integridade pessoal, as práticas convencionais comuns em seu campo podem produzir achados que são enganosos ou inválidos. Neste sentido, a integridade científica corresponde de perto à compreensão convencional do termo "validade", embora o foco deste curso difira da revisão tradicional de tipos de validade (face, interna, externa, ecológica, etc. – tais formas, presumivelmente, são coberto pelo nosso curso de métodos regulares)

A ciência é sobre "ficar certo" (SPSP Task Force, ver as leituras da primeira semana). Trata-se de gerar alegações e conclusões verdadeiras. Isso inclui: 1. A geração de novos conhecimentos válidos; e 2. Desenvolvimento das ferramentas necessárias para determinar, a partir de resultados de pesquisa existentes, quais conclusões são verdadeiras e quais não são.

Só porque alguma afirmação é publicada não é "verdadeira". Uma vez que isso é reconhecido, uma questão natural torna-se: "Como distinguir o que é verdadeiro do que não é verdade?" Esse é um trabalho para novos métodos e estatísticas, novos usa métodos e estatísticas antigos e ferramentas conceituais para determinar como identificar erros sistemáticos e tendências dentro de uma literatura científica.

Uma tangente breve mas importante

Muitos psicólogos sociais se recusam a declarar que algumas afirmações são "erradas". Isso parece ocorrer porque, aparentemente, muitas vezes é percebido como um ataque pessoal ao requerente para declarar que alguma afirmação científica é "errada". Veja É ofensivo declarar uma reivindicação psicológica incorreta ? para mais detalhes sobre isso.

No entanto, este curso enfatizará o papel da falsificação de Popperian na criação e avaliação do conhecimento científico. Neste contexto, o único caminho a seguir envolve identificação e formas pelas quais os dados falsificam alegações científicas. Além disso, obtendo-o direito, inclui inerentemente as habilidades para reconhecer quando eramos errado. Considere o seguinte, de Richard Alpert, ex-presidente da Academia Nacional de Ciências (citado em The Economist, 2013):

"E os próprios cientistas precisam desenvolver um sistema de valores onde simplesmente passar dos erros de uma pessoa sem reconhecer publicamente danos severos, ao invés de proteger, uma reputação científica".

Assim, o desenvolvimento das ferramentas científicas, acadêmicas, intelectuais e metodológicas para determinar a verdade a partir de inferências, afirmações e conclusões científicas falsas será um foco central desse curso.

Objetivos do Curso

Este curso tem três objetivos principais: 1. Compreender fontes e manifestações de práticas sub-ótimas na pesquisa científica (resultados irreproduzíveis, estudos irreversíveis, dados não obtidos, análises estatísticas inválidas ou não articuladas e procedimentos metodológicos, conclusões enganosas ou exageradas, etc.), 2. Para rever as tentativas de reforma atualmente em andamento e avaliar de forma crítica quais as ameaças à integridade científica que parecem atingir, quão bem-sucedidas são susceptíveis de serem, como avaliar empiricamente seu sucesso e identificar quais ameaças para a integridade científica são susceptíveis de abordar ; e 3. Fornecer uma introdução às ferramentas conceituais e empíricas atualmente disponíveis para determinar como descobrir quais as reivindicações existentes emergentes das quais os órgãos de prova existentes são válidos.

Estrutura da classe

A maioria das aulas envolverá discussão sobre as leituras dessa semana (veja Grading, abaixo). No entanto, quando novas técnicas metodológicas ou estatísticas (por exemplo, testes de significância excessiva, gráficos de funil, curvatura de p, indexação de incredulidade, avaliação do fator N-Pact, intervalos de confiança [não novo no grande esquema das coisas, mas recém-requisitado e, talvez , desconhecidos para muitos estudantes] são apresentados, eu posso dar uma palestra para parte ou a totalidade de uma aula.

Classificação

Discussão: 20%

Haverá várias leituras atribuídas a cada semana. 1-2 alunos serão obrigados a: 1. Gerar um conjunto de perguntas de discussão; 2. Circula-os pelo menos 3 dias antes da aula; 3. Inicie, liderar e focar a discussão das leituras dessa semana.

Participação: 20%

Como todas as minhas outras classes, exceto 522 (classe de segundo grau), a participação é uma parte necessária e integral da classe.

Resumos: 10%

Principalmente para garantir que eles geralmente lêem os artigos necessários, eles serão obrigados a fornecer um breve resumo de cada artigo.

Major Paper: 50%

O documento principal envolverá o uso de uma das novas técnicas para avaliar a validade da pesquisa (por exemplo, fornecendo um gráfico de funil ou curva p em relação a estudos em uma meta-análise); usando uma técnica simples para avaliar a qualidade da pesquisa (por exemplo, erros ou incompletas em áreas de pesquisa) e / ou obter dados de uma fonte publicada e avaliar se os resultados podem ser reproduzidos (nota: eu uso o termo "reproduzir" para se referir a a resposta à pergunta: após a obtenção de dados publicados, se a análise exata dos autores descrevem, obtém-se exatamente o mesmo resultado?).

** Alguns podem argumentar que, em contraste com alguns dos que passam para a psicologia "científica", pelo menos o Mágico Will Fern admite que ele cria ilusões.