O problema com as condições de controle na pesquisa sobre aprendizado

Eles se tornaram difíceis de detectar porque estamos tão acostumados com eles. Mas eles estão lá. E eles são preocupantes. Aqui estão dois problemas com a forma como fazemos pesquisas sobre educação e treinamento.

Problema 1: duplo cego

Ontem, Boot, Simons, Stothart e Stutts (2013) publicaram um artigo intitulado The Pervasive Problem with Placebos in Psychology (ou veja o bom resumo de Ed Yong aqui). Nos estudos de psicologia, as pessoas geralmente sabem em que condição estão. Se um grupo joga videogames e um não, o grupo de videogames sabe disso. O problema é que eles podem esperar fazer melhor em testes de habilidade cognitiva. Se eles realmente melhoram, você deve se perguntar: foram os videogames ou as expectativas?

As expectativas são importantes. É por isso que existem placebos – então todos esperam melhorar. Na verdade, as pílulas placebo maiores têm efeitos maiores do que as menores, porque as pessoas esperam que elas sejam mais efetivas. E a cirurgia simulada (sim, isso significa que cortar alguém aberto, não fazer nada e, em seguida, costurá-los de volta) tem um efeito ainda maior que as pílulas, porque as pessoas esperam mais com isso.

• Lulz Intelectual: Hoaxes Acadêmicos e Trolling Epistêmico
• Understand Hoarders
• Como líderes insensatos podem criar problemas no local de trabalho
• Os líderes são enganados por ilusões?
• A Maldição da Incerteza

Um teste médico adequado garante que os indivíduos sejam cegos para o grupo de tratamento em que estão. Todo mundo toma uma pílula e ninguém sabe se sua prótese contém medicação ou não. Em um estudo duplo-cego, os sujeitos e os pesquisadores são ambos cegos para quem é em que condição, porque as expectativas dos pesquisadores também podem afetar os indivíduos.

Pode ser muito difícil executar estudos duplamente cegos em pesquisas sobre treinamento e educação, pois, ao contrário de uma pílula, um tipo de treinamento não parece ser outro. Os sujeitos sabem que tratamento eles estão recebendo. Este é um problema fundamental que é difícil, às vezes impossível, evitar. Boot et al. (2013) fazem sugestões úteis, porém; O principal é, medir expectativas se você não pode evitá-las!

Problema 2: comparação realista

• Alterar valores, diminuir o estresse
• Você pensa que gosta do que você gosta? Pense de novo
• Como Lucrativo é um Bacharel em Psicologia?
• Por que é impossível não julgar as pessoas?
• Escapar da anorexia, parte II

Você tomaria um novo medicamento se fosse melhor do que um placebo? Se você fosse um médico, você recomendaria aos seus pacientes? Depende de uma questão crucial: a droga é melhor do que a prática padrão atual? Se já houver algo melhor, é claro que não é a melhor escolha. Veja a Figura 1.

Em muitas pesquisas psicológicas e educacionais, não fazemos essa questão crucial. Muitas vezes, comparamos um novo tratamento com uma condição de controle que não é eficaz nem padrão – basicamente, é um placebo – e então, quando o tratamento é melhor, recomendamos (veja a Figura 2).

Este é o segundo problema com as condições de controle em treinamento e educação. Está resumido em um artigo recente de Kornell, Rabello e Klein (2012) e, na verdade, é mais fácil de resolver do que o primeiro, o que torna, de certa forma, mais embaraçoso.

Deixe-me elaborar escolhendo minha própria pesquisa: muitas vezes eu recomendo que as pessoas façam mais testes na escola e em casa, porque é uma maneira melhor de aprender do que re-ler. Mas os professores quase nunca pedem aos alunos para simplesmente re-lerem algo que eles leram antes – qual é a condição de controle na grande maioria dos experimentos sobre efeitos de teste.

Além disso, sabemos que re-leitura não é muito eficaz. Teria mais sentido recomendar mais testes se pudéssemos primeiro demonstrar que o teste é melhor do que as atividades que os professores estão realmente implementando diariamente. O teste é melhor do que realizar um debate de classe? Ou fazendo perguntas informais aos alunos? Ou técnicas como interrogação elaborativa?

Em medicina, não aceitamos um novo tratamento, a menos que conheçamos as respostas a perguntas como estas. Um estudo que teve um grande ponto de interrogação em massa no lugar do tratamento atual, como na Figura 2, não cortaria a mostarda. Por que o treinamento e a educação devem ser diferentes?

Encontre-me no Twitter.