Tentando ver os itens pelo meio

Meu colega Kalif Vaughn e eu criamos uma idéia de pesquisa este mês. Executamos um primeiro estudo e obteve dados excelentes. Aposto que se tivéssemos continuado e enviado um documento, teria navegado sem problema. * Mas houve um problema. Veja se consegue descobrir.

Apresentamos participantes com problemas de teste associado remoto (RAT). Por exemplo,

• Sandwich Golf Foot
• Bloqueio de linha final
• Cast Side Jump
• Fork Dark Man

Há uma quarta palavra que se encaixa com cada um desses trios (respostas abaixo).

Demos aos nossos participantes 10 segundos para pensar na resposta. Então, nós lhes dissemos a resposta ou lhes demos mais 30 segundos para refletir e depois lhes dissemos a resposta. A questão era: o grupo de 40 segundos superaria o grupo de 10 segundos em um teste que aconteceu alguns minutos depois? Estamos entusiasmados com esta descoberta porque a resposta foi não.

• Como evitar que o estresse encolhe seu cérebro
• Peixe sinta dor: vamos superar isso e fazer algo sobre isso
• Sobre a "Honra" de ser selecionado um dos mais influentes especialistas em dependências na América
• Sexo e Liderança para Mulheres
• Você já teve uma fantasia homicida hoje?

Estou realmente interessado em saber se o sucesso de recuperação afeta a aprendizagem. Eu publiquei um estudo este ano mostrando que fazer uma tentativa de recuperação importa muito, mas se é bem sucedido não parece importante (Kornell, Klein e Rawson, 2015). Então, analisamos os nossos novos dados, e vejamos: os participantes obtiveram mais respostas corretas (durante a primeira fase) na condição de 40 segundos do que a condição de 10 segundos. Mas (como eu disse) eles não fizeram melhor no teste final. Então, descobrimos a conclusão óbvia: mais uma vez, tentar pensar que a resposta era benéfica, mas o sucesso era irrelevante.

Deteve o problema? É nesse último parágrafo. Aqui está mais uma informação. Durante a fase de estudo, a condição de 40 segundos apresentou cerca de 10 pontos percentuais melhor do que o grupo de 10 segundos. Em outras palavras, apenas 10% dos itens foram convertidos de falhas de recuperação para a recuperação de sucessos.

Agora vamos imaginar que o sucesso da recuperação não importa, e isso se traduz em uma diferença de 15 pontos percentuais na aprendizagem. Um benefício de 15% para 10% dos itens? Se o sucesso da recuperação for importante, isso significaria uma enorme diferença de 1,5 pontos percentuais no teste final. Muito pequeno para detectar.

• É o bastante?
• Em "Defesa" de Tiger Woods, AND of His Critics
• Sonho Recorrente do Exame Final
• Não temos nada que temer, mas a própria dor – Talvez
• The Naked Brain

Então, ainda temos uma descoberta interessante aqui (ainda estamos trabalhando ativamente neste projeto). Mas com base nos dados até agora, seria errado tirar conclusões sobre o efeito do sucesso da recuperação. Por um acidente de sorte, pensamos nesse problema. Mas isso me preocupa o quão fácil seria perder. Aqui estão duas armadilhas:

• Dependência excessiva de significância. Só porque um efeito é significativo (o aumento de 10% no desempenho durante a fase de estudo) não significa que podemos esquecer o tamanho do efeito e simplesmente assumir que é transcendente e deve ter grandes efeitos na linha.
• Agregando em vez de individuar. É tentador pensar em efeitos como monólitos que afetam todos os itens. É basicamente o que fazemos quando traçamos. Mas, por vezes, um efeito só se aplica a um subconjunto de itens. Neste caso, o sucesso de recuperação apenas foi aplicado a 10% dos itens. (Nós apresentamos uma conclusão semelhante sobre a importância de desagregar itens na análise do efeito de longo prazo de testes em Kornell, Bjork e Garcia, 2011.)

É um pouco o oposto de "não pode ver a floresta para as árvores". O problema aqui é ignorar os indivíduos: "não pode ver os itens pelos meios".

Respostas: clube, morto, largo, arremesso

Confira em mim no Twitter.

* Ha ha, sim. Certo.

Referências

Kornell, N., Bjork, RA, & Garcia, MA (2011). Por que os testes parecem impedir o esquecimento: um modelo de bifurcação baseado em distribuição. Journal of Memory and Language, 65 (2) , 85-97. doi: 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ, & Rawson, KA (2015). As tentativas de recuperação melhoram a aprendizagem, mas o sucesso de recuperação (versus falha) não é importante. Journal of Experimental Psychology: Learning, Memory e Cognition, 41 (1), 283-294. doi: 10.1037 / a0037850