Talvez a fluência da conferência não seja tão enganosa

Em uma postagem no blog a partir de 2013, os melhores professores obtêm as piores classificações ?, descrevi um estudo em que os alunos classificaram os professores mais "fluentes" (ou seja, claros e envolventes) como mais efetivos mesmo que não fossem. Um novo artigo não conseguiu replicar uma das nossas descobertas em um paradigma mais realista.

No estudo original, pelos autores Shana Carpenter, Miko Wilford, eu e Kellie M. Mullaney, os participantes assistiram a um dos dois vídeos. Ambos mostraram um professor dando uma palestra breve. As palavras que ela disse eram exatamente as mesmas nos dois vídeos. A diferença era fluência: em um, ela falava claramente sem notas e fazia contato visual. Na outra, ela tropeçou, lendo incompetentemente suas anotações.

Descobrimos que a fluência teve um grande efeito nas classificações: os alunos deram ao professor maiores pontuações nas medidas que tradicionalmente são usadas nos formulários de avaliação dos alunos. Eles também previram que eles fariam melhor no teste após a palestra fluente. Mas eles não fluíram, afetaram tudo o que medimos, exceto aprender.

O maior problema com o nosso estudo é que os vídeos não foram apenas curtos, eles eram microscópicos, com aproximadamente um minuto. Claramente, outro estudo precisava ser feito com um vídeo mais longo.

Esse estudo acabou de ser publicado, com Shana Carpenter como autor principal mais uma vez. Neste, a palestra foi de 22 minutos. Ainda não é longo, mas há mais de 1 minuto, e tempo suficiente para que os alunos se aborram, se divirtam, se afastem e façam as coisas típicas que você faz em uma palestra.

Os achados foram consistentes em três experimentos. A fluência não afetou a aprendizagem. Isso afetou avaliações de avaliação de estudantes tradicionais (o quão experiente, organizado, preparado e efetivo é o instrutor). Essas finanças replicaram nossos resultados anteriores. A principal diferença é que os participantes na condição fluente não pensaram ter aprendido mais do que aqueles na condição disfluente.

Com o risco de me repetir, resumirei as três principais descobertas:

  • Palestras fluentes não levaram a mais aprendizado
  • Palestras fluentes levaram a avaliações mais elevadas dos alunos do ensino
  • Palestras fluentes não levaram a julgamentos mais elevados de aprendizagem (ao contrário do nosso estudo original)

Para os professores, o resultado é basicamente o mesmo: a fluência não aumentou a aprendizagem e as avaliações dos alunos não foram feitas com base na aprendizagem.

Para os pesquisadores de metacognição, porém, o resultado é diferente: a fluência da conferência não aumentou as JOLs. Os dados sugerem um motivo para isso: os alunos não baseiam seus julgamentos de aprendizado apenas no professor e, como mostra um conjunto separado de análises, os alunos que disseram que a professora teve uma grande influência sobre eles obtiveram JOLs maiores depois de mais fluentes palestra.

Fundo

O que eu me preocupei na minha publicação original ainda parece verdadeiro: fazer uma palestra mais fluente aumentou as avaliações dos alunos, mas não aumentou a aprendizagem. Entretanto, um efeito não se replicou: desta vez, as palestras fluentes não aumentaram os julgamentos de aprendizado.

Confira-me, Nate Kornell no Twitter.