Pelo Dr. Russell T. Warne (@Russwarne)
Na primavera passada, mais de 4 milhões de estudantes do ensino médio receberam mais de 2 milhões de testes de colocação avançada (AP). Patrocinado pelo College Board, os cursos de AP são ministrados por professores do ensino médio e permitem que os alunos ganhem crédito da faculdade passando um teste no final do ano letivo. De acordo com o College Board, os alunos em cursos de AP aprendem mais material, estão mais preparados para a faculdade e terminam um bacharel antes do que os estudantes não-AP.
E, no entanto, existem dois motivos que simplificam a afirmação de que o programa AP leva a benefícios acadêmicos. O primeiro é que o programa AP – como muitos programas educacionais – tem muitos componentes, e muitas vezes é difícil dizer quais (as) qual (são) conduzem a benefícios acadêmicos. Em segundo lugar, os alunos geralmente escolhem se tomam cursos de AP, e os estudantes de AP freqüentemente diferem de estudantes não-AP de maneiras importantes. Isso confunde o impacto do programa com diferenças pré-existentes entre os dois grupos de alunos. Um estudo recente que minha equipe de pesquisa realizou (Warne, Larsen, Anderson e Odasso, na imprensa) ilustra bem ambos os pontos.
Muitas "peças móveis"
Os programas educacionais raramente são simples. Muitas vezes, eles incluem muitas "partes móveis" – cada uma das quais contribui para o programa como um todo. Pode ser difícil para os pesquisadores determinar quais componentes de um programa educacional são eficazes no aumento da aprendizagem e que não são importantes. No programa AP, por exemplo, existem 34 testes que abrangem tópicos de nível universitário que variam de inglês, estatística, teoria musical e história mundial. Cada um desses tópicos tem um currículo e um teste de AP padronizado, e cada sala de aula tem um professor que cria tarefas, projeta testes e prepara os alunos para o teste. As características da escola, do distrito e do estado também podem contribuir para o funcionamento de um programa.
Em nosso estudo do programa AP, meus co-autores e eu decidimos isolar um componente do programa AP: o teste. Queríamos investigar se meramente se matricular em uma classe de AP levou a ganhos acadêmicos para estudantes ou se era necessário que os alunos fizessem o teste AP. Para fazer isso, usamos um conjunto de dados com mais de 90.000 alunos do ensino médio e dividimos os alunos em quatro grupos: (a) alunos não AP, (b) alunos da AP que não fizeram o teste AP, (c) Estudantes de AP que fizeram o teste, mas não passaram, e (d) estudantes de AP que tomaram e passaram o teste de AP.
Comparamos as pontuações de ACT dos quatro grupos de estudantes. Se a classe em si fosse um componente ativo, então deveria haver uma diferença nas pontuações de ACT entre os grupos (a) e (b). Se o teste fosse um componente ativo, o grupo (c) deveria ter um índice de ACT maior do que o grupo (b). Descobrimos que os resultados médios de ACT foram 21,0 para o grupo (a), 21,3 para o grupo (b), 22,5 para o grupo (c) e 26,5 para o grupo (d). Os resultados indicam que se inscrever na classe AP dá aos alunos um pequeno benefício (0,3 pontos no ACT-sacle de 36 pontos), mas que o teste fornece maiores benefícios (1,2 pontos).
Diferenças de alunos pré-existentes
Na superfície, os resultados no parágrafo anterior pareceriam indicar que tanto a classe como o teste são efetivos – embora o teste tenha claramente o impacto mais forte. Mas o problema com este tipo de comparação é que esses quatro grupos de alunos não são equivalentes, porque os alunos escolhem se matricular em cursos AP. Portanto, os alunos AP são diferentes dos alunos que não são AP (Sadler & Sonnert, 2010). Os psicólogos chamam essa auto-seleção, e é muito comum em muitos ramos da pesquisa psicológica. Na verdade, existem dois níveis de auto-seleção que os pesquisadores devem considerar ao estudar o programa de AP porque os estudantes de AP também têm a opção de fazer o teste. As razões para a auto-seleção no programa AP ou para fazer o teste AP muitas vezes não são claras, mas as políticas administrativas (como a decisão do estado de pagar a taxa de AP para estudantes ou a decisão de uma escola de oferecer uma determinada classe de AP) e as características dos alunos ( como a forma como um aluno é preparado para o teste) parecem importantes.
Para lidar com a auto-seleção, é necessário controlar as diferenças de alunos pré-existentes. Pesquisadores anteriores (por exemplo, Long, Conger, & Iatarola, 2012; Sadler & Sonnert, 2010) controlaram variáveis nas quais os grupos de alunos diferem. Por exemplo, os estudantes de AP tendem a ter médias de nível médio (GPAs) do ensino médio, geralmente são mais motivados e são menos prováveis de casas de baixa renda. Sem controle de variáveis como essas, o impacto do programa AP seria confundido com as diferenças entre os grupos de estudantes.
Em nosso estudo, controlamos cerca de 70 variáveis estudantis, incluindo sexo, grupo racial / étnico, média do grau, pontuação dos exames de realização acadêmica e se a criança estava em educação especial. Em seguida, comparamos as pontuações de ACT dos quatro grupos depois de fazer esses ajustes estatísticos. Estudantes não-AP tiveram um índice de ACT médio de 21,4. Os estudantes de AP que não tomaram o teste AP tiveram um índice de ACT médio de 21,2. Os estudantes de AP que não passaram o teste AP tiveram um índice de ACT médio de 21,7. Finalmente, os alunos da AP que passaram o teste AP tiveram um índice de ACT médio de 24,6.
A comparação desses resultados com os resultados não ajustados mostra a importância de fazer esses ajustes. O benefício de tirar a classe AP se evapora (como mostra a diferença de pontuação entre os dois primeiros grupos) e o impacto do teste diminui de 1,2 pontos para 0,5 pontos, mais de 50%. Sem controlar as diferenças pré-existentes, o programa AP parece muito mais eficaz do que realmente é. No final, meus co-autores e eu alcançamos que o teste AP é um componente importante do programa AP. Além disso, os alunos que aprovam o teste recebem mais benefícios do que seus colegas de classe que não fazem o teste AP, ou que fazem o teste e não o passam.
Conclusão
Este estudo é um exemplo dos desafios da avaliação e compreensão dos programas educacionais. Os muitos componentes de alguns programas educacionais e as diferenças preexistentes entre grupos de alunos apresentam desafios aos psicólogos educacionais. Mas, os desafios não são insuperáveis. Convido os leitores a investigar o artigo original, ou a assistir a um vídeo que fiz sobre o estudo. Ambos estão disponíveis (de graça) nos URLs abaixo:
Artigo completo: http://www.tandfonline.com/doi/pdf/10.1080/00220671.2014.917253
Resumo do vídeo: https://www.youtube.com/watch?v=aViwSlcu2F0
Referências
Sadler, PM, & Sonnert, G. (2010). Ensino médio Adquirido Colocação e sucesso no curso de faculdade nas ciências. No PM Sadler, G. Sonnert, RH Tai & K. Klopfenstein (Eds.), AP: Um exame crítico do Programa de Colocação Avançada (pp. 119-137). Cambridge, MA: Harvard Education Press.
Long, MC, Conger, D., & Iatarola, P. (2012). Efeitos do curso de ensino médio no sucesso secundário e pós-secundário. American Educational Research Journal, 49, 285-322. doi: 10.3102 / 0002831211431952
Warne, RT, Larsen, R., Anderson, B., & Johnson, AO (na imprensa). O impacto da participação no programa de Colocação Avançada nos resultados dos exames de admissão da faculdade dos estudantes. O Journal of Educational Research. doi: 10.1080 / 00220671.2014.917253
