Por Scott C. Marley
O tema presidencial da Divisão 15 deste ano é "Impacte a Educação Pre-K para Cinza", o que significa que nosso campo deseja impactar positivamente todas as populações de alunos. Uma maneira clara de impactar a educação com todas as populações é abordar as questões que foram identificadas na literatura como a "crise de replicação". A beleza da crise de replicação é que fornece oportunidades extensivas para um crescimento significativo no campo da psicologia educacional. Minha posição é que os educadores geralmente não respondem à implementação de práticas baseadas em evidências por causa de considerações de credibilidade associadas à replicabilidade e à questão relacionada de generalização. Existem abordagens sistemáticas para abordar essas duas considerações que muitas vezes são negligenciadas pelos produtores e consumidores da pesquisa educacional. Mas, em primeiro lugar, forneço um exemplo concreto dos dias do professor que ilustra os desafios de credibilidade que a psicologia educacional enfrenta se, como campo, ele for relevante para os líderes educacionais "Pre-K para Grey". Então, forneço uma justificativa para o porquê "mais pesquisas são necessárias", mas – mais importante – eu sugiro que o que é necessário é uma pesquisa mais credível em unidades, tratamentos, resultados e configurações.
No começo da minha carreira, eu era professor de quarta série em uma reserva rural da Índia americana. As crianças da comunidade eram predominantemente aprendentes de segunda língua de famílias de baixo nível socioeconômico. As escolas do distrito foram identificadas como de baixo desempenho ou falhas e, em resposta, as escolas foram obrigadas a tomar medidas adotando "práticas baseadas em evidências". Embora eu seja um proponente de educadores usando evidências científicas para tomar decisões, considero importante para produtores e consumidores reconhecerem as limitações da literatura sobre práticas baseadas em evidências (para discussão relevante, Marley & Levin, 2011). Sem uma forte compreensão dessas limitações, é provável que seja vítima de duas formas de "pensamento ilusório" que podem resultar em otimismo injustificado na eficácia das intervenções educacionais.
A primeira forma de ilusões é a crença de que uma intervenção pode resolver problemas educacionais muito complexos com todas as populações. Essa crença coincide com a idéia de que uma intervenção pode ser comprovada efetiva e não suportada pela evidência que sugere a eficácia de uma intervenção. A prova assume um conhecimento perfeito da eficácia da intervenção, enquanto o foco nas melhores evidências reconhece que o conhecimento está sempre incompleto e sujeito a mudanças (para uma discussão relevante, Guba & Lincoln, 1994). A segunda forma de pensamento ilusório é a crença de que um resultado é o resultado de uma única causa cognoscivel (por exemplo, "a fraca conquista de leitura é devida a <insira menos sabor favorito" instrução "). De acordo com pensadores ilusos, tudo o que se tem a fazer é encontrar a bala mágica, atacar a causa única com ela e o problema é resolvido. É assim tão simples !! Devemos fazê-lo agora !! Por que não começamos ?! Mas as soluções para problemas educacionais quase nunca são óbvias ou fáceis.
Provavelmente existem muitas razões pelas quais os educadores são céticos sobre o valor da pesquisa educacional, alguns dos quais os psicólogos educacionais podem abordar. Uma possível explicação que pode ser abordada é que os educadores podem reconhecer informalmente que a pesquisa educacional tem problemas de credibilidade (Hsieh et al., 2005). Por exemplo, depois de ter sido designado "de baixo desempenho", minha escola de reserva foi resolvida por chamados especialistas que nunca ensinaram em uma reserva rural. A principal recomendação era que a escola adoteva uma intervenção baseada em evidências. Na época, tive a sensação de que o contexto em que a evidência que apoiava a intervenção proposta havia sido diferenciada substancialmente do contexto em que eu estava ensinando. Em outras palavras, a generalização da intervenção baseada em evidências era questionável. A generalização dos achados da pesquisa – juntamente com a questão relacionada de replicabilidade – pode muito bem ser o motivo pelo qual "mais pesquisas são necessárias" em contextos específicos agora mais do que nunca. No entanto, vamos adicionar a esta frase comum encontrada no final de documentos empíricos para que ele leia "pesquisas mais credíveis são necessárias". A replicação e a generalização são dois indicadores de credibilidade (para mais informações sobre outros indicadores importantes de credibilidade, ver Levin, 1994, 2004) que precisam de mais atenção antes que os pesquisadores, consultores e outros educadores sejam muito pesados com suas recomendações educacionais.
O primeiro indicador de credibilidade antes de fazer recomendações educacionais é que os achados precisam ser replicados para determinar se um resultado específico é robusto ou uma anomalia (para uma discussão detalhada, veja Schmidt, 2009). Uma preocupação é que as ciências sociais podem ter um viés de publicação associado à publicação de resultados positivos que são anomalias. A segunda preocupação é que as repetições raramente são publicadas em revistas de educação (Makel & Plucker, 2014). A falta de estudos de replicação é muitas vezes atribuída a editores de jornais, revisores e agências de concessão que esperam novidade. Em caso afirmativo, concentrar-se na novidade dos resultados pode promover estruturas de recompensa que minimizem o valor dos estudos de replicação (Koole & Lakens, 2012). A falta de estudos de replicação claramente limita a confiança com que podemos tirar conclusões sobre a eficácia de uma abordagem instrucional. Essa limitação geralmente não é mencionada nas recomendações que acompanham várias práticas baseadas em evidências.
O segundo requisito é examinar cuidadosamente a generalização dos achados para assegurar um alto grau de validade externa antes de fazer recomendações aos educadores (Shadish, Cook, & Campbell, 2002). Preocupações podem ser expressas em relação aos estudos que examinam a eficácia das intervenções instrucionais usando amostras de estudantes universitários ou outras amostras "únicas". Por "exclusivo", quero dizer amostras de participantes que se lembraram de trazer seu formulário de consentimento parental com uma assinatura, participantes que concordam em completar pesquisas ou outras maneiras comparáveis em que uma amostra pode diferir das populações que existem na natureza.
Como os produtores e os consumidores da pesquisa educacional abordam os desafios associados à aplicação dos resultados da pesquisa educacional? Como um campo, podemos buscar os Padrões para Ensaios Educacionais e Psicológicos (AERA, APA, & NCME, 1999) para orientação. Os padrões de produtores e produtores de teste diretos estão conscientes das condições em que as inferências válidas são mais susceptíveis de surgir a partir dos resultados dos exames. Vários dos padrões enfatizam que as populações não são intercambiáveis e os produtores e usuários de testes devem examinar como as pontuações dos sujeitos funcionam em um novo contexto. Em outras palavras, as repetições devem assegurar que os resultados dos exames sejam devidamente interpretados em contextos que diferem substancialmente do contexto inicial. Uma abordagem semelhante é justificada com a pesquisa de intervenção se a base de literatura deve ser considerada credível no ponto em que os profissionais podem tomar decisões informadas. Vários quadros foram propostos para aumentar a generalização dos resultados da pesquisa. Uma dessas estruturas seria incorporar as preocupações clássicas de generalização propostas por Cronbach (Cronbach & Shapiro, 1982) a um modelo de pesquisa programada e extenso. Fazer isso empresta muita credibilidade para a base da literatura.
De acordo com a estrutura UTOS clássica de Cronbach, os exames de generalização podem ocorrer através de U nits, T reatments, O utcomes e S ettings. Cada um dos componentes da estrutura fornece amplo espaço para problemas para os pesquisadores replicar e ampliar os resultados da pesquisa e para os consumidores avaliarem o grau de confiança que devem ter em uma intervenção. Talvez os editores de jornais, os revisores e as agências de financiamento fossem mais propensos a considerar estudos de publicação e financiamento situados explicitamente dentro de uma estrutura UTOS de extensão de repetição e colocar menos peso sobre a novidade das idéias e resultados iniciais? Se houver uma pesquisa credível que afete todas as populações de "Pre-K para Gray", essas abordagens sistemáticas ou comparáveis para replicar e generalizar resultados são susceptíveis de dar frutos. Entretanto, se os leitores estiverem interessados em juntar discussões relacionadas à replicação e generalização na conferência APA deste ano em Toronto, considere comparecer à programação colaborativa que a Divisão 15 tem com outras divisões sobre a "crise de replicações" listada abaixo.
Título da Sessão: A Crise da Replicação – O Que Nos trouxe Aqui e Onde Precisamos Ir
Tipo de sessão: Simpósio
Data: Qui 08/06 10:00 AM – 11:50 AM
Divisão / Patrocinador: CPG-Central Programming Group; Co-Lista: 30, 3, 5, 6, 10, 15, 24, 26
Edifício / Sala: Centro de Convenções / Sala 716A Sul do Edifício 700
Referências:
American Educational Research Association, American Psychological Association, & National Council on Measurement on Measurement in Education. (1999). Normas para testes educacionais e psicológicos. Washington, DC: American Psychological Association.
Cronbach, LJ, & Shapiro, K. (1982). Projetando avaliações de programas educacionais e sociais . Jossey-Bass Inc Pub.
Guba, EG, & Lincoln, YS (1994). Paradigmas concorrentes em pesquisa qualitativa. Manual de Pesquisa Qualitativa , 2, 163-194.
Hsieh, P., Acee, T., Chung, W.-H., Hsieh, Y.-P., Kim, H., Thomas, GD, Levin, JR, Robinson, DH (2005). A pesquisa de intervenção educacional está em declínio? Journal of Educational Psychology , 97 (4), 523.
Koole, SL, & Lakens, D. (2012). Congratulando as réplicas com uma maneira segura e simples de melhorar a ciência psicológica. Perspectivas em Ciências Psicológicas , 7 (6), 608-614.
Levin, JR (1994). Criando pesquisas de intervenção educacional que são credíveis e credíveis. Educational Psychology Review, 6 (3), 231-243.
Levin, JR (2004). Pensamentos aleatórios sobre a (credibilidade) da pesquisa de intervenção educacional-psicológica. Psicólogo educacional , 39 (3), 173-184.
Marley, SC, & Levin, JR (2011). Quando as declarações prescritivas na pesquisa educacional são justificadas? Educational Psychology Review, 23 (2), 197-206.
Schmidt, S. (2009). Devemos realmente fazê-lo de novo? O poderoso conceito de replicação é negligenciado nas ciências sociais. Revisão da Psicologia Geral , 13 (2), 90.
Shadish, WR, Cook, TD, & Campbell, DT (2002). Desenhos experimentais e quase experimentais para inferência causal generalizada. ew York, NY: Houghton Mifflin.
