No meu último post, eu discuti a natureza de envolver o processo de pensamento crítico (CT) e fiz menção de indivíduos que tiram uma conclusão e acabam sendo corretos. Mas, só porque eles estão certos, isso não significa que eles usaram CT para chegar lá. Eu exemplifiquei isso através de uma observação feita nos últimos anos sobre medidas existentes de TC, muitas das quais avaliam a TC através de perguntas de múltipla escolha. No caso de CT MCQs, você pode adivinhar a resposta “certa” 20-25% do tempo, sem necessidade de CT. Então, a questão é: essas medidas de CT realmente medem a TC?
Como meus artigos anteriores explicam, CT é um processo metacognitivo que consiste em um número de sub-habilidades e disposições, que, quando aplicadas através de julgamento proposital, autorregulatório e reflexivo, aumentam as chances de produzir uma solução lógica para um problema ou um problema válido. conclusão de um argumento (Dwyer, 2017; Dwyer, Hogan & Stewart, 2014). A maioria das definições, embora formuladas de maneira diferente, tendem a concordar com essa perspectiva – consiste em certas disposições, habilidades específicas e uma sensibilidade reflexiva que governa a aplicação dessas habilidades. É assim que é definido; no entanto, não é necessariamente como foi definido operacionalmente .
Definir operacionalmente alguma coisa refere-se à definição dos termos do processo ou medida necessária para determinar a natureza e as propriedades de um fenômeno. Simplesmente, está definindo o conceito com respeito a como pode ser feito, avaliado ou medido. Se a maneira pela qual você mede algo não corresponde, ou avalia os parâmetros estabelecidos na maneira em que você a define, então você não teve sucesso em defini-la operacionalmente .
Embora a maioria das definições teóricas de CT seja semelhante, a maneira como elas variam muitas vezes impede a construção de um relato teórico integrado de como melhor medir as habilidades de CT. Como resultado, pesquisadores e educadores devem considerar o amplo leque de medidas de TC disponíveis, a fim de identificar as melhores e mais adequadas medidas, com base na conceituação de CT usada para treinamento. Existem várias medidas de CT existentes – as mais populares entre elas incluem a Avaliação de Pensamento Crítico Watson-Glaser (WGCTA; Watson & Glaser, 1980), o Teste de Pensamento Crítico de Cornell (CCTT; Ennis, Millman & Tomko, 1985), a Califórnia Critical Teste de habilidades cognitivas (CCTST; Facione, 1990a), Ennis-Weir Critical Thinking Ensaie Test (EWCTET; Ennis & Weir, 1985) e Halpern Critical Thinking Assessment (Halpern, 2010).
Tem sido observado por alguns comentaristas que essas diferentes medidas de capacidade de CT podem não ser diretamente comparáveis (Abrami et al., 2008). Por exemplo, o WGCTA consiste em 80 MCQs que medem a capacidade de fazer inferências; reconhecer suposições; avaliar argumentos; e usar interpretação lógica e raciocínio dedutivo (Watson & Glaser, 1980). O CCTT consiste em 52 MCQs que medem habilidades de pensamento crítico associadas à indução; dedução; observação e credibilidade; definição e assunção de identificação; e significado e falácias. Finalmente, o CCTST é composto por 34 perguntas de múltipla escolha (MCQs) e mede CT de acordo com as principais habilidades de análise, avaliação e inferência, bem como raciocínio indutivo e dedutivo.
Como abordado acima, o formato MCQ dessas três avaliações é menos do que ideal – até mesmo problemático, porque permite que os testadores simplesmente adivinhem quando não conhecem a resposta correta, em vez de demonstrar sua capacidade de analisar criticamente e avaliar problemas e inferir soluções para esses problemas (Ku, 2009). Além disso, como argumentado por Halpern (2003), o formato MCQ faz da avaliação um teste de conhecimento verbal e quantitativo em vez de CT (isto é, porque selecionamos de uma lista de possíveis respostas em vez de determinar os próprios critérios para desenvolver uma resposta). A medição da CT através de MCQs também é problemática, dada a potencial incompatibilidade entre a conceptualização da CT que molda a construção de testes e a sua avaliação usando MCQs. Ou seja, os testes de MCQ avaliam as capacidades cognitivas associadas à identificação de respostas simples certas ou erradas e, como resultado, essa abordagem ao teste é incapaz de fornecer uma medida direta do uso de processos metacognitivos por testadores, como CT, julgamento reflexivo. e disposição para CT.
Em vez de usar os itens do MCQ, uma medida melhor da CT poderia fazer perguntas abertas, o que permitiria aos participantes demonstrar se usavam ou não espontaneamente uma habilidade específica de tomografia computadorizada. Uma avaliação de TC comumente usada, mencionada acima, que emprega um formato aberto é o Ennis-Weir Critical Thinking Ensaie Test (EWCTET; Ennis & Weir, 1985). O EWCTET é uma avaliação baseada em ensaios da capacidade do candidato de analisar, avaliar e responder a argumentos e debates em situações do mundo real (Ennis & Weir, 1985; ver Ku, 2009 para uma discussão). Os autores do EWCTET fornecem o que eles chamam de uma “lista áspera e um tanto sobreposta de áreas de competência do pensamento crítico”, medida pelo seu teste (Ennis & Weir, 1985, p. 1). No entanto, este teste também foi criticado – por sua natureza específica de domínio (Taube, 1997), a subjetividade de seu protocolo de pontuação e seu viés em favor dos proficientes na escrita (Adams, Whitlow, Stover & Johnson, 1996). .
Outra avaliação mais recente da TC, que utiliza um formato aberto, é o Halpern Critical Thinking Assessment (HCTA; Halpern, 2010). O HCTA consiste em 25 perguntas abertas baseadas em situações cotidianas verossímeis, seguidas de 25 perguntas específicas que investigam o raciocínio por trás de cada resposta. A natureza de múltiplas partes das perguntas torna possível avaliar a capacidade de usar habilidades específicas de CT quando o alerta é fornecido (Ku, 2009). O protocolo de pontuação do HCTA também fornece instruções compreensíveis e não ambíguas sobre como avaliar as respostas dividindo-as em componentes claras e mensuráveis. Questões sobre o HCTA representam cinco categorias de aplicação de CT: teste de hipótese (por exemplo, compreender os limites do raciocínio correlacional e como saber quando alegações causais não podem ser feitas), raciocínio verbal (por exemplo, reconhecendo o uso de linguagem difusa ou enganosa) reconhecer a estrutura dos argumentos, como examinar a credibilidade de uma fonte e como julgar os próprios argumentos), julgando a probabilidade e a incerteza (por exemplo, aplicando princípios relevantes de probabilidade, como evitar o excesso de confiança em certas situações) e resolvendo problemas (por exemplo o objetivo do problema, gerando e selecionando soluções entre alternativas).
Até o desenvolvimento do HCTA, eu teria recomendado o CCTST para medir CT, apesar de suas limitações. O que é bom sobre o CCTST é que ele avalia as três principais habilidades da CT: análise, avaliação e inferência, que outras escalas não explicitam (explicitamente). Então, se você estivesse interessado em avaliar a habilidade de sub-habilidades dos alunos, isso seria útil. No entanto, como sabemos, embora o desempenho da habilidade de CT seja uma sequência, também é um agrupamento dessas habilidades – o que significa que, para qualquer problema ou tópico, cada habilidade é necessária. Ao administrar um problema de análise, um problema de avaliação e um problema de inferência, em que o aluno obtém notas altas para todos os três, isso não garante que o aluno aplicará esses três a um problema mais amplo que exija os três. Ou seja, essas perguntas não medem a capacidade de habilidade da TC em si, e sim a habilidade de análise, habilidade de avaliação e habilidade de inferência isoladamente. Simplesmente, pontuações podem predizer o desempenho das habilidades de CT, mas elas não medem isso.
O que pode ser um melhor indicador do desempenho da TC é a avaliação da aplicação da TC. Como abordado acima, existem cinco aplicações gerais da TC: teste de hipóteses, raciocínio verbal, argumentação, resolução de problemas e julgamento de probabilidade e incerteza – todos os quais requerem um agrupamento de análise, avaliação e inferência. Embora as sub-habilidades de análise, avaliação e inferência não sejam medidas diretamente neste caso, sua colação é medida através de cinco aplicações distintas; e, a meu ver, fornece uma avaliação mais verdadeira da CT. Além de avaliar a TC por meio de um formato aberto de resposta curta, o HCTA mede a TC de acordo com as cinco aplicações da TC; assim, recomendo seu uso para medir a TC.
No entanto, isso não quer dizer que o HCTA é perfeito. Embora seja composto por 25 perguntas abertas, seguidas de 25 perguntas específicas que investigam o raciocínio por trás de cada resposta, quando a usei pela primeira vez para avaliar uma amostra de alunos, descobri que, na configuração do meu arquivo de dados, havia 165 oportunidades de pontuação no teste. Pesquisas anteriores recomendam que a avaliação leve aproximadamente entre 45 e 60 minutos para ser concluída. No entanto, muitos dos meus participantes relataram que requer mais de duas horas (às vezes mais). É uma avaliação longa – completa, mas longa. Felizmente, versões encurtadas e adaptadas já estão disponíveis, e é uma versão adaptada que eu atualmente administro para avaliar a CT. Outra limitação é que, apesar do raciocínio acima, seria bom ter alguma indicação de como os participantes se envolvem com as sub-habilidades de análise, avaliação e inferência, já que eu acho que há um potencial elemento preditivo na relação entre os habilidades individuais e as aplicações. Com isso, suponho que seja possível administrar tanto o HCTA quanto o CCTST para avaliar tais hipóteses.
Embora seja obviamente importante considerar como as avaliações realmente medem a CT e a natureza em que cada uma é limitada, o macro-problema mais amplo ainda requer reflexão. Assim como as conceitualizações da CT variam, também aumenta a confiabilidade e a validade das diferentes medidas de TC, o que levou Abrami e colegas (2008, p. 1104) a perguntar: “Como saberemos se uma intervenção é mais benéfica do que outra? Abram e seus colegas acrescentam que, mesmo quando os pesquisadores declaram explicitamente que estão avaliando a CT, ainda existe o grande desafio de garantir que os resultados medidos estejam relacionados, de alguma forma significativa, com a avaliação da CT. à conceituação e definição operacional da TC que informou a prática docente em casos de pesquisa intervencionista. Muitas vezes, a relação entre os conceitos de CT ensinados e os que são avaliados não é clara, e uma grande maioria dos estudos nessa área não inclui nenhuma teoria para ajudar a elucidar essas relações.
Em conclusão, resolver o problema da consistência na conceituação, treinamento e medida de CT não é tarefa fácil. Penso que os recentes avanços no desenvolvimento da escala de TC (por exemplo, o desenvolvimento do HCTA e suas versões adaptadas) diminuíram o problema, uma vez que agora fazem a ponte entre a teoria atual e a avaliação prática. No entanto, esses avanços precisam ser mais claros para as populações interessadas. Como sempre, estou muito interessado em ouvir de qualquer leitor que possa ter algum insight ou sugestões!
Referências
Abrami, PC, Bernard, RM, Borokhovski, E., Wade, A., Surkes, MA, Tamim, R., e Zhang, D. (2008). Intervenções instrucionais que afetam as habilidades e disposições do pensamento crítico: Uma meta-análise do estágio 1. Revisão de pesquisa educacional, 78 (4), 1102–1134.
Adams, MH, Whitlow, JF, Stover, LM e Johnson, KW (1996). Pensamento crítico como um resultado educacional: uma avaliação das ferramentas atuais de medição. Enfermeira Educadora, 21, 23-32.
Dwyer, CP (2017). Pensamento crítico: perspectivas conceituais e diretrizes práticas. Cambridge, UK: Cambridge University Press.
Dwyer, CP, Hogan, MJ & Stewart, I. (2014). Um quadro de pensamento crítico integrado para o século XXI. Thinking Skills & Creativity, 12, 43-52.
Ennis, RH, Millman, J. e Tomko, TN (1985). Testes de pensamento crítico de Cornell. CA: Critical Thinking Co.
Ennis, RH, & Weir, E. (1985). Ennis-Weir, ensaio de reflexão crítica. Pacific Grove, CA: Publicações Midwest.
Facione, PA (1990a). O teste de habilidades de pensamento crítico da Califórnia (CCTST): Formulários A e B, o manual de teste CCTST. Millbrae, CA: California Academic Press.
Facione, PA (1990b). O relatório Delphi: Comitê sobre filosofia pré-universitária. Millbrae, CA: California Academic Press.
Halpern, DF (2003b). O “como” e “por que” da avaliação do pensamento crítico. Em D. Fasko (Ed.), Pensamento crítico e raciocínio: Pesquisa atual, teoria e prática. Cresskill, NJ: Hampton Press.
Halpern, DF (2010). A avaliação do pensamento crítico Halpern: Manual. Viena: Schuhfried.
Ku, KYL (2009). Avaliando o desempenho do pensamento crítico dos alunos: Solicitando medições usando o formato de resposta múltipla. Habilidades de Raciocínio e Criatividade, 4, 1, 70-76.
Taube, KT (1997). Capacidade de raciocínio crítico e disposição como fatores de desempenho em um teste de pensamento crítico escrito. Journal of General Education, 46, 129-164.
Watson, G. e Glaser, EM (1980). Avaliação do pensamento crítico de Watson-Glaser. Nova York: Corporação Psicológica.