Aqui está uma regra prática para você: O entusiasmo de um indivíduo em relação ao emprego de “dados” na educação é diretamente proporcional à distância que ele tem dos alunos reais. Os formuladores de políticas e economistas geralmente se referem a crianças no agregado, aparentemente vendo-as principalmente como uma fonte de números a serem triturados. Eles fazem isso ainda mais do que consultores e superintendentes, que fazem isso mais do que os diretores, que fazem mais do que os professores. Os melhores professores, na verdade, tendem a recuar da conversa séria sobre os benefícios da “instrução orientada por dados”, o uso de “treinadores de dados”, “paredes de dados” e coisas do gênero.
Para piorar a situação, os dados em questão normalmente são apenas pontuações de testes padronizados – embora, como já expliquei em outro lugar, essa não seja a única razão para ser perturbado por esse datamongering. E isso não ajuda quando o processo de quantificação de crianças (e aprendizado) é adornado com adjetivos como “personalizados” ou “personalizados”.
Mas aqui está a pergunta de hoje: se coletar e classificar os dados sobre os alunos nos deixa desconfortáveis, como devemos nos sentir sobre o crescente papel do Big Data?
Vamos começar observando que esse termo não parece ter um único significado preciso. Algumas pessoas assumem que se refere apenas a reunir mais informações numéricas. Alguns dizem que se refere principalmente às técnicas de modelagem estatística usadas para fazer previsões baseadas em quaisquer dados que tenham sido coletados. E pelo menos um escritor acredita que o termo agora é usado principalmente pelos críticos – para se referir a uma atitude preocupantemente reverente aos dados.
Para ser justo, aspirar grandes quantidades de descritores numéricos às vezes nos permite ver padrões e fazer previsões. Como uma vista aérea, oferece uma perspectiva única que tem seus usos. Christian Rudder defende o big data em seu livro Dataclysm de 2014, e sua capacidade de persuasão pode depender em parte do fato de ele ser engraçado, despretensioso, politicamente progressista e gostar de falar sobre sexo. “Não são números que nos negarão nossa humanidade; é a decisão calculada de deixar de ser humano ”, argumenta ele em um ponto.
Mas temo que isso seja apenas uma versão do velho canard de que a tecnologia, por si só, é neutra, que tudo depende de como ela é usada. Até agora, deveríamos ter percebido que os métodos deixam uma marca nos objetivos e a tecnologia, em particular, tem um impacto causal. (Leia o livro de Neil Postman, Amusing Ourselves to Death, e The Shallows, de Nicholas Carr, se você ainda não está convencido.) A redução imprudente de seres humanos em números é ofensiva, independentemente do que é feito com esses números. Uma visão aérea, por definição, não consegue captar a individualidade das pessoas no terreno, e há um preço a pagar se passarmos os nossos dias a olhar para a humanidade – ou mesmo para a literatura [1] – dessa forma.
Parte do problema é que acabamos ignorando ou minimizando a importância do que não se presta à análise de dados. É como a velha piada sobre o cara à procura de suas chaves perdidas à noite perto de uma luz da rua, mesmo que não seja onde ele as deixou cair. (“Mas a luz é muito melhor aqui!”) Não admira que a pesquisa em educação – cada vez mais realizada por economistas – dependa cada vez mais de enormes conjuntos de dados que consistem em resultados de testes padronizados. Essas pontuações podem ser péssimas representações de aprendizado – e, na verdade, notoriamente enganosas. Mas, pela goma, eles com certeza estão prontamente disponíveis.
“O que é deixado de fora?”, Então, é uma questão crítica para perguntar. Outra é: “Quem se beneficia disso?” Noam Scheiber, um repórter que cobre questões sobre o local de trabalho, observou recentemente que o big data está “aumentando maciçamente a assimetria de poder entre exploradores e exploradores.” (Para mais informações, confira Cathy O’Neil’s livro Weapons of Math Destruction . [2]) E essas questões precisam ser perguntadas sobre big data na educação tanto quanto em qualquer outro lugar. No contexto da escolaridade K-12, como já observei, isso geralmente envolve testes padronizados – não apenas um exame somatório, e muitas vezes de alto risco, mas um regime implacável de testes (reagrupados como “avaliação formativa”). isso significa dirigir o ensino ao longo do ano. Ultimamente, essa mesma sensibilidade redutora tem se infiltrado no ensino superior, para o desalento de muitos que ensinam lá, sob a bandeira da “avaliação dos resultados de aprendizagem”.
Mas os “dados” na faculdade também podem se referir às notas. [3] Um estudo de caso interessante apareceu no início de 2017, em uma descrição quase acrítica que apareceu no New York Times . Parece que várias empresas convenceram as universidades a pagar por programas de computador que usam análise preditiva para monitorar o progresso dos alunos, a ideia é descobrir quando um grau baixo em um determinado curso pode estar associado a um risco de abandono em algum momento. “Nosso grande volume de dados não precisa saber exatamente por que um aluno recebe nota ruim”, explicou um administrador. “Estamos olhando para um padrão.”
O que os analistas de dados estão vendendo é a capacidade de compactar mais números, de olhar não apenas para os GPAs, mas para as notas individuais dos cursos (de todos os alunos). Observe que ninguém está propondo identificar problemas se sentando com os alunos e perguntando como estão as coisas – pelo menos não até que o computador sinalize aqueles que estão tendo problemas. O diagnóstico de risco é baseado no que o software diz sobre suas notas e não no que os próprios alunos podem dizer.
Além disso, somos convidados a aceitar que, se os alunos não obtiverem uma boa nota neste curso, eles provavelmente também não terão uma – e isso reflete uma lacuna com os alunos, e não com a qualidade dos cursos – sendo ensinado e como. A empolgação com o big data – mais números do que nunca! – É uma distração sedutora de colocar questões preocupantes sobre o que esses números representam. Ou o que eles necessariamente excluem.
Por analogia, pense nas afirmações generalizadas de que “os estudos mostram” que é vantajoso fazer os alunos fazerem cursos avançados de matemática no ensino médio. Tais afirmações são citadas com reverência, apesar de oferecerem um exemplo didático do que é chamado de efeito de seleção: não é tanto que o cálculo ajude os alunos, mas que os tipos de alunos que fazem cálculos tendem a se sair bem mais tarde. Segundo, “benéfico” frequentemente significa “correlacionado com o sucesso nos cursos de matemática subseqüentes”, o que levanta a questão de por que a grande maioria dos estudantes precisa de qualquer um deles. [4] (A pesquisa também prova convincentemente que é vantajoso levar o latim 1 … no sentido de que isso irá melhorar muito as notas de alguém em latim 2.) Meu ponto é que o mesmo vale para os pronunciamentos sobre o valor das estatísticas para se concentrar no cursos de introdução, onde é supostamente vital para obter uma boa nota.
Qualquer um que tenha observado o entusiasmo em treinar os alunos para mostrar mais “coragem” ou desenvolver uma “mentalidade de crescimento” deve saber o que significa concentrar-se em consertar o garoto para que ele possa se adaptar melhor ao sistema, em vez de fazer perguntas inconvenientes sobre o sistema. próprio sistema. O Big Data basicamente nos fornece mais informações, com base nas notas, sobre as quais as crianças precisam corrigir (e como e quando), tornando ainda menos provável que alguém pense em desafiar os efeitos destrutivos de – e explorar alternativas para – a prática de classificar os alunos [5]
A análise preditiva permite que os administradores acreditem que estão atentos às suas cobranças quando, de fato, não estão aprendendo nada sobre a experiência da faculdade de cada aluno, suas necessidades, medos, esperanças, crenças e estado de espírito. A criação de um conjunto de dados “personalizado” ressalta o quão pessoal é a interação com os alunos e pode até mesmo agravar esse problema. Ao mesmo tempo em que essa abordagem reduz os seres humanos a uma pilha de dados de desempenho acadêmico, também desestimula o pensamento crítico sobre como o sistema, incluindo o ensino e a avaliação, afeta esses seres humanos.
Nenhuma dessas objeções é abordada pela coleta de dados sobre outros aspectos da vida dos alunos também. O mesmo artigo do New York Times descreve um experimento com “rastrear calouros … quando eles passam seus cartões de identificação para ir à biblioteca ou academia, pagar por uma refeição no refeitório ou comprar uma camiseta na livraria” em uma tentativa de medir interação ”. Esses dados não nos permitem afirmar que conhecemos um determinado aluno. Nem nos levam a examinar questões estruturais subjacentes com sua educação. O que a expansão de big data faz é levantar preocupações adicionais sobre o Big Brother, já que mais atividades dos alunos estão sendo monitoradas. (Também sugere a possibilidade perturbadora de que algumas escolas possam sinalizar aos alunos em risco para não ajudá-los, mas para se livrar deles, a fim de melhorar a taxa de conclusão da instituição dentro do prazo.)
Quando os educadores reduzem os alunos aos dados, eles perdem muita coisa. Quando eles confiam em big data, eles podem estar tornando as coisas ainda piores.
NOTAS
1. Sim, trituradores de números se propuseram a tarefa de tirar conclusões sobre a literatura baseada em tabulações de computador da aparência de palavras específicas em uma vasta coleção de livros. Se a sua reação é que alguma coisa importante foi perdida, a mesma reação provavelmente seria apropriada quando o big data é usado na educação ou na psicologia.
2. Veja também a Black Box Society de Frank Pasquale e esta bibliografia de outras críticas. Para uma breve revisão das preocupações metodológicas – um lembrete de que os dados muitas vezes nos dizem muito menos do que supomos, veja este ensaio.
3. Este deve ser um lembrete útil de que o problema não é apenas com uma métrica específica, mas com o excesso de confiança na própria quantificação. Em vez de perguntar “Como medimos …?”, Educadores e formuladores de políticas devem perguntar “Como avaliamos …?”, A fim de evitar o bloqueio no subconjunto de avaliações que exige uma redução nos números.
4. Sobre o primeiro ponto, ver o falecido Grant Wiggins, “Um Diploma que Vale a Pena”, Liderança Educacional , março de 2011, pp. 31-2. No segundo ponto, ver Andrew Hacker, O Mito da Matemática – E Outros Delírios do Tronco (Nova Imprensa, 2016). Veja também Nicholson Baker, “Resposta Errada: O Caso Contra a Álgebra II”, Harper’s , setembro de 2013, pp. 31-8.
5. Ouvi dizer que, sob a influência do guru da administração W. Edwards Deming, quando um trabalhador da linha de montagem da Toyota se ferrou, os gerentes apertavam sua mão e lhe agradeciam por ajudar a expor uma falha de projeto no sistema. Esses gerentes perceberam que o sistema é o principal responsável pelo sucesso ou fracasso de indivíduos em um local de trabalho – o que indica que recompensar ou punir pessoas (por exemplo, com planos de incentivo e outros esquemas de pagamento por desempenho) não é apenas manipulativo e destrutivo. motivação intrínseca, mas também simplesmente um exercício em perder o ponto.