A guerra contra especialistas

Existe um esforço intencional para reduzir nossa confiança em especialistas e para pôr em dúvida a própria experiência. Este esforço, em muitos aspectos, parece uma guerra travada para o território intelectual, credibilidade científica, ganho político e mesmo econômico.

No entanto, minha opinião é que a maioria das reivindicações desses negadores de especialistas são enganosas e que os argumentos tendem a ser declarações excessivas. Mas essas afirmações e argumentos não podem simplesmente ser ignorados porque eles estão tendo algum efeito. Portanto, eu quero refutar as afirmações enganosas e os argumentos exagerados. Meus colegas e eu preparamos várias réplicas: um capítulo que também é intitulado "The War on Experts" (Klein et al., Na imprensa) e um breve artigo (Klein et al., 2017) com base neste capítulo. Também estarei dando uma apresentação sobre a guerra contra peritos em um painel na reunião de Fatores Humanos e Ergonomia em outubro de 2017 em Austin, Texas.

Neste ensaio, quero resumir resumidamente os principais temas do capítulo e do artigo.

As cinco comunidades envolvidas nesta guerra em peritos são: Research, Heuristics & Biases (HB), Sociologia, Performance baseada em Evidências e Tecnologia da Informação.

• O que cria conectividade cerebral superior, de acordo com o estudo
• Power Role Play: Dressing for Success faz você bem sucedido
• Coma-se feliz
• Lendo demais no livro de rosto real
• Por que meu filho odeia matemática?

Fonte: Ben Shneiderman, usado com permissão

Pesquisa de decisão . Os estudos primários realizados por esta comunidade mostraram que os modelos estatísticos superam os especialistas. No entanto, o que muitas vezes é esquecido é que as variáveis ​​nas fórmulas foram originalmente derivadas do conselho de especialistas. A principal vantagem das fórmulas é que eles são consistentes. No entanto, as fórmulas tendem a ser frágeis – quando falham, eles falham miseravelmente. E os experimentos tendem a ser cuidadosamente controlados, evitando as condições desordenadas que os especialistas têm de lidar, como metas mal definidas, condições de deslocamento, altas participações, ambiguidade sobre a natureza e a confiabilidade dos dados. Além disso, a pesquisa geralmente se concentra em medidas únicas e ignora aspectos de desempenho ambíguos e difíceis de quantificar. Finalmente, as vantagens dos métodos estatísticos tendem a ser encontradas em situações ruidosas e complexas nas quais os resultados não são muito precisos, mesmo quando são um pouco melhores que os julgamentos de especialistas.

Heurística e Preconceitos (HB) . Kahneman & Tversky (Tversky & Kahneman, 1974; Kahneman, 2011) mostraram que pessoas, até peritos, são vítimas de vícios de julgamento. No entanto, a maioria da pesquisa HB é com estudantes universitários realizando tarefas artificiais, desconhecidas, sem contexto para orientá-las. Quando os pesquisadores usam um contexto significativo, os viés de julgamento geralmente diminuem. Além disso, as heurísticas geralmente são úteis, como o próprio Kahneman e Tversky apontaram.

Sociologia . Os membros desta comunidade afirmam que a experiência é uma função da comunidade e dos artefatos que envolvem a tarefa, referindo-se à "cognição situada" e à "cognição distribuída". Os especialistas-negadores argumentam que a cognição especializada é socialmente construída e não é uma função de conhecimento individual. Claramente, os fatores de equipe e situacional desempenham um papel no desempenho de especialistas, mas essa posição extrema parece insustentável – substituir os especialistas em uma equipe com jornaleiros e ver como o desempenho geral sofre.

• Eu sei como você se sentiu na noite passada
• O sono eo cérebro social
• Sapolsky em Free Will
• Outra Pílula Limitless atinge o mercado. Isso é fornecido?
• Estudo: mais exercício não é necessariamente melhor para o seu cérebro

Desempenho baseado em evidências . A idéia aqui é que os profissionais, como os médicos, devem basear seus diagnósticos e remédios em evidências científicas em vez de confiar em seus próprios julgamentos. Obviamente, muitos tratamentos de charlatães e superstições injustificadas alcançaram popularidade, e experiências controladas ajudaram a eliminá-las. No entanto, as melhores práticas cientificamente validadas não são um substituto para julgamento experiente, o que é necessário para medir a confiança na evidência, revisar planos que não parecem estar funcionando e aplicar regras simples a situações complexas. Em medicina, os pacientes geralmente apresentam várias condições ao mesmo tempo, enquanto a evidência geralmente pertence a uma condição ou outra.

Tecnologia da Informação . A Inteligência Artificial, a Automação e os Grandes Dados reivindicaram ser capazes de substituir especialistas. No entanto, cada uma dessas reivindicações é injustificada. Vamos começar com AI. Os sistemas inteligentes devem ser capazes de fazer coisas como a previsão do tempo melhor (e mais barato) do que os humanos, mas as estatísticas mostram que os meteorologistas humanos melhoram as previsões da máquina em cerca de 25%, um efeito que permaneceu constante ao longo do tempo. Os sucessos da IA ​​foram em jogos como xadrez, Go e Jeopardy – jogos bem estruturados, com referentes inequívocos e soluções definitivas corretas. Mas os decisores enfrentam problemas perversos com metas pouco claras em situações ambíguas e dinâmicas, condições que estão além dos sistemas de AI. Como Ben Shneiderman e eu observamos em um ensaio anterior, os humanos são capazes de pensar em fronteiras, engajamento social e responsabilidade por ações. Em seguida, olhamos para a automação, que é suposto economizar dinheiro ao reduzir empregos. No entanto, estudos de caso mostram que a automação geralmente depende de ter mais especialistas, projetar os sistemas e mantê-los atualizados e em execução. Além disso, a automação é muitas vezes mal projetada e cria novos tipos de trabalho cognitivo para os operadores. Por último, as abordagens Big Data podem pesquisar muito mais registros e entradas de sensores do que qualquer humano, mas esses algoritmos são suscetíveis a padrões onde nenhum realmente existe. O projeto FluTrends da Google foi divulgado como uma história de sucesso, mas posteriormente falhou tão mal que foi removido do uso. Os algoritmos Big Data seguem as tendências históricas, mas podem perder as saídas dessas tendências. Além disso, os especialistas podem usar suas expectativas para detectar eventos que podem ser muito importantes, mas as abordagens do Big Data desconhecem a ausência de dados e eventos.

Portanto, nenhuma dessas comunidades representa uma ameaça legítima à experiência. Não foi contestada, as exagerações e confusões que estão por trás dessas afirmações podem levar a uma espiral descendente em que os especialistas são rejeitados. Claro, precisamos aprender com as críticas de cada uma dessas comunidades. Precisamos apreciar suas contribuições e capacidades, a fim de ir além da posição contraditória tomada por cada comunidade. Idealmente, seremos capazes de promover um espírito de colaboração em que suas descobertas e técnicas positivas possam ser usadas para fortalecer o trabalho de especialistas.