De Chimps a Champs

Estou preocupado com a forma como alguns profissionais assumem uma posição desdenhosa, mesmo desdenhosa, em relação a especialistas.

Os especialistas têm habilidades que vão muito além de tudo o que o resto de nós pode fazer. Eles vêem coisas que são invisíveis para os outros. Eles fazem conexões e inferências que nunca pensamos. Eles mancham problemas que perderíamos até que fosse tarde demais. Grande parte da minha carreira gira em torno do estudo de especialistas, tentando aprender alguns dos seus segredos.

Certamente, os especialistas em um campo nunca são perfeitos. Eles podem ser excessivamente confiantes. Eles podem estar enganados. Portanto, é razoável ter uma visão cética de especialistas, especialmente quando os especialistas são autoproclamados, como especialistas em notícias de televisão. Um ceticismo saudável convida a investigação sobre o quão bom é um especialista e o que é preciso para se tornar um especialista.

O que me perturba é uma atitude que vai além do ceticismo saudável para o desprezo irrepreensível – que os especialistas em um campo, qualquer campo, não devem ser levados a sério.

Eu primeiro encontrei sinais dessa atitude desdenhosa quando participei de conferências sobre julgamento e tomada de decisão. Os pesquisadores da tradição Heurística e Biases relataram experiências alegadas que mostram que mesmo os especialistas foram presos aos preconceitos. Em 1971, Tversky e Kahneman relataram que os estatísticos experientes fizeram escolhas precárias quando seguiram sua intuição sobre a generalização de pequenas amostras. McNeil et al., (1982) relataram que os médicos experientes eram tão suscetíveis a efeitos de enquadramento sobre como tratar câncer de pulmão como estudantes de pós-graduação e pacientes ambulatoriais. Mesmo os especialistas foram inerentemente tendenciosos em seus julgamentos. A lição foi: você não pode confiar em especialistas.

O campo Judgment and Decision Making atribui especial importância ao trabalho de Paul Meehl (1954), que realizou uma série de estudos que mostram que os modelos estatísticos lineares excederam ou concordaram com os julgamentos clínicos de especialistas, sugerindo que seria melhor substituir os julgamentos dos especialistas com os modelos estatísticos. (O que não recebe muita atenção é que os fatores carregados nos modelos estatísticos lineares vieram dos próprios especialistas, o principal benefício das estatísticas foi aumentar a consistência.)

Um artigo de Kahneman e Klein (2009) colocou o assunto sem rodeios: "A posição básica dos pesquisadores da Heurística e Biases, como eles consideram especialistas, é de ceticismo. Eles são treinados para procurar oportunidades para comparar o desempenho dos especialistas com o desempenho por modelos ou regras formais e esperar que os especialistas fiquem mal em tais comparações. "(Pág. 518)

Então eu observei essa atitude desdenhosa sobre especialistas por muitos anos, mas depois alguns meses atrás aconteceu algo que realmente me alarmou.

Um colega meu, Joseph Borders, foi abordado por um gerente de uma grande empresa petroquímica sobre a criação de um programa de treinamento de habilidades cognitivas para os operadores de painéis que controlam unidades maciças dentro de uma fábrica. Esses operadores de painéis trabalham sob tremendo estresse. Se eles desnecessariamente desligam uma fábrica, os custos da produção perdida podem chegar a milhões de dólares. Mas se eles não conseguem desligar uma planta com defeito, eles podem desencadear uma explosão que tem consequências maiores em termos de dólares e vidas. Joey e eu podíamos ver por que o gerente da fábrica gostaria de criar experiência nos operadores do painel.

No entanto, o projeto nunca saiu. Meses depois, o gerente nos explicou com tímido que o plano para construir a experiência de operadores de painéis havia sido bloqueado por um superior que explicou que a planta não precisava de seus operadores de painel para tomar melhores decisões porque os operadores estavam desesperadamente tendenciosos. Em vez disso, ele pretendia tirar a decisão de suas mãos e confiar em algum tipo de Inteligência Artificial.

Obviamente, fiquei atordoada com esta explicação. Não só a do executivo na Inteligência Artificial foi mal colocada (o conhecimento tácito necessário para detectar sugestões sutis pode levar anos para se desenvolver), mas a desconfiança do executivo contra os operadores do painel parecia uma atitude muito perigosa. E se os executivos da fábrica de petroquímicos estão agora agindo em seus temores de preconceitos em seus operadores de painel, isso sugere o quão longe a campanha para desacreditar especialistas veio.

De onde vem esse medo de especialistas? Em grande parte da comunidade Heurística e Biases, e os estudos mostram que os especialistas demonstram os mesmos tipos de viés que novatos. Essas descobertas danificam a reputação de especialistas.

Claro, a situação pode não ser tão sombria quanto os proclamadores dos céticos. Primeiro, o efeito dos viés de julgamento pode ser exagerado. Vários estudos descobriram que os julgamentos de decisão e decisão se tornam mais fracos ou desaparecem quando as pessoas recebem tarefas naturalistas e não artificiais. Em segundo lugar, os preconceitos resultam do uso de heurísticas, e as heurísticas são muito úteis. A comunidade Heurística e Biase realizou pouca ou nenhuma pesquisa sobre os benefícios do uso de heurísticas; esses benefícios devem ultrapassar as desvantagens. Em terceiro lugar, as pessoas que são mais propensas a usar heurísticas e comprometer vieses e que violam os preceitos das estatísticas bayesianas, fazem muito bem na vida. Berg & Gigerenzer (2010) relataram que ganharam mais dinheiro e realizaram crenças mais precisas em comparação com as pessoas que se alinharam com as estratégias de escolha racional.

Então, onde isso nos deixa? Há uma série de razões convidadas pelas quais as pessoas querem descartar a perícia. Eu não acho que essas razões levem-se bem ao escrutínio, mas isso não importa se eles não são examinados. Não importa se a única mensagem que vem é que temos que tomar decisões fora das mãos dos especialistas.

Portanto, acho que precisamos ser mais enérgicos ao transmitir uma mensagem diferente, essa experiência é importante. Precisamos realizar mais pesquisas e coletar mais evidências que demonstrem o que os especialistas podem realizar. Um exemplo é o trabalho de Jim Staszewski (2008), professor da Universidade Carnegie Mellon. O exército dos EUA gastou US $ 38 milhões no desenvolvimento de lenhadores de drenos melhorados, mas quando foram testados não forneceram nenhuma vantagem em relação ao modelo anterior, ambos tiveram uma taxa de detecção de 20%. Staszewski e seus colegas localizaram dois engenheiros do Exército que dominaram o novo equipamento. Quando testados, esses especialistas alcançaram resultados dramáticos, mais de 90% de taxas de detecção. A equipe de pesquisa então construiu um curso para ensinar novos engenheiros do exército a usar o novo tipo de dragadeira de forma eficaz. Isso é o que os especialistas podem comprá-lo.

Kahneman e Klein (2009) identificaram as condições necessárias para que as pessoas adquiram conhecimentos intuitivos: um ambiente razoavelmente bem estruturado em oposição ao caótico e a oportunidade de obter feedback significativo sobre julgamentos e decisões. Concluímos que, nas palavras de Kahneman, "uma psicologia do juízo profissional que ignora habilidades intuitivas é seriamente piscada" (página 525).

Phil Tetlock ilustra o tipo de transição que pode transformar a maré. Tetlock (2005) relatou os resultados de um estudo sobre a precisão de previsão de especialistas e especialistas líderes, tendo em vista alvos claros de previsão (por exemplo, "Devemos esperar nos próximos dez anos gastos de defesa como porcentagem das despesas do governo para aumentar, cair ou continue o mesmo?"). Os resultados foram lúgubres – não muito melhor do que seria alcançado por um chimpanzé lançando dardos. Tetlock concluiu que "a humanidade quase não supera o chimpanzé" (p. 51). Naturalmente, a experiência dos céticos ficou encantada.

No entanto, dez anos depois, Tetlock fazia parte de uma equipe de pesquisa liderada por Barbara Mellers que tentava desenvolver conhecimentos de previsão. E eles conseguiram, conforme descrito no livro Supertecasting de Tetlock e Gardner (2015). Tetlock mostrou que os amadores, que não fazem parte de nenhuma agência governamental, conseguiram superar os analistas profissionais e ganhar um campeonato de previsão. Esses superforistas não eram apenas sortudos. Eles mantiveram seus altos níveis de precisão de previsão em vários anos. Claro, 30% dos superforecistas abandonaram as principais classificações da amostra, mas 70% ficaram no topo. O seu desempenho decorreu da pesquisa, análise, autocrítica e reunindo as perspectivas dos outros. Eles trabalharam arduamente para desenvolver e manter seu nível de experiência e conseguiram magnificamente.

No primeiro projeto Tetlock, os especialistas não eram muito melhores que os chimpanzés. No segundo projeto, eles eram campeões. A apreciação de Tetlock sobre os especialistas mudou enquanto trabalhava com eles e os observava em ação. Sua transição deve inspirar os outros a soltar seus preconceitos sobre especialistas e levar a experiência mais a sério.