Como podemos identificar os especialistas?

Sete critérios para decidir quem é realmente credível.

Queremos diretrizes pragmáticas para decidir quais especialistas pretendem ouvir ao tomar uma decisão difícil e importante. Como podemos saber quem é realmente credível?

Resumindo: não podemos saber com certeza. Não há critérios de ferro.

No entanto, existem critérios flexíveis, indicadores nos quais podemos prestar atenção. Eu identifiquei sete até agora, com trabalhos como Crispen & Hoffman, 2016, e Shanteau, 2015, e sugestões de Danny Kahneman e Robert Hoffman. Mesmo que nenhum desses critérios seja à prova de erros, todos parecem úteis e relevantes:

(a) Desempenho bem-sucedido – histórico mensurável de tomar boas decisões no passado. (Mas, com uma grande amostra, algumas fazemos muito bem apenas por sorte, como os catadores de ações que chamaram a direção do mercado com precisão nos últimos dez anos.)

(b) respeito pelos pares. (Mas as avaliações dos pares podem ser contaminadas pelo porte confiante de uma pessoa ou pela articulação fluente das razões para as escolhas.)

(c) Carreira – número de anos realizando a tarefa. (Mas alguns veteranos de 10 anos têm um ano de experiência repetido 10 vezes e, pior ainda, algumas vocações não oferecem nenhuma oportunidade para um feedback significativo.)

d) Qualidade do conhecimento tácito, como modelos mentais. (Mas alguns especialistas podem ser menos articulados porque o conhecimento tácito é por definição difícil de articular).

(e) Confiabilidade. (A confiabilidade é necessária, mas não é suficiente. Um relógio que é consistentemente uma hora lenta será altamente confiável, mas completamente impreciso).

(f) Credenciais – licenciamento ou certificação para obtenção de padrões profissionais. (Mas as credenciais significam apenas um nível mínimo de competência, não a obtenção de experiência.)

(g) Reflexão. Quando eu pergunto “Qual foi o último erro que você cometeu?”, Os especialistas mais credíveis descrevem imediatamente um erro recente que vem sendo com eles. Em contraste, os trabalhadores que se apresentam como especialistas costumam dizer que não conseguem pensar em nenhum; eles parecem sinceros, mas, é claro, podem estar fingindo. E alguns especialistas reais, ao serem questionados sobre erros recentes, podem, por várias razões, optar por não compartilhar nenhum deles, mesmo aqueles sobre os quais estão ruminando. Portanto, este critério de reflexão e franqueza não é mais infalível que os outros.

Portanto, mesmo que não saibamos com certeza, ainda podemos fazer julgamentos sobre quem considerar um especialista. Veja o critério (d) acima. O conhecimento tácito inclui habilidades perceptivas. Considere os comentaristas em eventos olímpicos como mergulho. Eles vêem coisas que não vemos até que nos mostrem em câmera lenta. Eu os chamaria de especialistas. O reconhecimento de padrões é outro aspecto do conhecimento tácito. Os bombeiros que eu estudo usam o reconhecimento de padrões para avaliar situações que me parecem desconcertantes – e eventos subsequentes confirmam seus julgamentos. Eu os considero especialistas. Antecipação é outro aspecto do conhecimento tácito. Em um incêndio, estou olhando para o tamanho e a intensidade das chamas e especulando sobre qual equipamento adicional será necessário. Mas os comandantes experientes estão pensando em onde posicionar esse equipamento – onde colocar cada caminhão de forma que ele não atrapalhe os outros caminhões ou atropele as mangueiras. Eles estão bem à frente de mim. Eu os considero especialistas. Modelos mentais são outro tipo de conhecimento tácito. Os operadores de plantas petroquímicas que acabei de estudar podem descrever as unidades na planta e as formas como estão conectadas e como funcionam, mas também como elas não funcionam, como elas tendem a quebrar, como um evento sutil, por exemplo, a falha de um sensor afetará o desempenho e como ele pode ser detectado e como você pode contorná-lo. Eles estão cientes das causas e interações causais que eu não posso nem imaginar. Eu os considero especialistas.

Volte para o pensamento antecipatório. Durante a Crise dos Mísseis de Cuba em 1962, alguns membros da equipe de John F. Kennedy queriam lançar um ataque surpresa contra Cuba. Outros, os verdadeiros especialistas, apontaram a probabilidade de a URSS retaliar com um ataque contra Berlim Ocidental, o que provavelmente desencadearia uma guerra nuclear. Então eles não estavam oferecendo previsões. Em vez disso, eles estavam usando seus modelos mentais para ilustrar as implicações geopolíticas. Eu considero este segundo grupo como especialistas. Eles viram coisas, viram implicações, outras não.

Meu ponto aqui é que o critério (d) nos oferece uma grande influência na avaliação de quem é um especialista. Oferece-nos uma medida transitiva – vendo coisas que os outros não fazem. Indo no registro como ver coisas que acabam sendo precisas. Isso é o que os especialistas fazem e é o que os marca como especialistas. Klein e Hoffman (1993) fornecem uma discussão adicional sobre como os especialistas podem ver o invisível – o conhecimento tácito que forma o núcleo da Estratégia (d).

Essa vantagem relativa, especialistas em relação a todos nós, é uma perspectiva diferente do que adotar um critério absoluto de quão próximos estão os supostos especialistas da resposta real. Quando as pessoas demonstram que vêem coisas importantes que eu não notei, é quando eu decido confiar em seus conhecimentos. Eu não espero que eles sejam perfeitos. Mas eu aprecio que eles sejam muito melhores do que eu e melhores que os outros na sala.

Danny Kahneman (comunicação pessoal) sugeriu uma adição à Estratégia (d): Dizer coisas originais que não são bobas. Essa é outra maneira pela qual os especialistas se revelam através de seus comentários e observações.

Ponto menor: eu não vejo uma delineação ou um estágio aguçado de se tornar um especialista. Eu vejo isso como um continuum, como uma vantagem relativa sobre os outros.

Existem especialistas em todos os campos da empresa humana? Acho que não. Existem campos muito processados. As pessoas são consideradas especialistas se souberem a que página do manual de procedimentos se dirigir. Não os considero especialistas e não acredito que haja especialistas em todos os campos. De fato, com alta rotatividade, estou vendo muitos campos que não têm especialistas.

E os astrólogos? Em eras pré-científicas, os astrólogos desenvolveram conhecimento tácito e eram altamente articulados e eram considerados especialistas. Em um mundo pré-científico, as pessoas não considerariam a maioria dos critérios que listei no começo deste ensaio. Descartamos (a) o desempenho bem-sucedido e (d) a qualidade do conhecimento tácito e (e) a medição da confiabilidade e (f) a certificação profissional. Isso deixa (b) respeito e (c) carreira. Então, sim, em um mundo pré-científico, um astrólogo altamente articulado passa pela lista. Igual a um seletor de ações ou comentarista político da TV até hoje.

Finalmente, vamos examinar a confiabilidade do critério (e). Este critério é necessário, mas não é suficiente. É necessário porque a credibilidade do especialista depende da geração das mesmas recomendações dadas as mesmas entradas.

Algumas pessoas gostariam de expandir a noção de confiabilidade para cobrir a confiabilidade entre especialistas, mas Jim Shanteau (2015), um dos maiores especialistas em expertise, apontou que há valor em ter diferentes especialistas expressando perspectivas variadas. Frequentemente usamos especialistas, não como prognosticadores, mas como consultores e podemos nos beneficiar de seus pontos de vista divergentes.

Portanto, estamos realmente procurando confiabilidade dentro do especialista. Shanteau mostrou que a confiabilidade dentro do especialista varia de acordo com o domínio. Para os meteorologistas que fazem previsões de curto prazo, a confiabilidade dentro do especialista é de 0,98. Para outros domínios, ainda é considerável, embora muito reduzido, mas acredito ainda muito maior do que para os novatos, por exemplo, r = 0,62 para os inspetores de grãos e r = 0,40 para os psicólogos clínicos.

No entanto, não acho que podemos apenas olhar para a confiabilidade estatística. Acho que também temos que examinar a confiabilidade do processo. Considere a confiabilidade teste-reteste. Você administra um teste de 10 itens no Tempo-1 e, em seguida, administra o mesmo teste no Tempo-2. Se eu marcar 5/10 no Time-1 e 5/10 no Time-2, você provavelmente contaria isso como indicativo da confiabilidade Teste-Reteste. Eu tenho a mesma pontuação nas duas vezes.

Mas digamos que eu peguei os primeiros 5 itens no Time-1 e recebi os últimos 5 itens no Time-2. Mesmo tendo obtido a mesma pontuação 5/10 nas duas vezes, meu desempenho foi completamente diferente. Meu resultado mostra total falta de confiabilidade, não confiabilidade. É por isso que estou argumentando que precisamos de um segundo critério, um critério de processo, além do critério estatístico.

Além disso, precisamos ser cuidadosos com um critério de confiabilidade, porque não queremos encorajar as pessoas a se esforçarem por uma confiabilidade muito alta – o que estimularia a rigidez em vez da exploração contínua que é fundamental para se tornar um especialista.

Então, sete critérios. Para ser considerado um especialista, uma pessoa deve cumprir pelo menos um desses critérios, e é provavelmente uma boa ideia esperar que a pessoa atenda a pelo menos dois ou três critérios. Não devemos tentar limitar o número de critérios atendidos porque a qualidade também é importante, especialmente com o critério (d) da qualidade das ideias de uma pessoa. E também devemos estar atentos a critérios que possam nos enganar, como a atitude confiante da pessoa.

Podemos tentar nos tornar mais hábeis em identificar especialistas, fazer julgamentos e obter feedback, e refletir sobre o que deveríamos ter percebido e o que deveríamos ter descontado. Dessa forma, talvez possamos desenvolver expertise na identificação de especialistas.

Referências

Crispen, P. & Hoffman, RR (2016). Quantos especialistas? IEEE Intelligent Systems, novembro / dezembro, 56-62.

Klein, GA & Hoffman, RR (1993). Vendo o invisível: aspectos perceptivos / cognitivos da perícia. Em M. Rabinowitz (Ed.), Fundamentos da ciência cognitiva da instrução (pp. 203-226). Mahwah, NJ: Lawrence Erlbaum Associates.

Shanteau, J. (2015). Por que os domínios de tarefas (ainda) são importantes para entender os conhecimentos. Jornal de Pesquisa Aplicada em Memória e Cognição, 4, 169-175.