Mais sobre Dunning-Kruger

Vários anos atrás escrevi uma publicação sobre o efeito Dunning-Kruger. Na época, eu ainda conseguia minhas pernas metafóricas do mar para escrever e, como resultado, não acho que a postagem acabou assim como poderia ter. No interesse de me manter em um padrão mais alto, hoje eu decidi revisar o tópico tanto no interesse de melhorar o post original e gerar uma referência futura para mim (e espero que você) ao discutir isso com os outros. Isso é algo de um poupador de tempo para mim porque as pessoas falam sobre o efeito com freqüência apesar, ironicamente, de não entender isso muito profundamente.

Primeiro, primeiro, qual é o efeito Dunning-Kruger? Como você encontrará resumido em todos os lugares, ele se refere à idéia de que pessoas que são artistas inferiores a média em alguns domínios – como o raciocínio lógico ou o humor – tenderão a julgar seu desempenho como acima da média. Em outras palavras, as pessoas são imprecisas em julgar o quão bem suas habilidades se acumulam para seus pares ou, em alguns casos, para algum padrão objetivo. Além disso, esse efeito fica maior se o mais não qualificado for . Não só os piores executores são pior na tarefa, mas outros, mas também são pior em entender que são ruins na tarefa. Este efeito foi dito para obter porque as pessoas precisam saber o que é bom desempenho antes que eles possam avaliar com precisão os seus próprios. Assim, porque os artistas abaixo da média não entendem como executar uma tarefa corretamente, eles também não têm habilidades para avaliar seu desempenho com precisão, em relação aos outros.

Agora disponível no Ben & Jerry's: Two Scoops of Failure

Fonte: Flickr / frankieleon

Conforme mencionado na minha publicação inicial (e pelo próprio Kruger & Dunning), esse tipo de efeito não deve se estender aos domínios em que as habilidades de produção e julgamento podem ser desvinculadas. Só porque você não pode acertar uma nota para salvar sua vida na noite de karaoke, isso não significa que você não conseguirá descobrir quais outros cantores são ruins. Este efeito também deve ser limitado principalmente a domínios em que os comentários que você recebe não são objetivos ou os padrões de desempenho são claros. Se você for solicitado a montar de novo um motor de carro, por exemplo, as pessoas não qualificadas rapidamente perceberão que não podem fazer isso sem ajuda. Dito isto, para destacar a razão pela qual a explicação original para esta descoberta não funciona – nem mesmo para os domínios que foram estudados no documento original – eu queria examinar um gráfico bastante importante do efeito de Kruger & Dunning (1999 ) em relação ao estudo do humor:

Fonte: Kruger, J. & Dunning, D. (1999)

Minhas flechas vermelhas, sumamente somadas, demonstram o problema. No lado esquerdo, vemos o que as pessoas se referem como o efeito Dunning-Kruger: aqueles que eram os piores artistas do reino do humor também foram os mais imprecisos para julgar seu próprio desempenho, em comparação com outros. Eles não eram conhecidos e desconhecidos. No entanto, o lado direito revela a verdadeira questão que chamou a atenção: os melhores artistas também foram imprecisos. O padrão que você deve esperar, de acordo com a explicação original, é que quanto maior a performance, mais precisamente estimam sua classificação relativa, mas o que vemos é que os melhores resultados não são tão precisos quanto aqueles que são apenas modestos acima média. Neste ponto, alguns de vocês podem estar pensando que esse ponto que estou criando é basicamente um problema, porque os melhores resultados ainda eram mais precisos do que os piores artistas, e a imprecisão da mão direita que estou destacando não é apreciável . Deixe-me tentar convencê-lo de outra forma.

• Entrada
• A vida secreta dos procrastinadores e o estigma do atraso
• Neuroticismo de traço e transtornos depressivos e de ansiedade
• Você está pronto para um novo gosto?
• Quando a Depressão não é Depressão? Parte 1

Assuma por um momento que as pessoas estavam apenas adivinhando como eles se apresentavam, em relação aos outros. Porque ter um bom senso de humor é uma habilidade socialmente desejável, as pessoas tendem a avaliar-se "modestamente acima da média" no domínio para tentar persuadir os outros de fato são engraçados (e porque, naquele momento, não há conseqüências estar errado). Apesar de apenas serem duvidosos, aqueles que na verdade estão modestamente acima da média parecerão mais precisos em sua auto-avaliação do que aqueles que estão na metade inferior da população; Essa precisão simplesmente não tem nada a ver com o seu verdadeiro nível de percepção de suas habilidades (referidas como suas habilidades meta cognitivas). Da mesma forma, aqueles que são mais do que modestamente acima da média (ou seja, estão subestimando suas habilidades) também serão menos precisos; Apenas haverá menos do que aqueles que superestimaram suas habilidades.

Considerando os achados de Kruger & Dunning (1999) no geral, o cenário acima que acabei de delinear não reflete perfeitamente a realidade. Houve uma correlação positiva entre o desempenho das pessoas e sua classificação de sua posição relativa (r = .39), mas, em sua maior parte, os julgamentos das pessoas de sua própria habilidade (a linha preta) parecem relativamente uniformes. Então, novamente, se você considerar seus resultados em estudos dois e três desse mesmo trabalho (raciocínio e gramática lógicas), as correlações entre desempenho e julgamentos de desempenho em relação a outros caem para baixo de r = 0,05 variando até um pico de r = .19, que foi estatisticamente significante. Os julgamentos das pessoas de seu desempenho relativo foram quase planos em várias dessas tarefas. Na medida em que esses julgamentos meta-cognitivos de desempenho usam o desempenho real como uma entrada para determinar a classificação relativa, claramente não é o principal fator para os artistas de baixa ou alta performance.

Todos eles compram na mesma loja cognitiva

Fonte: Flickr / saturnismo

Na verdade, o desempenho real não deve ser o principal aporte para esses sistemas meta-cognitivos (os que geram julgamentos relativos de desempenho) por dois motivos. A primeira delas é a explicação de desempenho original postulada por Kruger & Dunning (1999): se o sistema gerando o desempenho não tiver acesso à resposta "correta", parece particularmente estranho que outro sistema – o meta-cognitivo um – teria acesso à resposta correta, mas apenas usá-lo para avaliar o desempenho, em vez de ajudar a gerá-lo.

• O hábito de fumar maconha durante a gravidez é prejudicial?
• Um guia prático para não se estabelecer
• Por que a solidão é boa e a solidão é ruim
• Dissonância cognitiva e dependência
• Agressão em cães: as funções de oxitocina e vasopressina

Para colocar isso em um exemplo de memória rápida, diga que você estava com um estado de ponta da língua, onde você tem certeza de que conhece a resposta correta para uma pergunta, mas você não pode se lembrar disso. Nessa instância, temos um sistema de memória de longo prazo que gera desempenho (tentando recuperar uma resposta) e um sistema meta-cognitivo que gera julgamentos de confiança (o estado da tip-of-the-tongue). Se o sistema meta-cognitivo tivesse acesso à resposta correta, ele deveria apenas compartilhá-lo com o sistema de memória de longo prazo, em vez de usar a resposta correta para dizer ao outro sistema que continue procurando a resposta correta. O último caminho é claramente ineficiente e redundante. Em vez disso, o sistema meta-cognitivo deve usar algumas pistas além do acesso direto à informação na geração de seus julgamentos.

A segunda razão pela qual o desempenho real (em relação aos outros) não seria uma entrada para esses sistemas meta-cognitivos é que as pessoas não têm acesso confiável e preciso aos dados do nível populacional. Se você está perguntando às pessoas o quão engraçado eles são relativos a todos os outros , eles podem ter algum sentido para isso (o quão engraçado você é, em relação a algumas pessoas em particular que você conhece), mas eles certamente não têm acesso a como todos são engraçados porque eles não conhecem todos; eles nem sabem a maioria das pessoas. Se você não tem as informações relevantes, então não deve dizer que você não pode usá-lo para ajudar a informar suas respostas.

Melhor começar a conhecer mais pessoas para fazer melhor no próximo experimento

Fonte: Flickr / Amy West

Então, se esses sistemas meta-cognitivos estão usando insumos além de informações precisas na geração de seus julgamentos sobre como nos acumulamos para outros, quais seriam esses insumos? Uma possível entrada seria a dificuldade da tarefa , não no sentido de quão difícil a tarefa é objetiva para uma pessoa completar, mas sim em termos de quão difícil uma tarefa se sente . Isso significa que fatores como a rapidez com que uma resposta pode ser lembrada provavelmente desempenham um papel nesses julgamentos, mesmo que a resposta em si seja errada. Se julgar o valor humorístico de uma piada se sente fácil, as pessoas podem estar inclinadas a dizer que estão acima da média nesse domínio, mesmo que não o sejam.

Isso produz uma previsão importante: se você fornecer as pessoas com tarefas que se sentem difíceis , você deve vê-las em grande parte começam a adivinhar que estão abaixo da média nesse domínio. Se todos adivinem de forma eficaz que estão abaixo da média (independentemente do seu desempenho real), isso significa que aqueles que realizam o melhor serão os mais imprecisos em julgar sua capacidade relativa. Em tarefas que se sentem fáceis, as pessoas podem ser não qualificadas e desconhecidas; Para aqueles que se sentem difíceis, as pessoas podem ser experientes, mas ainda não sabem.

É exatamente isso que Burson, Larrick e Klayman (2006) testaram, em três estudos. Embora eu não inclua detalhes sobre os detalhes de todos os seus estudos (isso já está ficando comprido), vou recriar um gráfico de um dos seus três estudos que capta bem o seu padrão geral de resultados:

Fonte: Burson, K., Larrick, R., & Klayman, J. (2006)

Como podemos ver, quando os domínios que estão sendo testados tornaram-se mais difíceis, agora era o caso de que os piores executores eram mais precisos ao estimar seu percentil de classificação do que os melhores. Em tarefas de dificuldade moderada, os melhores e piores executantes foram igualmente calibrados. No entanto, não parece que essa precisão seja principalmente devido ao seu conhecimento real sobre seu desempenho; Foi por acaso que os seus argumentos se aproximaram da verdade. Quando as pessoas pensam, "esta tarefa é difícil", todos parecem estimar seu desempenho como modestamente abaixo da média; Quando a tarefa se sente mais fácil, eles parecem estimar seu desempenho como modestamente acima da média. A medida em que isso corresponde à realidade é em grande parte devido ao acaso, em relação à verdadeira visão.

Vale a pena notar que, quando você pede às pessoas que criem diferentes tipos de julgamentos, há (ou pelo menos pode ser) uma vantagem média modesta para os melhores desempenhos, em relação aos inferiores. Especificamente, quando você pede às pessoas que julguem seu desempenho absoluto (ou seja, quantas dessas perguntas você obteve?) E compare isso com o desempenho atual, os melhores artistas às vezes tiveram uma melhor compreensão sobre essa estimativa do que as piores, mas O tamanho dessa vantagem variou de acordo com a natureza da tarefa e não foi inteiramente consistente. No meio dos estudos relatados por Burson et al (2006), os resultados da metade superior mostraram uma melhor correlação entre o desempenho absoluto percebido e real (r = .45), em relação aos executantes inferiores (r = .05). As correlações correspondentes para os percentis reais e relativos foram na mesma direção, mas menores (rs = 0,23 e 0,03, respectivamente). Embora possa haver alguma verdade na ideia de que os melhores resultados são mais sensíveis à sua classificação relativa, a maior parte do erro de avaliação parece ser impulsionada por outros fatores.

Conduzir ainda é fácil, então eu ainda estou acima da média

Fonte: Flickr / Ruin Raider

Estes julgamentos da posição relativa de alguém em comparação com outros parecem bastante difíceis para as pessoas serem precisas. Como deveriam, de verdade; na maioria das vezes, não temos acesso à informação / feedback relevante e existem possíveis problemas de desequilíbrio social a serem enfrentados, juntamente com a falta de conseqüências por estar errado. Esta é basicamente uma tempestade perfeita para imprecisão. Talvez valer a pena notar é que a correlação entre o desempenho relativo de um e seu desempenho real foi bastante próxima de um domínio em particular em Burson et al (2006): conhecimento de trivialidades da música pop (o gráfico do qual pode ser visto aqui). Como a música pop é o tipo de coisa que as pessoas têm mais experiência aprendendo e falando com os outros, é um bom candidato para um caso em que esses julgamentos podem ser mais precisos porque as pessoas têm mais acesso à informação relevante.

O ponto importante para tirar desta pesquisa é que as pessoas não parecem ser particularmente boas em julgar suas habilidades em relação aos outros , e isso obtém, independentemente de os próprios juízes serem qualificados ou não qualificados. Pelo menos para a maioria dos contextos estudados, de qualquer maneira; é perfeitamente plausível que as pessoas – novamente, habilidosas e não qualificadas – serão mais capazes de avaliar seu desempenho relativo (e absoluto) quando tiverem experiência com um domínio em questão e receberam feedback significativo sobre seu desempenho. É por isso que as pessoas, às vezes, abandonam uma tarefa importante depois de receber feedback negativo consistente, optando por acreditar que elas não são tão cortadas para isso, em vez de persistirem em acreditar que estão realmente acima da média nesse contexto. Você provavelmente verá a menor inadimplência para domínios em que os julgamentos das pessoas de sua habilidade precisam atingir a realidade e há conseqüências por estar errado.

Referências: Burson, K., Larrick, R., & Klayman, J. (2006). Qualificados ou não qualificados, mas ainda não sabem disso: como as percepções da dificuldade provocam erros de avaliação em comparações relativas. Journal of Personality & Social Psychology, 90 , 60-77.

Kruger, J. & Dunning, D. (1999). Não qualificados e desconhecidos: como as dificuldades em reconhecer a própria incompetência levam a auto-avaliações infladas. Journal of Personality & Social Psychology, 77 , 1121-1134.