O livro de Michael Lewis, Moneyball, conta a história de como a equipe de Major League Baseball, Oakland Athletics, parou de confiar em escoteiros para avaliar os talentos das jogadoras e se dirigiu para análises estatísticas. Moneyball expressa um dos temas favoritos de Lewis: os chamados especialistas não sabem o que realmente importa e, para piorar as coisas, eles são altamente confiantes em seus próprios julgamentos. Eles não sabem o que não sabem. Moneyball também expressa outro tema favorito de Lewis: outsiders inteligentes que superam os chamados especialistas (veja também The Big Short). Moneyball foi publicado em 2003 e ainda é um best-seller; Foi transformado em um filme estrelado por Brad Pitt como Billy Beane, o Gerente Geral do Atletismo de Oakland.
Lewis é um escritor suficientemente talentoso para não deixar os fatos entrar no caminho do entretenimento. Sua versão dos eventos é razoavelmente, mas não inteiramente exata (por exemplo, veja o ensaio de 2012 de Will Braund, como é verdadeiro o Moneyball?). Essas imprecisões não me incomodam muito.
Minha principal preocupação é com a mensagem central do Moneyball . Os mitos que apresenta parecem tomar conta, não só no público em geral, mas dentro da comunidade de julgamento e decisão, cujos membros freqüentemente citam o Moneyball para respaldar suas recomendações profissionais.
Este ensaio descreve os três mitos do Moneyball que mais me preocupam. E eu preciso explicar que o ensaio não é um ataque contra Michael Lewis. Eu gostei muito de cada um dos livros que li, e eu li a maioria deles. Eu também o encontrei para o almoço algumas vezes e achei que ele fosse espirituoso e encantador. Eu sou um grande fã.
Os mitos Moneyball são necessários para contar a história – um tratamento mais matizado não se tornaria um best-seller. Teria sido mais adequado como um artigo em uma revista profissional.
No entanto, quando vejo artigos reais em jornais profissionais que citam Moneyball , sinto a necessidade de parecer um aviso.
Aqui estão os três mitos que eu quero examinar mais de perto:
Primeiro, os escoteiros de baseball não sabem quais jogadores são genuinamente habilidosos.
Em segundo lugar, os escoteiros de baseball têm uma fachada de especialização, mas nada de substância.
Em terceiro lugar, os escoteiros de beisebol são alérgicos às estatísticas.
Vamos examinar essas três reivindicações.
Reivindicação nº 1. Os escoteiros de beisebol não sabem quais jogadores são genuinamente habilidosos. Eles dependem de preconceitos exploradores, incluindo características absurdas. "Alguns dos escoteiros ainda acreditavam que podiam contar pela estrutura do rosto de um jovem, não só seu personagem, mas seu futuro em pro bola. Eles tinham uma frase que eles usavam: "O bom rosto" (p.7).
Mesmo se aceitarmos a premissa de Moneyball de que as análises estatísticas superaram o julgamento dos escoteiros, não se segue que os julgamentos dos escoteiros eram inúteis. Lembre-se – antes da ampla disponibilidade de dados de baseball, todas as equipes disponíveis estavam no julgamento dos escoteiros. Se esse julgamento fosse inútil, isso significaria que os escoteiros não eram melhores para identificar jogadores jovens talentosos do que os fãs nas arquibancadas. Não é melhor do que pessoas selecionadas aleatoriamente. E ninguém já fez essa pesquisa.
Nós temos anedotas ao contrário, como o incidente de 1988 em que um escoteiro ouviu sobre um shortstop no Panamá sem treinamento como um lançador que havia vindo como um substituto para um lançador de partida que lutava e tinha feito bem. O escoteiro viu o shortstop / pitcher jogar e gostou do seu movimento suave e atletismo. Mesmo que ele pesasse apenas 155 libras. e jogou apenas 85-87 milhas / hora, o scout assinou com um contrato de US $ 2.500 com os Yankees. O nome dele era Mariano Rivera.
Anedotas como essas não são dados, mas não temos dados. A meu conhecimento, ninguém comparou o julgamento dos escoteiros profissionais contra um grupo de controle. Não seria difícil – mostrar videoclipes de bateristas balançando em arremessos, ou lançadores liquidando e soltando, apenas os movimentos, não os resultados. Alguns dos videoclipes mostrariam leaguers menores a serem lançados. Outros videoclipes mostraram jogadores bem-sucedidos. Ou então, obtenha clipes de vídeo do Japão, da Nippon Professional Baseball League e sua liga menor relacionada, de modo que os participantes não puderam reconhecer os jogadores bem-sucedidos.
Será que os escoteiros do beisebol melhorariam do que os controles para identificar quais são os principais campeões de sucesso e os que foram lavados no final das ligas menores? Talvez não haja diferença. Eu suspeito que os escoteiros superariam muito os controles.
Por que os pesquisadores da decisão que promovem Moneyball não foram céticos sobre a reivindicação nº 1? Eu acho que é porque a Reclamação # 1 se encaixa em seus preconceitos e eles não sentem necessidade de testar esses preconceitos – qual é a crítica que o Moneyball faz dos escoteiros.
Reivindicação nº 2. Os escoteiros de beisebol têm uma fachada de perícia, mas nada de substância.
Seguindo a reivindicação nº 1, se os escoteiros possuírem experiência, então, o que poderia consistir? Uma possibilidade é que os escoteiros possam apreciar o atletismo e a mecânica.
De volta à anedota Mariano Rivera. O escoteiro que viu Rivera admirou seu movimento suave. Da mesma forma, os escoteiros podem admirar o swing suave de um bate-papo. As estatísticas não capturam esses tipos de sutilezas. Mas vemos isso em ação: os comentaristas de beisebol na TV comentam regularmente o movimento de um jarro. Ou eles usarão repetições para mostrar como um lançador é "pisar no balde", comprometendo sua habilidade.
Considere outros esportes. Durante as Olimpíadas de verão, na competição de mergulho, os comentadores de televisão experientes nos alertaram quando um mergulhador girou muito para entrar na água de forma limpa, criando um respingo maior. E, com certeza, na repetição em câmera lenta, vimos o problema. No entanto, o comentador viu isso como aconteceu. Certamente, isso conta como experiência, ganhou apenas após inúmeras horas assistindo atletas realizando sua arte.
Embora os caçadores de beisebol possam ter habilidades importantes, a capacidade de julgar o talento ainda pode ser inferior às análises estatísticas. Embora seja irrelevante para a tese deste ensaio, esta observação deve ser levada em consideração. E testado, comparando os julgamentos dos escoteiros com os dos analistas, e não com um grupo de controle.
Presumivelmente, os analistas usariam as estatísticas mais avançadas atualmente disponíveis. Então, não faz muito sentido comparar esses analistas com o tipo de escoteiros lampeados no Moneyball . É justo envolver os escoteiros mais avançados – aqueles selecionados por um rigoroso processo de verificação e, em seguida, treinados através dos atuais métodos de desenvolvimento para desenvolver conhecimentos. No SuperForecasting , Tetlock e Gardner mostraram como desenvolver conhecimentos preditivos em relação a eventos mundiais – não pode ser mais difícil desenvolver conhecimentos preditivos em escoteiros de beisebol. Vamos colocar o Moneyball à prova.
Reivindicação nº 3. Os escoteiros de beisebol são alérgicos a estatísticas. ("Billy estava dizendo para sempre a Paulo que, quando você tenta explicar a teoria da probabilidade para os caras de beisebol, você acabou confundi-los", p. 34).
Esta afirmação é divertida de fazer, apoiada por evidências anedóticas. Mas o próprio Lewis descreve como os escoteiros estavam usando estatísticas. Eles simplesmente não estavam usando estatísticas muito boas – eles dependiam das estatísticas tradicionais da época. Os escoteiros estavam estudando felizmente as médias de bate-papo dos rebatedores e as médias de corridas ganhadas dos lançadores. Os escoteiros não ficaram assustados com os números. Eles dependiam dessas estatísticas enganosas demais, não muito pouco.
Moneyball cita o trabalho de Bill James, que, nos anos 1970 e 1980, mostrou o que poderia ser feito com os dados que estavam apenas se tornando disponíveis. Mesmo antes de ler o Moneyball , devolvi vários dos livros de Bill James Abstract quando comecei a tocar beisebol de fantasia no início da década de 1990 e tornei-me um converso instantâneo para o poder das análises estatísticas no baseball. Então este ensaio não está criticando as abordagens estatísticas. Em vez disso, o ensaio explica por que podemos querer repensar o desprezo acumulado nos escoteiros de beisebol.
Moneyball tornou-se uma metáfora de por que não devemos confiar nos especialistas. É uma exposição privilegiada na War on Experts. O objetivo dessa guerra é desvalorizar especialistas em uma variedade de campos e recomendar que os especialistas sejam substituídos por algoritmos, listas de verificação e análises. Essa recomendação às vezes é útil, mas muitas vezes imprudente e contraproducente.
Claro, a questão real não é escoteiros versus analistas, mas sim como projetar ferramentas estatísticas e computacionais para permitir que os escoteiros e outros tomadores de decisão tenham mais sucesso. Mas teremos problemas para perseguir esse caminho se comprarmos os mitos do Moneyball .
