Algoritmos são extremamente inteligentes em processar com precisão grandes quantidades de informação. Mas um problema recente com um empréstimo bancário é um olhar perturbador por trás da cortina.
Na semana passada, candidatei-me a um empréstimo pessoal. Meu banco me disse que eu poderia solicitar o empréstimo online. Então eu fiz através de seu site.
Eu preenchi as informações, dei meus detalhes pessoais e pressionei.
Quando acordei na manhã seguinte, o banco aprovou o empréstimo e me informou que agora transferiria o dinheiro para minha conta. Viva.
Exceto, a taxa foi de 7,9%. Cerca de 5% maior do que eu esperava. O banco disse que poderia ser tão baixo quanto 3% (como anunciado em seu site). Isto foi, naturalmente, baseado em uma verificação de crédito. Pelo que sei, meu crédito é bom. Então, por que 7,9%?
Eu suspeitava que isso fosse um problema com o meu crédito. Então liguei para o banco para descobrir.
Foi-me dito que o aplicativo simplesmente envia o formulário para um algoritmo e recupera uma taxa.
“Você sabe porque é essa taxa?”
“Desculpe senhor, eu não.”
“É meu crédito?”
“Não recebemos nenhuma informação sobre o seu crédito.”
“Você pode olhar?”
“Não, não temos acesso a essa informação. Está tudo no algoritmo.
“Então você acabou de enviar as informações para um algoritmo e ele diz que taxa eu recebo?”
“Sim.”
Pedi-lhes para cancelar o empréstimo.
Em seguida, fui on-line para outro site e enviei outro aplicativo. O site retornou minha aprovação instantaneamente e disse que a taxa foi de 10,9%. Yikes
Resignei-me a voltar ao meu banco original e aceitar sua taxa inesperadamente alta.
Liguei para o meu banco de volta e perguntei se eu poderia cancelar o empréstimo cancelado.
“Não, mas você pode reaplicar comigo no telefone.”
“Ok”, eu disse: “Vamos fazer isso.”
Ela pegou minha informação novamente. “Então, qual é o seu título”, disse ela. “Na sua inscrição online, você coloca ‘Professor’. Mas sua conta bancária diz “Dr.”. Observe que todos os meus cartões bancários desse mesmo banco têm nomes diferentes, portanto, isso não é trivial.
“Não importa.”
“Bem, você tem que escolher um.”
“Dr., eu acho, por isso não vai confundir nada.”
Ela pegou o resto da minha informação, da mesma forma que eu fiz online, e submeteu minha aplicação ao algoritmo. Um segundo depois, ela disse: “Foi aprovado em 3%. Nós lhe enviaremos a papelada pelo correio.
Observe que o erro aparente aqui foi bastante simples. O algoritmo do banco não me reconheceu como um membro do banco, então eu não recebi a taxa de membro do banco. Não conseguiu me reconhecer porque usei um título diferente.
Eu tinha escolhido ‘Professor’ online porque era isso que eu era, mas minha conta bancária dizia ‘Dr.’, que também é o que eu era. Mais especificamente, o Dr. é exatamente o que eu era quando me inscrevi no banco. Se você é eu, a diferença de títulos é completamente irrelevante para qualquer coisa. Se o banco não pedisse um, eu não colocaria um.
Algoritmos que não têm nenhuma semântica dedicada a entender o que as palavras significam não têm como saber quão importante é um título. Suponho que se o algoritmo tivesse algum tipo de entendimento das informações com as quais estava lidando, teria dito a si mesmo: “99,9% de tudo o que esse candidato diz sobre eles é o mesmo que esse indivíduo que tem uma conta conosco. Mais importante ainda, este indivíduo afirma que eles têm uma conta conosco e eles afirmam que têm um número de conta. Na verdade, eles querem que o dinheiro seja enviado para a conta bancária desse outro cara. Talvez eles sejam o mesmo cara!
Mas o algoritmo não fez isso. Equacionou uma diferença no título como uma diferença completa. Poderia fazer o mesmo se o número de meus dependentes mudasse? Ou se meu parceiro mudou? E as pessoas que mudam o sobrenome, o gênero ou às vezes, mas nem sempre, incluem sufixos como Junior? E se eu recentemente movesse ou inserisse meu endereço incorretamente? Qual é o impacto potencial de um erro de digitação? Neste caso, o erro valeu cerca de US $ 100 por US $ 1.000 emprestados.
Note que o algoritmo, ao não expor seu erro à pessoa com quem falei ao telefone, tornou essa pessoa mais burra forçando-os a me pedir um título que me confundisse, mesmo que ela já soubesse quem eu era.
É fácil dizer que foi meu erro. Obviamente, foi meu erro. Em face disso, eu sou a única pessoa que poderia ter agido de forma diferente para mudar o resultado.
Pode-se argumentar que foram os programadores do algoritmo que cometeram o erro ao tornar o algoritmo incapaz de ver o que qualquer ser humano poderia ver claramente. Mas isso está esperando muito de um algoritmo. O algoritmo deveria ser capaz de fazer um julgamento subjetivo sobre se duas pessoas potencialmente diferentes são iguais? E se eles não são?
Talvez o algoritmo seja capaz de sentir o cheiro de algo suspeito e fazer mais perguntas. Claramente, ainda não estamos lá.
O problema realmente não é quem está em falta. O verdadeiro problema é como vamos nos ensinar sobre as deficiências dos algoritmos. Em um artigo anterior, escrevi sobre a saúde mental dos algoritmos. As artimanhas desse algoritmo de empréstimo bancário adicionam uma nota de humor ao artigo.
Isso me lembra do homem chamado Shereshevsky no livro de Luria, “A Mente de um Mnemonista”. Shereshevsky tinha uma memória quase perfeita. Ele podia lembrar números e nomes e o que estava acontecendo em dias específicos de sua vida. Mas por causa de sua memória, ele também teve dificuldade em identificar pessoas. Ele se lembrava de tudo tão bem que, se encontrasse uma pessoa que tivesse uma expressão diferente, ela se tornaria uma nova pessoa. Uma simples mudança de expressão foi suficiente para jogar Shereshevsky fora. Shereshevsky não conseguiu generalizar.
O algoritmo do banco também não pôde generalizar. Era cego para algo que a maioria das pessoas consideraria óbvia. No entanto, esse algoritmo poderia generalizar em outra instância. O algoritmo é programado explicitamente para incluir minhas informações e generalizar essas informações para os pagamentos de empréstimos de outros indivíduos como eu, para que ele pudesse descobrir meu nível de risco com base nos riscos que o banco assumiu para outras pessoas como eu.
Como o algoritmo não conseguiu generalizar minha identidade para outras instâncias da minha identidade, efetivamente me tratou como duas pessoas diferentes. Era um Shereshevsky computacional, tratando um homem que sorri e depois franze a testa como indivíduos diferentes.
Minha situação é bem benigna, mas duvido que seja sempre o caso. Algoritmos fazem julgamentos sobre seguro, tratamento médico e se um sinal é um sinal de parada ou um sinal de 50 mph. É quase certo que os robôs militares irão identificar erradamente os amistosos dos alvos e provavelmente já o fizeram. Algoritmos estão sendo colocados em papéis cada vez mais importantes, onde não apenas dinheiro, mas vida e saúde estão em jogo.
Em muitos casos, os algoritmos são menos propensos a erros do que os humanos. Mas os erros não são apenas menores, são diferentes. E isso provavelmente mudará o tipo de dano colateral que devemos esperar ao usá-los. Pior ainda, é extremamente difícil argumentar com um algoritmo porque poucas pessoas sabem exatamente o que o algoritmo está fazendo. Talvez menos que tudo, o algoritmo em si! Em alguns casos, pode não haver um único indivíduo que entenda o funcionamento completo do algoritmo. Então, torna-se difícil mudar, melhorar e detectar exatamente onde está dando errado.
Thomas Hills no Twitter
