Duas implicações do teorema de Bayes

O Rev ensina incerteza.

Na ciência, o progresso é possível. De fato, se alguém acredita no teorema de Bayes, o progresso científico é inevitável à medida que as previsões são feitas e as crenças são testadas e refinadas . ~ Nate Silver

Se a probabilidade de que o teorema de Bayes é verdadeiro é 0,9, qual é a probabilidade revisada de ser verdadeira se rejeitarmos a hipótese de que ela seja falsa em p = 0,05? ~ JIK

Thomas Bayes era um clérigo e matemático inglês que estava interessado, entre outras coisas, em encontrar uma prova de deus. Ele não podia, mas deixou um tratado e um teorema que, depois de publicado postumamente (Bayes, 1764), tornou-se a base do que hoje chamamos de estatística bayesiana. O que o teorema de Bayes faz, em termos conceituais, é descrever como a crença pré-existente (conjectura, hipótese ou palpite) deve ser atualizada à luz de novas evidências (observações, dados) de tal forma que não haja contradições. Em outras palavras, o teorema de Bayes garante coerência e promete graus gradativamente crescentes de precisão de crenças. Não é de admirar que muitas pessoas (estatísticos, psicólogos, maquinistas) vejam o teorema como a definição de racionalidade. Neste ensaio levemente técnico, aponto duas implicações do teorema de Bayes que não estão particularmente profundamente escondidas na matemática, mas que são profundas em sua relevância para a pesquisa e a religião. Mas primeiro precisamos introduzir os termos do teorema e como eles estão relacionados uns aos outros (que é o trabalho do teorema de iluminar).

• Despachos da Ilha de Sophomore
• Como as entrevistas de emprego realmente funcionam
• Por que você deve pedir a seus amigos e familiares que o preparem
• Colocando Religião e Espiritualidade em Seu Lugar (Saudável)
• Sua amizade é tóxica?

Figura 1. Teorema de Bayes.

Fonte: J. Krueger

A figura 1 mostra o teorema. A probabilidade de uma crença (H para hipótese daqui para frente) ser verdadeira dada a evidência (D para dados), ou p (H | D), é igual ao produto da probabilidade prévia da hipótese, p (H) , isto é, antes que os novos dados sejam introduzidos, e a “razão de diagnóstico”. Esta razão é a probabilidade dos dados assumirem que a hipótese é verdadeira, p (D | H), sobre a probabilidade total dos dados, p (D ), ou seja, a probabilidade somada dos dados em todas as hipóteses. Para simplificar as coisas ( sim! ), Vamos supor que exista apenas uma hipótese alternativa, ~ H, cuja probabilidade é 1 – p (H). Agora podemos dizer que p (D) = p (H) * p (D | H) + p (~ H) * p (D | ~ H). O teorema está completo. Observe novamente a Figura 1 para apreciar esse fato.

• O relacionamento do ioiô: ele me ama; Ele não me ama
• Aberto ao luto
• Nove diretrizes para envelhecer com sabedoria
• Stephen Colbert vai à arteterapia
• Conflito nos relacionamentos

A primeira implicação do teorema de Bayes é que o reverendo poderia ter se provado teórico em teoria, mas que a condição necessária é extrema. É possível que p (H | D) seja 1, mas somente se p (D | H) = 1 ep (D | ~ H) = 0. A certeza da crença requer certeza dos dados. Os dados devem ser certos, dadas as hipóteses de interesse e impossíveis sob a hipótese alternativa. Quando este último par de condições é cumprido, a força anterior da crença (em deus ou qualquer outra coisa) é irrelevante. A prova (isto é, a combinação de p (D | H) = 1 ep (D | ~ H) = 0) erradica a diferença entre o defensor e o cético.

Tanto para religião. Na maioria das ciências empíricas, a prova incontestável é rara. Os dados vêm com ruído e incerteza, e as hipóteses e as crenças e suposições que eles apoiam tendem a permanecer probabilísticas. No máximo, os pesquisadores podem dizer que têm “certeza moral” de que X é verdadeiro. Sendo a moralidade notoriamente imperfeita, a porta para uma mudança de mentalidade, com novos dados, é deixada entreaberta.

A segunda implicação do teorema de Bayes é relevante para a questão de quão bem alinhada a probabilidade dos dados sob a hipótese, p (D | H), é com a probabilidade posterior da hipótese, ou seja, dado os dados, p (H D). Esta questão é de interesse para todos os pesquisadores que desejam testar hipóteses e não apenas se os dados são confiáveis. Esses pesquisadores querem extrair inferências dos dados para as hipóteses. Eles querem usar p (D | H) para inferir p (H | D). Para fazer isso, eles precisam do teorema completo. Eles precisam saber (ou postular) p (H), p (~ H) e p (D | ~ H). Uma inferência de p (D | H) a p (H | D) é forte na medida em que os dois termos estão correlacionados entre si. Usando experimentos de simulação, descobrimos que essas correlações são positivas, mas que sua magnitude pode variar amplamente de formas previsíveis (Krueger & Heck, 2017). Aqui queremos encontrar as condições sob as quais p (D | H) e p (H | D) são idênticos.

O teorema de Bayes mostra que p (D | H) = p (H | D) se e somente se p (H) = p (D). Agora vamos considerar o caso de p (D | H) = .05, onde o pesquisador, seguindo a convenção, declara o resultado como significativo. Com toda probabilidade, p (H | D) não será tão baixo quanto p (D | H), mas pode ser. A pergunta de hoje é: O que é preciso para que isso aconteça? Uma pequena álgebra revela que p (D | H) = p (H | D) se p (D | ~ H) = (p (H) – p (D | H)) / p (~ H). Vamos tentar alguns exemplos. Tendo selecionado p (D | H) = .05, podemos ter uma hipótese que não parece particularmente provável nem improvável no início, ou seja, p (H) = .5. Agora, se p (D | ~ H) = .9, temos nossa igualdade desejada de p (H | D) = p (D | H) = .05. Este é um bom arranjo. A crença anterior é maximamente incerta (p (H) = .5); os resultados são significativos (p (D | H) = .05) e altamente prováveis ​​sob a hipótese alternativa (p (D | ~ H) = .9); e a hipótese nula é de fato rejeitável (p (H | D) = .05, o que significa que p (~ H | D) = .95.

Agora, considere as consequências mais preocupantes que surgem quando nos afastamos desse cenário de melhor caso. E se o pesquisador selecionar uma hipótese alternativa arriscada, isto é, um caso em que p (H) é alto? Se p (H) = 0,8, por exemplo, p (D | ~ H) teria que ser 3,75 de modo que p (D | H) = p (H | D) = 0,05. Um resultado impossível! O teorema de Bayes proíbe isso. Se você buscar pesquisas de risco (se o p (H) for alto) e conseguir obter significância estatística, é garantido que a hipótese não é tão improvável quanto os dados que levam à sua rejeição. Em p (H) = .525, p (D | ~ H) = 1. Para qualquer valor mais alto de p (H), p (H | D)> p (D | H). Este é um chifre do dilema.

O outro chifre surge quando a pesquisa é segura. Quando p (H) é baixo, isto é, quando a probabilidade da hipótese alternativa ou substantiva, p (~ H), é alta a priori , a igualdade de p (H | D) ep (D | H) é facilmente obtido, mas pelo preço que p (D | ~ H) é baixo. Por exemplo, se p (H) = .1, e ambos p (D | H) e p (H | D) = .05, então p (D | ~ H) = .056. Isso pode parecer um resultado grotesco. Por um lado, a hipótese alternativa é considerada muito provavelmente a priori (p (~ H) = .9), enquanto, por outro lado, essa mesma hipótese fornece um ajuste com os dados que são quase tão pobres quanto o ajuste com a hipótese. (H) que está sendo rejeitado.

A moral da história é que o teorema de Bayes não apenas nos ensina coerência, mas também nos incentiva (se pudermos falar) a fazer o melhor possível para selecionar hipóteses de probabilidade intermediária para testes. É aqui que a pesquisa empírica produz as maiores recompensas.

Prova? Que prova? Quando escrevemos a primeira implicação (“A prova elimina a discordância entre o defensor e o cético”), fui sacudido do meu sono humiano. David Hume (1764) argumentou com fama ( e provou! ) Que você não pode provar a validade da indução por meios dedutivos (veja aqui na Enciclopédia de Stanford). O exemplo clichê para esta percepção muito profunda é que não importa quantos cisnes brancos você tenha visto, você não pode tomar como comprovado que nenhum cisne negro existe. Isto é assim quando não há limite para o número possível de cisnes por aí. O argumento não se aplica a uma população finita. Agora devemos perguntar se p (D | H) pode ser 1. Se estamos trabalhando na terra da teoria, assumindo a presença de uma distribuição gaussiana (ou de outra forma ilimitada), é difícil ver como isso pode ser afirmado na teoria. base de dados. Dados – como eles vêm em uma medida – são finitos em seu valor numérico. Portanto, um valor mais extremo é sempre possível. Portanto, a probabilidade desses dados ou dados menos extremos deve ser menor que 1. Portanto, o argumento que eu fiz, a saber, que o teorema de Bayes nos permite extrair certa crença dos dados observados é válido apenas em teoria, mas não na prática. Hume vence (veja aqui uma interessante nota histórica sugerindo que os esforços de Bayes foram motivados pelo desejo de refutar Hume).

Terminamos com uma citação de David Hume, apenas para mostrar que o grande cético tinha um senso de humor perverso. “Escrevi sobre todos os tipos de assuntos … mas não tenho inimigos; exceto todos os Whigs, todos os Tories e todos os Cristãos ” (encontrado aqui).

Bayes, T. (1764). Um Ensaio para Resolver um Problema na Doutrina das Chances . Transações Filosóficas da Royal Society of London, 53 , 370-418.

Hume, D. (1739). Um Tratado da Natureza Humana . Oxford, Inglaterra: Oxford University Press.

Krueger, JI, & Heck, PR (2017). O valor heurístico de p na inferência estatística indutiva. Fronteiras em psicologia: psicologia educacional . https://doi.org/10.3389/fpsyg.2017.00908