Imagine que tivemos uma pergunta: "Os homens e as mulheres diferem em X?"
Não importa o que "X" seja – altura, empatia, conhecimento da história do espanhol do século 13, ou qualquer outra coisa – sabemos que qualquer homem dado será diferente de qualquer mulher dada, mas o que não sabemos é como os homens "estão média "diferem das mulheres" em média ". Ou seja, quando fizemos a nossa pergunta inicial, provavelmente queríamos saber como a média para homens em comparação com a média para as mulheres. Mas nunca saberemos o significado real para os homens ou o verdadeiro meio para as mulheres, porque isso envolveria medir mais de 7 bilhões de pessoas! Então, precisamos, de alguma forma, obter uma amostra de homens e uma amostra de mulheres, compará-las e tirar uma conclusão disso.
Digamos que recebemos uma amostra de 100 homens e 100 mulheres, e nós perguntamos sobre a história espanhola. Na nossa amostra, as mulheres em média 68% e homens em média 63%. Esse é o resultado da nossa amostra e é um resultado sólido. Mas, lembre-se, não estamos particularmente interessados em nossa amostra – estamos interessados em "homens versus mulheres", não "homens que nós passamos a olhar" contra "mulheres que nós passamos a olhar". Queremos usar nosso amostra para inferir algo sobre a população maior (e é isso que coloca o inferno nas estatísticas inferiores).
Fazer essas inferências tem um desafio sério: qualquer diferença que vemos em nossas amostras pode ser devido ao acaso! Claro, nosso grupo de homens difere do nosso grupo de mulheres, mas isso não nos diz muito em si mesmo, porque se escolhêssemos dois grupos de homens ao acaso, eles também difeririam. Este é um problema sério: dado que quaisquer duas amostras, obviamente, diferem umas das outras em praticamente tudo o que tentamos medir (se pudermos medir com detalhes suficientes), como podemos usar amostras para tirar conclusões?
Tudo não está perdido, porém, como uma pequena intuição nos diz. As diferenças encontradas devido a chance aleatória são prováveis de serem pequenas e provavelmente serão de um tamanho muito diferente se o mesmo teste for novamente. Se pudéssemos repetir o nosso teste novamente e novamente (com novas amostras), isso nos ajudaria a fazer inferências melhores: se obtivéssemos amostras de 100 homens e 100 mulheres 20 vezes, e toda vez que encontramos mulheres marcando 5 pontos mais alto do que os homens, nós Seria muito mais confiante em nossa descoberta. Embora a replicação geralmente não seja prática, podemos usar uma amostra para adivinhar o que aconteceria se replicássemos. E nossa intuição também pode nos ajudar aqui: se encontrarmos uma pequena diferença entre os grupos depois de medir apenas um pequeno número de pessoas, é mais provável que seja devido a chance aleatória do que se encontrarmos uma grande diferença entre os grupos depois de medir um muitas pessoas. Destruindo isso: 1) Grandes diferenças são menos prováveis devido à chance do que pequenas diferenças, e 2) quanto maior o tamanho da amostra, mais o ponto 1 é verdadeiro.
Se pudéssemos obter um bom controle matemático na parte "menos provável" versus "mais provável" dessas afirmações, poderíamos começar a usar nossas amostras para adivinhar realmente de forma reprodutiva nossos resultados. Ou seja, poderíamos usar nossa amostra única para prever de forma confiável o que aconteceria se reproduzíssemos nosso estudo várias vezes. Já concordamos acima que, se o resultado fosse replicado uma e outra vez, teríamos certeza de tirar conclusões sobre a população maior. E agora sabemos que podemos usar uma única amostra para tirar conclusões sobre o que aconteceria se tivéssemos muitas amostras. Colocando as duas últimas frases juntas: se pudermos obter algumas matemáticas atrás de nós, podemos usar nossa amostra única para fazer inferências confiáveis sobre a população maior.
Assim, independentemente da estatística inferencial que usemos, a questão é sempre algo como: "Esta diferença que encontramos na nossa amostra, qual a probabilidade de encontrarmos uma diferença tão grande, apenas por acaso?". Quando é improvável que nossa diferença observada é devido ao acaso, sentimos que é real.
