Como evitar ser enganado por sondagens de opinião

De acordo com uma manchete no site da revista Cosmopolitan , "A pesquisa mostra que a maioria dos americanos pensa que Caitlyn Jenner está indo mudar o mundo". Eu vou colocar as chances de que a maioria dos americanos ficaria surpreso ao saber que isso é o que eles pensam. Pegue-me, por exemplo. Eu sou da opinião de que Caitlyn Jenner fez mais do que sua parte justa de mudar, muito obrigado. Isso significa que eu não sou um "mais grande" americano?

Na verdade, meu artigo não é sobre Caitlyn Jenner, abençoe seu coração (como dizemos os sulistas). Trata-se de pesquisas falíveis e as interpretações torcidas do mesmo que freqüentemente relatado pela mídia. Quem escreveu o título acima sabia que era hype ou não sabia e não se importava. Não sei o que é pior. Talvez ambos sejam (pior, isso é). Não há nada na enquete sobre Jenner mudando o mundo. Na melhor das hipóteses, sugere que ela possa ajudar a aumentar a aceitação do transgenderismo.

A pesquisa foi conduzida conjuntamente pela NBC News e pela Universidade da Pensilvânia. Parece credível, certo? É o que você deveria pensar. O objetivo desta pesquisa é influenciar seu pensamento. A implicação não tão sutil é que você está na minoria de pensamento inverso se você não concorda. Mas por que essa pesquisa, sobre esse assunto? E por que agora? O que eles estão vendendo? Esses são os tipos de perguntas que fornecem uma base para testar os méritos desta ou qualquer outra pesquisa.

Se uma pesquisa for usada para representar as opiniões da maioria dos americanos (ou de qualquer outro grande grupo), ela deve ser conduzida usando metodologia cientificamente sólida. Caso contrário, não representa nada além das opiniões daqueles que participaram da pesquisa. Nenhuma enquete é absolutamente imaculada e sem defeito. Existe sempre uma margem de erro de amostragem ou viés. Precisamos ver se podemos encontrar as falhas e determinar se elas são de importância mínima ou maior. Vamos descobrir algumas pistas.

A primeira pista é muito sutil – como um bastão de beisebol que afeta a ponte do nariz na velocidade da urdidura. A pesquisa foi conduzida usando uma amostra não probabilística . Em inglês simples, os participantes na pesquisa não foram selecionados aleatoriamente. Às vezes, essa abordagem é necessária porque a amostragem aleatória seria muito árdua ou dispendiosa. Existem vários tipos de amostragem sem probabilidade, alguns melhores do que outros para esse tipo de pesquisa. Os pesquisadores usaram amostragem de conveniência – ou seja, eles confiaram em pessoas que se ofereceram para participar.

A amostragem de conveniência prejudica a afirmação de que a maioria dos americanos concorda com os resultados. As pessoas que se voluntariam para participar podem ter uma agenda pessoal, uma perspectiva tendenciosa, uma conexão emocional com a questão, ou talvez respondam simplesmente porque lhes foi prometida uma recompensa por participar. (Não tenho nenhuma informação sobre se a NBC News / UPenn ofereceu uma recompensa.) Suponha que você fizesse uma pesquisa sobre os pontos de vista dos americanos sobre o aumento do salário mínimo. Você confiaria nos resultados se as únicas pessoas pesquisadas fossem aquelas que se ofereciam para dar suas opiniões sobre esse assunto? Para afirmar que os resultados de uma pesquisa desse tipo representariam os pontos de vista da maioria dos americanos seria farfetched.

Como é esperado a prática na pesquisa acadêmica, os pesquisadores da UPenn reconhecem essas limitações em sua metodologia:

Como a amostra é baseada naqueles que inicialmente se auto-selecionaram para participação em vez de uma amostra de probabilidade, nenhuma estimativa de erro de amostragem pode ser calculada. Todas as pesquisas podem estar sujeitas a múltiplas fontes de erro, incluindo, mas não limitado a, erro de amostragem, erro de cobertura e erro de medição.

Outra fraqueza é que as respostas da pesquisa foram coletadas através da votação online (ou seja, via Survey Monkey). Não há nada de errado com as votações online como meio de coleta de dados. O problema reside no fato de as pessoas mais velhas, especialmente as de mais de 70, serem menos propensas a responder a uma pesquisa on-line. Eles podem, portanto, estar sub-representados na amostra, e isso novamente mina a alegação de que a pesquisa é representativa da maioria dos americanos.

Uma vez que esta pesquisa foi encomendada pela NBC News e foi distribuída para outros meios de comunicação, como a Cosmopolitan , o pressuposto razoável é que ele foi encomendado com a finalidade de fazer novidades e aumentar o compartilhamento de audiência e as taxas de cliques. (Oh, por aqueles dias difíceis quando a mídia não fez a notícia, eles apenas venderam.)

Os pesquisadores da UPenn fizeram o mesmo que poderia ser esperado, dado o alcance de sua tarefa e as restrições de tempo e orçamento. No entanto, um projeto de pesquisa imperfeito produz resultados imperfeitos. Estes certamente não são resultados que apoiem a afirmação de que "a maioria dos americanos pensa que Caitlyn Jenner vai mudar o mundo".

Mundo para Caitlyn: Não vá mudar.