Apenas quantos inventores da Amazon MTurk estão lá?

Atualmente, a maioria dos pesquisadores experimentais de consumidores (para não mencionar psicólogos sociais, cientistas políticos, economistas comportamentais, etc.) substituiram ou suplementaram as coleções de alunos com trabalhadores da Amazon Mechanical Turk (MTurk) para realizar suas pesquisas. Usar os pesquisadores da MTurk para pesquisa é conveniente, barato e rápido. (Também é muitas vezes explorador, mas essa é uma postagem de blog diferente).

Fonte: Zol Korabi por Rolo Natkys Flickr Licenciado sob CC BY 2.0

Não é de admirar que dezenas de milhares de estudos de psicologia a cada ano sejam feitos atualmente usando os trabalhadores da MTurk como pesquisadores. (Quando procurei no MTurk enquanto escrevia esta postagem no blog, 319 pesquisas estavam disponíveis para ser preenchido como um trabalhador da MTurk e eu nem tenho a qualificação MTurk Master).

Dado que uma quantidade significativa de pesquisas em ciências sociais hoje depende de trabalhadores MTurk, certamente vale a pena conhecer mais sobre essas pessoas. Esta informação tem influência sobre a validade da pesquisa que está sendo conduzida. Há muitas questões importantes a serem feitas, tais como:

• Quem são essas pessoas?
• Eles estão respondendo a pesquisas de forma séria?
• Podemos ter certeza de que tudo o que encontramos com este grupo realmente se aplica à população mais ampla? Em outras palavras, eles são representativos?
• Quão válidas são as inferências feitas a partir de suas respostas? Sobre o que devemos nos preocupar?

Cada uma dessas questões vale a pena cavar. No entanto, nesta postagem, eu quero considerar uma questão diferente sobre a qual eu estava muito curioso: "Quantas pesquisas estão disponíveis no Amazon Mechanical Turk?"

• Assaltar a idade adulta
• Como manter as resoluções?
• Diluição do trabalho facilitada com auto-hipnose
• Os milagre de Natal realmente existem?
• Adolescentes felizes

Por que esta questão é importante?

Sendo inspirador de um estudo, vou discutir um pouco mais tarde nesta publicação, é útil pensar no site Amazon MTurk como uma lagoa, cada pesquisador como pescador ou pescador, e cada trabalhador MTurk como peixe. Toda vez que um pesquisador publica um estudo, eles estão lançando uma rede para pegar várias centenas de peixes. Eles pegar e libertar o peixe, mas no processo, eles extraem uma "essência" do peixe na forma de respostas para questões de pesquisa, mudando o peixe de sua condição intocada.

No momento, as redes estão sendo lançadas na lagoa MTurk milhares de vezes por semana (principalmente) acadêmicos e, cada vez mais, por pesquisadores profissionais. Então, as questões de "há peixe suficiente?" Ou se todos estamos pegando principalmente o mesmo peixe é significativo.

Um grande grupo de entrevistados tem três vantagens: (1) maior chance de encontrar características diversas e número suficiente de entrevistados com uma certa característica, digamos, observadores de TV pesados ​​ou entusiastas de caminhadas; (2) mais respondentes não contaminados "frescos" que tomarão a tarefa de responder seriamente à pesquisa e fazê-lo com pensamento e honestidade (ou seja, alguém que não respondeu a escala geral de autocontrole ou o conservadorismo social e econômico escala uma dúzia vezes), e (3) maior chance de uma amostra representativa da população em geral (embora isso não seja garantido).

• Gestão do Desejo
• Graças a Deus, as férias acabaram: lidar com o diabetes
• Você é auto-ouso absorvido?
• Tempo para cremalheiras de chapéu digital
• Grosso e fino

Direto da boca do cavalo – O site MTurk?

O primeiro lugar lógico para procurar a resposta é o próprio site MTurk. Você esperaria que a Amazon forneça essas informações, atualizadas diariamente, por dois motivos. Primeiro, esta é uma informação crucial para os clientes da Amazon (os pesquisadores acadêmicos e comerciais) que estão pagando muito para usar o site. Sem dúvida, aumentaria a qualidade da pesquisa feita usando o site. E em segundo lugar, eles já sabem quantos trabalhadores MTurk usam o site, por isso é muito fácil (e barato) para eles extraí-lo e publicá-lo. Mas, infelizmente, esse não é o caso.

Sua reivindicação "Acessar mais de 500 mil trabalhadores de 190 países" é praticamente sem sentido porque é impreciso e não mudou nos anos. Além disso, não está claro quantos destes alegados meio milhão de pessoas realmente tomaram pesquisas ou vieram e foram do site.

Como um lado, é uma explosão de cabeça, e uma verdadeira vergonha, quantos meios de comunicação de renome, como o Guardian, o Wall Street Journal, e até organizações de pesquisa como o Pew Research Center, relatam estazmente esse número desonesto. Embora esta não seja uma "notícia falsa", parece-me "novidade preguiçosa" porque pode distorcer o resto da história que está sendo relatada.

Não é legal, Amazon e grandes mídias! Ok, então agora precisamos de outras fontes para encontrar o número.

Stewart et al. estudo, julgamento e tomada de decisão, 2015.

O professor de psicologia Neil Stewart e uma equipe de pesquisadores de sete laboratórios diferentes espalhados por diferentes países realizaram o estudo mais abrangente e impressionante (em termos de tamanho e duração) até o momento para responder a esta pergunta que eu poderia encontrar. Cobrindo a coleta de dados MTurk de todos os seus laboratórios de janeiro de 2012 a março de 2015, e empregando um método estatístico legal que os ecologistas normalmente usam para descobrir a população de um animal ou pássaro em particular na natureza, eles concluíram que o pesquisador médio usando o MTurk tem acesso a um pool de cerca de 7.300 entrevistados em qualquer momento. Eles também descobriram que 26% dos investidores da MTurk "se aposentam" todos os trimestres e são reabastecidos por novos trabalhadores. Também é de destacar que seus laboratórios usaram principalmente entrevistados com base nos EUA. Fiquei impressionado com a comparação deles:

"Assim, a população que o laboratório médio pode atingir é apenas algumas vezes maior do que o grupo de participantes ativos em uma universidade típica (os pools de crédito do curso tendem a ter uma participação bastante alta), com uma taxa de rotatividade que não é diferente do ir e ir de estudantes universitários "(p.448).

Então, os pesquisadores da MTurk são como um grupo de estudantes sujeitos a estudantes universitários em esteróides!

Algumas das suas outras conclusões são igualmente provocativas, para dizer o mínimo. Cerca de 65% dos seus pesquisadores participaram de múltiplos estudos realizados pelo mesmo laboratório (obtive esse valor com a figura 5 em seu artigo). Agora, é muito provável que esses diferentes estudos sejam sobre temas diferentes, mas isso ainda não é ideal. E pouco mais de 50% do participante participaram de estudos de laboratórios múltiplos. Este é o peixe que está sendo pego, liberado e pego novamente, e liberado novamente, e pego de novo, e assim por diante.

Eu poderia encontrar duas outras estimativas de proveniência mais antigas e / ou usar o que eu achava que eram métodos menos confiáveis:

• Um estudo de 2011 em Lingüística Computacional por Karen Fort, Gilles Adda e K. Bretonnel Cohen estimou que o número de pesquisadores deveria estar entre 15.059 e 42.912. Isto foi baseado em estimativas de pesquisa de um conjunto de trabalhadores MTurk e ajustado usando opinião de especialistas. Além disso, eles também incluíram não respondentes dos EUA (um número razoável de trabalhadores são da Índia).
• Um comentarista anônimo no Reddit indicou que eles conseguiram obter 6.000 respondedores únicos em uma semana sem ter condições ou restrições sobre quem poderia participar do estudo.

Então, o que fazer desses números?

Para dar uma perspectiva, a empresa do painel online YouGov afirma que possui um painel on-line de 4 milhões de panelistas que cobrem 37 países e um painel dos EUA de 1,8 milhão de painelistas. Da mesma forma, a SurveyMonkey afirma ter um painel on-line de mais de 30 milhões de pessoas, e Slice Intelligence para ter 4,2 milhões de pessoas em seu painel online. Obviamente, estas são apenas reivindicações, bem como a reivindicação "Mais de 500.000 …" da Amazon, e é impossível verificar qualquer uma delas.

Voltando para a Amazon MTurk, parece-me que não há muitos peixes e há muitas redes lançadas na lagoa MTurk. Esta não é, certamente, uma boa notícia, se você é um pesquisador psicológico porque uma grande maioria dos trabalhadores da MTurk tomou dezenas, senão centenas, de outras pesquisas dentro de um curto período de tempo. É bem provável que muitos deles estejam no meio de uma sessão de pesquisa de maratona. Isso pode criar todos os tipos de problemas se o pesquisador estiver tentando produzir uma manipulação psicológica como uma indução de humor ou uma mentalidade específica, etc. (Mais sobre isso em uma publicação futura).

Muitos pescadores, peixe insuficiente.

Então, esta é a imagem que nos resta. Imagine uma lagoa com cerca de 10 mil peixes nadando em qualquer momento. E depois, imagine que dezenas de milhares de pescadores e pescadores se alinharam ao redor da lagoa e lançando suas redes milhares de vezes por semana, pegando o peixe, sondando-os e liberando-os, pegando, sondando, depois soltando, pegando, sondando e soltando de vez em quando. Não é de admirar que um quarto dos peixes se retire a cada três meses. Eles são provavelmente queimados da sondagem multitudinária do povo do pescador. Isto é o que usar os trabalhadores da MTurk para fazer pesquisas em ciências sociais é como no início de 2017. Não é uma visão bonita.

PS:

Depois que eu escrevi este post, Kristy Milland (manipulação do Twitter: @TurkerNational) enviou-me um link para um estudo que ela realizou (veja seus comentários abaixo). Durante um período de seis semanas em 2015, ela obteve 25.293 participantes únicos baseados nos EUA e um total de 30.002 participantes (a maioria dos restantes da Índia) para completar seu sucesso. Observe que isso inclui todos os trabalhadores da MTurk, não apenas os tomadores de pesquisa. O link para os resultados do estudo da Kristy pode ser encontrado aqui.

Sobre mim

Eu ensino marketing e preços para estudantes de MBA na Rice University. Você pode encontrar mais informações sobre mim no meu site ou me seguir no LinkedIn, Facebook ou Twitter @ud.