4 Alterações que farão ao usar o Amazon MTurk para pesquisas

Fonte: Sinal visto em Santa Cruz por Robert Couse-Baker licenciado sob CC BY 2.0

Alguns dias atrás, descrevi minha experiência bastante intensa e não totalmente agradável trabalhando a tempo parcial como uma Amazon Mechanical Turk (MTurk)   trabalhador. Não só essa experiência me deixou "abalada e agitada" por assim dizer, mas também me fez pensar nas mudanças que eu preciso fazer quando volto a usar o MTurk como pesquisador para coletar levantamentos ou dados experimentais.

Aqui está a minha lista de quatro mudanças que planejo fazer ao usar o MTurk para publicar meu trabalho (outros pesquisadores são bem-vindos para se juntarem a J).

1. Pague trabalhadores o dobro!

A questão do pagamento era talvez a revelação mais marcante da minha experiência e uma que seria impossível sem ter andado nos sapatos de um trabalhador MTurk por uma semana. Até agora, quando publiquei minhas pesquisas na MTurk, pensei em trabalhadores de maneiras muito abstratas e difusas, se eu pensasse nelas.

Tendo trabalhado na pesquisa de marketing comercial antes, havia um sentido irritante no fundo da minha mente que eu estava obtendo meus dados para um preço de barganha-porão (uma vez trabalhei em um projeto de pesquisa envolvendo prisioneiros, e até mesmo um público cativo custou sobre $ 3 / pesquisa); mas eu descartei. A que custo? Após a experiência do meu trabalhador, é claro para mim que eu não estava pagando o suficiente pelo valor que recebo dos trabalhadores da MTurk.

• Charlie: O cão feroz que veio do selvagem
• Novo relatório: o bullying é um problema de saúde pública grave
• Mad Men: Don Draper no sofá
• Overqualified Job Seekers Unite
• O Poder da Psicologia Positiva

Para uma pesquisa de 6-7 minutos, ofereci entre $ .40 e $ .60 dependendo do número de perguntas abertas, tendo que ler e compreender passagens, etc. A partir de agora, vou oferecer pelo menos US $ 1,00. Com meu orçamento de pesquisa limitado, esse aumento de salário unilateral significa que eu vou ter que trabalhar mais no front-end na concepção e planejamento de estudos com mais cuidado e fazendo menos deles.

(E eu percebo que a Amazon aumentou recentemente a comissão que eles carregam substancialmente os pesquisadores. Mas, da maneira que eu vejo, é uma questão inteiramente diferente melhor para lutadores mais ferozes, não tem nada a ver com a remuneração dos trabalhadores justos).

Lá você vai, um professor de marketing oferecendo para pagar o dobro! Estranho, eu sei.

• Os olhos têm isso?
• Você comeu demais ou depois do Dia de Ação de Graças? Perdoe-se e então seja grato
• Construindo relacionamentos para combater o isolamento
• Leading From the Heart
• O que seria útil para o DSM 5?

2. Diligentemente controle e mantenha a qualidade da pesquisa

Do ponto de vista dos trabalhadores da MTurk, tudo o que os retarda dói, cognitivamente (em como eles pensam e respondem às perguntas) e no livro de bolso! Esses pontos de dor podem incluir muitas coisas. Perguntas que são idiotas, redigidas de forma fraca ou ambígua, erros ortográficos, erros de gramática, fluxos de pesquisa complicados, tarefas que tornam os entrevistados sentados por mais de dois minutos, enquanto um relógio digital corre dificilmente, perguntas abertas que obrigam as pessoas a escrever uma Certo número de palavras (ou personagens, com muita humungous), eu sinto que mais de 100 caracteres são demais), levantamentos que são muito longos (qualquer coisa mais 70 perguntas totais são muito longas na minha opinião) contribuem grandemente para a dor do examinador.

Nos estudos que eu (ou meus co-autores) postei na MTurk, geralmente fomos bons com essas coisas. Mas nós vacilamos de vez em quando. Às vezes, erroneamos um tipo de resposta em uma pergunta para que um espaço em branco que realmente deveria ser preenchido com texto força uma resposta para um endereço de e-mail. Outras vezes, deixamos um erro de digitação evidente na pesquisa quando a publicamos que distrai os entrevistados. São pequenas coisas assim, que vamos nos concentrar em consertar.

O meu mais importante controle de controle de qualidade é que muitas vezes ignorarei a edição de cópias, testando e executando os questionários que estou prestes a publicar no MTurk (por pura preguiça ou por excesso de confiança injustificada, não sei qual).

Meu mantra a partir de agora: Copie e depois teste o questionário sobre mim (e co-autores ou minions) pelo menos três vezes antes de ser publicado para os trabalhadores da MTurk. Se eu não conseguir trabalhar com ele sem problemas, é provável que os respondentes também não o façam.

Eu fiz uma lista de verificação que atravessa todos esses problemas potenciais e pode ser útil para pesquisadores que conduzem pesquisas on-line. Ele pode ser baixado aqui.

3. Não apenas obter o consentimento informado, mas também proporcionar oportunidade para "feedback informado"

Como a maioria dos pesquisadores, insira um formulário de consentimento informado explicando o procedimento do meu estudo, seus riscos potenciais, minhas informações de contato, etc., no início do meu questionário. Mas agora percebo que isso não é tão útil como poderia ser por alguns motivos.

• A forma é bastante densa. Não é razoável esperar que os trabalhadores da MTurk no relógio leiam cuidadosamente mais de 300 palavras, mesmo antes do início do estudo. Mesmo que eu peça aos trabalhadores para imprimi-lo para futuras referências, é improvável que a maioria o faça.
• O formulário de consentimento informado é muitas vezes o único local onde o nome do pesquisador e as informações de contato são fornecidas. No entanto, o trabalhador realmente precisa dessa informação no final, depois que o botão final é pressionado e a pesquisa é enviada.

Então, além de obter o consentimento informado, obtendo "feedback informado" no final, após a submissão da pesquisa e o código de conclusão fornecido. É aí que parece apropriado fornecer minhas informações de contato e pedir feedback e dar uma oportunidade para expressar quaisquer queixas.

Os profissionais de marketing rotineiramente perguntam aos clientes sobre sua experiência depois de uma refeição de restaurante ou uma viagem de avião, então por que os pesquisadores não devem fazer o mesmo após uma pesquisa MTurk?

4. Complementar estudos MTurk com amostras e métodos drasticamente diferentes

Independentemente da adequação estatística dos dados da MTurk, há algo intrinsecamente apavorado com a pesquisa de ciências sociais conduzida unicamente com um método que leva os pesquisadores a preencher pesquisas, como os trabalhadores da linha de montagem que colocam os relógios Apple.

Deixa-me dizer-te porquê. Na tomada de decisões morais, uma importante (e horrível) classe de problemas envolve escolher entre duas situações REALMENTE ruins (que sinceramente espero que nenhum de nós nunca tenha que encontrar em nossas vidas reais). Esses dilemas incluem: "Você deveria sufocar uma criança com suas mãos nuas para salvar uma dúzia de estranhos de ser morto?" Ou "Você poderia cozinhar e servir seu cão / gato de estimação em uma festa da aldeia se isso significasse que toda sua aldeia seria Poupou de ser abatido imediatamente? " Yikes!

Esses tipos de perguntas são horríveis. Para qualquer ser humano normal, eles criam turbulências emocionais e morais quando você encontra-se (pelo menos, eles fizeram por mim!). É o que eles devem fazer. Mas suponha que você encontre as mesmas perguntas repetidas vezes … e novamente; Digamos que você encontre uma dúzia dessas perguntas em 20 pesquisas por semana (a tomada de decisões morais é um tópico de pesquisa popular, afinal).

Você vai sentir o mesmo dilema moral intenso na 17ª vez que você responde essas questões? De jeito nenhum! Você vai como: "Bocejar! Ah, para apaziguar os mocassins, cozinharei Rover em bifes para a festa da vila! Próximo! "O meu ponto é ao responder, você ainda pode responder as perguntas da maneira que o pesquisador quer, espera ou prediga, mas certamente sem qualquer Tumulto emocional que está no cerne de tais decisões morais!

Existem pelo menos outros dois motivos que desconfio sobre a realização de pesquisas baseadas em amostras da MTurk. Em primeiro lugar, por causa da facilidade, custo e velocidade de execução dos estudos MTurk, existe uma tendência crescente de executar numerosos estudos para o mesmo projeto com a idéia de replicar a descoberta e usar métodos estatísticos extravagantes como a meta-análise em pequena escala para figurar O tamanho do efeito é mais confiável .

No entanto, esse dilúvio de dados adquiridos de forma econômica negligencia o fato de que todos os estudos foram feitos com pesquisadores que estão homogeneamente cansados; então os resultados podem não se generalizar além dos tomadores de pesquisa de linha de montagem. E a verdade do assunto é que sabemos muito pouco sobre os tomadores de inquéritos profissionais além do fato de que eles são relativamente poucos em número.

Em segundo lugar, para os pesquisadores aplicados em particular, a complacência decorrente de ter realizado inúmeros estudos on-line desloca o foco longe de reconhecer as severas limitações associadas a tarefas baseadas em texto que envolvem histórias e cenários imaginários que os questionários on-line podem suportar. Essas medidas podem ou não se transferir para decisões reais ou comportamentos no mundo real que estamos realmente interessados ​​em estudar.

Por estas razões, pretendo usar MTurk amostras principalmente para realização de pré-testes e para pesquisas exploratórias que constituem uma pequena fração de estudos em qualquer projeto de pesquisa particular. Por enquanto, prefiro realizar estudos de campo (com clientes reais, por exemplo) e medir comportamentos reais, em vez de opiniões sobre como se comportam os tomadores de inquéritos.

Quero dizer uma última coisa (se você, o leitor, chegou tão longe sem se assustar me amaldiçoando). Ao publicar o trabalho no MTurk, não seria bom se os pesquisadores usassem seu nome real e declarassem claramente sua afiliação? Usando pseudônimos como "SocPerfLab37" cria a impressão de spammers online que lançam Viagra todos os dias!

Recursos adicionais

Um coletivo de trabalhadores e pesquisadores da MTurk chamado Dynamo reuniu um excelente conjunto de diretrizes para pesquisadores que descreve muitas das coisas que abordei aqui com muito mais profundidade e muito mais. O grupo também fez algumas pesquisas interessantes sobre ação coletiva entre os trabalhadores da MTurk.

Mais sobre mim

Eu ensino o núcleo de marketing e preços para estudantes de MBA na Universidade de Rice e minha vita acadêmica está aqui.

Você pode encontrar e baixar muitos dos meus estudos acadêmicos e algumas das minhas orientações orientadas para o praticante na SSRN. Se você não consegue encontrar algo antigo, escrevi, me mande um e-mail e eu o enviarei para você.

Alguns dos meus escritos para gerentes e pessoas de negócios podem ser encontrados no HBR.org e eu também escrevo um blog relativamente novo chamado "The Science behind Behavior" on Psychology Today.

Você pode se conectar comigo no LinkedIn ou no Facebook , ou pode me enviar um e-mail. Todas as perguntas, comentários, pensamentos e idéias para futuras peças de blog ou projetos de pesquisa acadêmica são bem-vindos. Apenas não me envie nenhum correio de ódio, por favor.

[Esta publicação é enviada de forma cruzada pelo LinkedIn Pulse ]