Por que as intervenções funcionam tão importante quanto se elas funcionarem

Sua avaliação não deve se contentar com apenas uma resposta sim / não.

Fonte: Tech. Sgt. Ryan Crane / Keesler

Muitos de nós são julgados não pela riqueza de nossas idéias, mas pela qualidade de nossos resultados. Quantos alunos você recrutou? Quanto dinheiro você salvou a faculdade? Quantas bolsas você recebeu? Quaisquer que sejam as métricas que definem o seu sucesso profissional (o meu, felizmente, não é o número de pessoas que leem este blog), questões como essas limitam nosso foco para saber se novos programas e inovações funcionam, negligenciando o motivo pelo qual eles funcionam ou não. Por que, no entanto, é mais do que uma questão acadêmica e pode ter múltiplos benefícios ao realizar uma avaliação. Esse conselho é especialmente verdadeiro no zeitgeist de cutucadas de hoje – intervenções escaláveis ​​e de baixo custo que podem ser facilmente implementadas e iteradas – onde a simplicidade dessas estratégias pode ofuscar as respostas psicológicas complexas que elas provocam das pessoas que queremos apoiar. Perguntar por que um programa funciona pode nos ajudar a expandir o escopo de nossos esforços, projetar soluções complementares e diagnosticar problemas quando nossos esforços não forem cumpridos.

Estudo de caso: Mudando os hábitos energéticos

• Desculpe Sean Hannity, a verdade sobre o Papai Noel não é “Fake News”
• As paredes sussurrantes de Tobias Forge
• Dentro de um caso da EEOC, parte I
• 5 dicas para integrar o pensamento crítico na educação
• O que significa ser um arqueólogo multilíngue?

Um conjunto de estudos agora famoso mostrou como a prova social pode reduzir o uso de energia doméstica. A maioria de nós não sabe quanta energia é normal, por isso, se descobrirmos que usamos mais do que a média, poderemos estar motivados a aproximar o nosso consumo da norma. O programa de conservação da Opower, portanto, enviava para seus clientes faturas que revelavam quanta energia eles usavam em comparação com seus vizinhos. E eis que os clientes que usaram mais energia do que a média reduziram seu consumo ao longo do tempo, efeitos que persistiram bastante robustamente durante anos.

Então, por que o consumo de energia diminuiu? Duas análises diferentes dos dados do Opower apresentaram diferentes explicações:

# 1. Prova social muda hábitos. Quando as pessoas recebiam sua primeira fatura, o uso diário de energia cairia acentuadamente. O consumo deles voltaria lentamente até a próxima fatura chegar, ponto em que o consumo de energia cairia novamente. No quarto projeto, no entanto, o uso de energia das pessoas tendeu a se estabilizar em um nível mais baixo do que onde começou, então não houve queda nem recuperação. De acordo com esses pesquisadores, novos hábitos (por exemplo, desligar as luzes ao sair de um quarto; reajustar o termostato) haviam se estabelecido. Ou eles tinham?

• Por que as pessoas deveriam se importar com o sofrimento humano e animal
• Tem Callout Cultura Finalmente foi longe demais?
• Resolvendo o quebra-cabeça do TDAH
• Cura emocional e psicoterapia
• Oito mitos do addiction

# 2. Prova social motiva a melhoria da casa. Uma análise concorrente examinou o que aconteceu com o consumo de energia doméstica depois que uma casa foi vendida. Os novos ocupantes nunca foram expostos à prova social, então eles ainda devem ser ingênuos sobre o que constitui o uso normal de energia. No entanto, o consumo de energia em residências revendidas não aumentou. Por quê? Os pesquisadores argumentam que os proprietários originais, que receberam provas sociais, fizeram melhorias, como termostatos programáveis ​​e aparelhos Energy Star. Esta explicação sugere que quatro meses não foi o tempo que levou para novos hábitos se formarem, mas sim quanto tempo as pessoas levaram para tornar suas casas mais eficientes energeticamente, um impacto que permaneceu na casa mesmo depois da partida dos proprietários originais.

Um resultado, duas explicações … enquanto a prova social funcionar, quem se importa? Mas imagine a implantação deste programa de conservação em um bairro de baixa renda. Se a prova social mudar os hábitos energéticos das pessoas, ela deve funcionar independentemente da renda familiar. Mas se a prova social forçar principalmente as pessoas a melhorar suas casas, isso pode não ser possível entre uma população mais desfavorecida. Da mesma forma, as pessoas que já vivem em lares eficientes em energia só se beneficiariam de provas sociais se gerassem novos hábitos, porque não teriam outras melhorias a fazer. Como você pode ver, o motivo é extremamente importante no planejamento de escalar um programa como este para novas localidades.

O que pode ‘por que’ fazer por você?

O exemplo do Opower revela um dos principais motivos para examinar por que um programa funciona: escalabilidade . Muitas vezes, quando introduzimos um novo programa ou tecnologia no ensino superior, testamos com um grupo específico de alunos, mas com planos de apresentá-lo amplamente caso o piloto vá bem. Compreender por que, e não apenas se, algo funciona nos ajudará a prever como as novas populações responderão. Por exemplo, se uma nova intervenção para estudantes de primeira geração morando no campus aumenta o desempenho acadêmico, principalmente motivando os alunos a buscar orientação, isso pode não se traduzir em estudantes, adultos que trabalham, e pais que não têm tempo extra para dedicar para procurar ajuda. Se essa intervenção funcionar criando hábitos de estudo mais eficientes, no entanto, é mais provável que ajude um grupo mais amplo de alunos. Ao compreender o mecanismo subjacente, temos uma ideia melhor de quem mais poderia se beneficiar da nossa intervenção.

Perguntar por que um programa funciona também pode nos ajudar a desenvolver soluções complementares para os desafios dos alunos. Digamos que pilotemos uma iniciativa bem-sucedida de bem-estar e, através da pesquisa, descobrimos que tivemos um grande impacto na melhoria dos hábitos de sono dos alunos. Podemos agora conceber outras maneiras de melhorar o sono, a fim de manter e reforçar esses ganhos, bem como considerar a melhor maneira de dimensionar nossas descobertas em torno do sono. Mas digamos que mesmo que nosso piloto inicial tenha tido sucesso, nós realmente só ajudamos as mulheres a dormir melhor, não os homens. Agora, sabemos como direcionar os homens de uma nova maneira e examinar se mudar seus hábitos de sono tem um impacto proporcional em seu bem-estar geral.

Finalmente, examinar por que algo funciona também pode nos ajudar a diagnosticar por que algo não funciona. Muitas vezes, quando um piloto falha, o bebê sai com a água do banho e nós começamos de novo. Mas perguntando por que pode revelar-nos a falha fatal que podemos consertar na próxima iteração. Por exemplo, imagine implementar uma intervenção de valor de utilidade para os alunos introdutórios do STEM que aumentaram o tempo gasto estudando, mas não tiveram impacto significativo no GPA. Talvez o efeito tenha sido muito fraco (ou seja, os alunos precisam estudar ainda mais antes de melhorar suas notas), ou o mecanismo de mudança foi insuficiente e você precisa direcionar os hábitos de estudo dos alunos ou os comportamentos de busca de ajuda. Explorar o porquê dá-lhe a oportunidade de ver o seu piloto a partir de novas perspectivas e de fazer melhorias informadas sem começar do zero.

Conclusão

Pode ser fácil, neste mundo de cutucadas, implementar uma intervenção simples e obter resultados rápidos, mas isso não significa que você não deva procurar recursos para descobrir o que faz essa intervenção. Não há dúvida de que perguntar por que isso pode ser difícil: geralmente envolve coleta de dados adicional, como pesquisas, entrevistas e acompanhamento comportamental, que adicionam custos e ônus à sua avaliação. Mas a recompensa em termos de escalabilidade, desenvolvimento e diagnóstico pode valer a pena o investimento extra necessário para fazer a importantíssima pergunta “Por quê?”

Referências

Allcott, H., & Rogers, T. (2014). Os efeitos a curto e longo prazo das intervenções comportamentais: Evidências experimentais da conservação de energia. American Economic Review, 104 (10), 3003-3037.

Brandon, A., Ferraro, PJ, List, JA, Metcalfe, RD, Price, MK, & Rundhammer, F. (2017). Os efeitos dos toques sociais persistem? Teoria e evidência de 38 experimentos de campo natural (n º w23277). National Bureau of Economic Research.