A avaliação é o processo de determinar o mérito, o valor ou a importância de algo, e uma avaliação é um produto concreto desse processo. De acordo com Michael Scriven em The Logic of Evaluation , “Avaliação profissional é uma avaliação feita de maneira sistemática e objetiva, com um grau de especialização que requer treinamento ou aprendizado específico extenso”. A lógica da avaliação é um exemplo do passo-a-passo. processo que pode ser adaptado para nos ajudar a fazer julgamentos sobre a qualidade de produtos, programas, políticas ou pessoal.
Definindo o processo
A lógica da avaliação é um processo de quatro etapas que inclui: 1) definir os critérios que serão usados para avaliar algo; 2) estabelecer padrões de desempenho nesses critérios; 3) medir o desempenho real; e 4) sintetizar os resultados para chegar a um julgamento avaliativo. O que é especialmente interessante sobre esse processo é que as pessoas geralmente o fazem intuitivamente, mas podem pular etapas que podem levar a conclusões erradas. Este artigo espera esclarecer como esse processo se parece e como ele pode ser aplicado a uma situação do mundo real.
O primeiro passo para definir os critérios é focado em gerar uma lista de dimensões ou elementos que nos ajudariam a capturar o desempenho de um produto / programa / política. Por exemplo, se quiséssemos avaliar um carro, alguns dos critérios que poderíamos gerar poderiam incluir o número de pessoas que ele acomoda, a milhagem por galão (MPG), sua classificação de segurança de colisão, sua aparência (sua estética) e sua preço. Esta não é uma lista abrangente de critérios, mas oferece um ponto de partida para nos fazer pensar sobre as dimensões que influenciam a forma como avaliamos um carro. Também é importante notar que nem todos os critérios são igualmente importantes, por isso, no caso da avaliação do carro, podemos dar muita importância aos critérios de segurança, por isso, mesmo que um carro tenha um preço razoável, fique ótimo, receba um ótimo MPG e acomoda seis pessoas, mas falha nos mais simples testes de colisão de segurança e, em seguida, falha automaticamente como um carro, já que a segurança é provavelmente uma das características mais importantes.
Uma vez que descobrimos os critérios, temos que determinar o quão bem algo precisa ser feito nesses critérios (isto é, padrões). Por exemplo, se usarmos o MPG como critério, também precisaríamos determinar um padrão de desempenho para esse critério. Isso significa que temos que descobrir um nível aceitável de desempenho com base nesses critérios, então seria aceitável 10 MPG? 35 MPG? 50 MPG ou até 100 MPG? Existem diferentes maneiras de abordar esse processo, a maneira mais simples é definir um nível de desempenho de corte onde você decide que, devido ao preço do gás, um carro precisa obter pelo menos 35 MPG para ser considerado um nível “bom”. de desempenho em MPG. Outra maneira é desenvolver um sistema de pontos em que quanto melhor o MPG, mais pontos um carro ganha (por exemplo, 10 MPGs recebem 10 pontos, 100 MPG recebem 100 pontos). Você pode passar por esse processo com os outros critérios, para definir um preço para quanto você quer gastar em um carro, identificar o número de passageiros que deseja poder acomodar e talvez até desenvolver um sistema de classificação. por quão bom o carro parece.
Quando você termina a identificação dos critérios e a configuração padrão, começa a parte divertida de obter e coletar informações. No exemplo do carro, isso significaria que começaríamos a coletar dados de critérios sobre os diferentes carros que estamos considerando. Você pode coletar os dados diretamente, para que possa colocar um galão de gasolina em um carro e conduzi-lo por uma pista para ver até onde vai (isso pode ajudar a determinar o MPG) ou encontrar fontes de dados existentes sobre o desempenho do carro. Alguns dos dados de desempenho são fáceis de obter, por exemplo, o número de pessoas que podem caber em um carro pode ser determinado olhando para o interior do carro. Outras informações podem ser difíceis de coletar diretamente, e você precisará confiar em outras fontes externas. Por exemplo, os dados de segurança de acidentes precisariam ser obtidos do Instituto de Seguros para Segurança de Rodovias (IIHS). Uma vez que todas as medições estejam concluídas e os dados coletados, a etapa mais interessante no processo de avaliação será iniciada.
O processo de síntese é onde você toma os critérios que foram identificados, os padrões de desempenho que foram determinados e as medidas que foram coletadas para chegar a uma conclusão ou julgamento final de avaliação. No exemplo do carro, isso significaria que você compararia os dados que coletou sobre cada carro com os padrões de desempenho que você identificou e alocaria os pontos com o nível de desempenho desses critérios. Por exemplo, você pode ter um carro que consiga 40 MPG (40pts de 100 pontos), que pareça aceitável (por exemplo, obtém 50 pontos de 100 pontos), tenha um excelente desempenho nos testes de segurança (80 pontos em 100 pontos) mas é muito caro (10 pontos em 100 pontos). A pontuação total para esse carro seria 180 de um possível 400 pontos. Outro carro poderia obter 300 pontos de 400, ou 50 de 400, dependendo de quão bem ele foi realizado durante o processo de medição. Uma vez que você olha para a alocação de pontos, então seria fácil descobrir qual é considerado o “melhor” carro.
Também é importante lembrar que, como parte desse processo, você precisa determinar se esses carros passaram pelos critérios mais importantes ou críticos (por exemplo, segurança do teste de colisão). Assim, mesmo que um carro tenha um desempenho muito bom em todos os outros critérios (100 pontos no preço, 100 pontos na estética, 100 pontos no MPG), mas falhe nos testes de segurança, o carro precisa ser removido e considerado “falhado” carro.
Espero que esta ilustração ofereça alguns insights sobre como a lógica da abordagem de avaliação pode tornar os conceitos abstratos mais explícitos e sistemáticos. A lógica da abordagem de avaliação pode ser usada em muitas situações diferentes, como a avaliação de programas como esforços de retenção de estudantes, iniciativas de prevenção de gravidez e intervenções de reabilitação de drogas. Também pode ser usado na avaliação de várias políticas que afetam nossas vidas e, como ilustrado pelo exemplo do carro, ser usado em nosso processo de tomada de decisão regular. No entanto, há complexidades adicionais a esse processo que serão abordadas em artigos futuros, por exemplo, ao avaliar um programa escolar, os critérios de desempenho do diretor podem ser muito diferentes do que os pais pensam e o processo de negociação entre essas diferenças pode afetar a credibilidade. e utilidade do julgamento final da avaliação. Vamos explorar essas complexidades e o papel da avaliação na tomada de decisão na próxima parcela.
Referências
Scriven, Michael, “A Lógica da Avaliação” (2007). Arquivo da Conferência OSSA . 138. https://scholar.uwindsor.ca/ossaarchive/OSSA7/papersandcommentaries/138
