Um estudo do uso de testes de qualificação na plataforma Amazon Mechanical Turk.

Submitted by Lucienne Costa (lucienneferreira@ufcg.edu.br) on 2018-05-03T21:05:40Z No. of bitstreams: 1 IANNA MARIA SODRÉ FERREIRA DE SOUSA – TESE (PPGCC) 2017.pdf: 3044330 bytes, checksum: 5ec0f15ac650d61c186921dd2c1ef9f7 (MD5)Made available in DSpace on 2018-05-03T21:05:40Z (GMT). No. of bitstreams: 1 IANNA MARIA SODRÉ FERREIRA DE SOUSA – TESE (PPGCC) 2017.pdf: 3044330 bytes, checksum: 5ec0f15ac650d61c186921dd2c1ef9f7 (MD5) Previous issue date: 2017-07-19Muitos sistemas de computação por humanos usam mercados de trabalho crowdsourcing para recrutar trabalhadores. No entanto, devido à natureza aberta desses mercados, garantir que os resultados produzidos pelos trabalhadores possuam uma qualidade suficientemente alta ainda é uma tarefa desafiadora, particularmente em mercados de microtarefas, onde a avaliação precisa ser feita de forma automática. A pré-seleção de trabalhadores adequa- dos é um mecanismo que pode melhorar a qualidade dos resultados obtidos. Isso pode ser feito considerando as informações do cadastro pessoal do trabalhador, o comportamento histórico do trabalhador no sistema ou o uso de testes de qualificação customizados. En- tretanto, pouco se sabe sobre como os solicitantes usam testes de qualificação na prática e se estes tem influência na qualidade dos resultados apresentados pelos trabalhadores. Este estudo visa avançar esse conhecimento. Por meio de análise de distribuições, classificação e agrupamento, as tarefas e os solicitantes foram caracterizados utilizando dados obtidos da plataforma Amazon Mechanical Turk em dois períodos de tempo distintos. Os resultados mostram que a maioria das tarefas (94% e 87%, para a coleta de dados1 e 2,respectivamente) usa algum teste de qualificação para a pré-seleção de trabalhadores e que o tipo e o número de testes de qualificação não são determinados pela classe da tarefa. Os solicitantes, em sua maioria, submetem tarefas com apenas um único teste de qualificação do tipo reputação, no entanto, os solicitantes mais ativos na plataforma usam, exclusivamente, teste de qualificação customizado. Para avaliar o impacto do uso de testes de qualificação customizados na qualidade dos resultados produzidos, foram realiza dos experimentos com três tipos diferentes de tarefas usando tanto trabalhadores qualificados (mestres ou trabalhadores pré-selecionados) como não qualificados. Os resultados mostram que a pontuação média alcançada pelos trabalhadores pré-selecionados foi sempre maior que a alcançada por trabalhadores que não foram pré-selecionados. Além disso, o desempenho de trabalhadores pré-selecionados foi muito próximo dos trabalhadores considerados mestres e, em alguns cenários, melhor, indicando assim, que é possível obter resultados mais acurados em plataformas de trabalho on-line de microtarefas quando se usa testes de qualificação