Alloowing better experiments’ replicability on distributed environments with less reliable nodes

A reprodução de experimentos representa uma das melhores formas de se comprovar a eficácia de propostas científicas nas mais diversas áreas do conhecimento. Na computação, a replicabilidade de experimentos é particularmente favorecida pela popularidade dos repositórios públicos, bem como pelo compartilhamento de código fonte e de dados de entrada de publicações científicas. As dificuldades da replicação de experimentos surgem em áreas com ambientes de execução imprevisíveis e voláteis. Máquinas falhando e problemas com comunicação de redes correspondem a esta descrição e são comumente encontrados em ambiente distribuídos. Para superar estes problemas, um sistema distribuído capaz de rodar experimentos em ambientes distribuídos de baixa confiabilidade sem intervenção manual será desenvolvido, onde computadores que falharem durante sua execução sejam substituídas por outras funcionais. Comparada a outras propostas, sua inovação é a capacidade de manter o contexto de máquinas falhas, similar a checkpoints , e permitir que seus substitutos recuperem os dados salvos. Essa funcionalidade deve aprimorar a replicabilidade do experimento desde que a disponibilidade do sistema também virtualmente crescerá. Como desafios, ainda é necessário desenvolver um sistema que permita a execução de experimentos distribuídos, para então ser possível aplicar o protocolo de recuperação. Resultados obtidos durante a avaliação do protótipo em um ambiente instável demonstram uma menor variação e maior precisão entre múltiplas tentativas de um mesmo experimento, com um desvio padrão de 1.6% da média e precisão de 95.7%, comparado com os resultados sem o uso do sistema, com um desvio de 25% da média e precisão de 72%.One of the best ways to prove the efficiency of scientific proposals on any field of knowledge is by the reproduction of experiments. The experiments’ replicability is particularly favorable by the popularity of the public repositories within computing, as well by sharing source code and input data in scientific papers. The challenges of replicating experiments appears in fields with environments susceptibles to volatile and unpredictable executions. Machines crashing and the troubles of network communications match this description and are commonly found in distributed environments. To overcome this problems, a distributed system capable of running experiments in these less reliable systems without manual intervention will be developed, where the computers that fail during execution shall be swapped with the functional ones. Compared to other proposed solutions, its innovation is the capability to keep the context of failed machines, similar to checkpoints, and allow their substitute to recover the saved data. This feature shall enhance the experiments’ replicability since the system’s availability will also virtually increase. The challenge comes with the development of a distributed experiments’ execution system from the ground up, so we will be able to apply our own recovering protocol. Results obtained during the evaluation of the prototype in an unstable environment show a smaller variation and greater precision between multiple attempts of the same experiment, with a standard deviation of 1.6% from the mean and accuracy of 95.7%, compared to the results without the use of the system, with a deviation of 25% from the mean and accuracy of 72%