Suporte a fluxos de trabalho de aplicações intensivas em dados

O recente desenvolvimento das tecnologias de aquisição de dados fez com que cada vez tivessemos mais dados disponíveis para processamento, entretanto, o aumento do volume de dados disponível criou uma demanda de processamento que extrapola a capacidade de apenas um computador, dessa forma, aplicações científicas foram forçada a utilizar recursos distribuídos e compartilhados. Entretanto,a maioria das aplicações científicas existentes foram desenvolvidas seqüencialmente e não eram capazes de utilizar recursos distribuídos. Em resposta a essas necessidades foram introduzidos os sistemas de fluxo de trabalho científicos, os quais permitiram a utilização de aplicações sequênciais em ambientes distribuídos, possibilitando a exploração de grandes bases de dados. A introdução desses sistemas é baseada na observação de que aplicações científicas são construídas pela composição de múltiplos estágios de computação, como em pipelines tradicionais, que precisam ser executados em grandes coleções de dados. Dessa forma, os sistema de fluxo de trabalho permitiram que os estágios de computação da aplicação fossem mapeados em estágios de fluxos de trabalho, os quais são compartilhados entre usuários e executados em ambientes distribuídos.Neste trabalho, apresentamos um sistema de fluxo de trabalho único no sentido de que o mesmo foi especialmente desenvolvido para facilitar a execução dessas aplicações em ambientes distribuídos utilizando bancos de dados para armazenamento de dados científicos. Nosso sistema é otimizado para execução fluxos de trabalho intensivos em dados, pois nos preocupamos com as tarefas de gerenciamentode dados. Os resultados experimentais obtidos com este sistema mostram que podemos alcançar speedups próximos do linear para aplicações sofisticadas, criadas por múltiplos componentes.The increase of the demand of computation and data have forced the scientific applications to use distributed and shared resources. The scientific workflow systems have been introduced in response to the demand of researcher from several domainsof science who need to process and analyse this increasingly larger experimental datasets.The introduction of the workflow systems is based on the observation that scientific applications are constructed by the composition of multiple computation stages as a standard pipeline that need to be executed on very large data collection. In such a way, the scientific workflow systems had allowed the computation stages to be mapped into workflow stages, which can be efficiently executed in distributed systems. In this work we present scientific workflow system that is unique in sence that it have been developed to facilitate the execution of scientific applications in distributed systems using databases to store scientifc data. Our system is optimized for data-intesive workflows, meaning that we are very concerned with data management issues. The experimental results with our system have shown that we can achieve linear speedups for fairly sophisticated application, created from multiple components