The abstraction of contextual contracts for resource allocation in component-oriented parallel computing systems in clouds

High performance computing has been employing techniques and tools to build solutions for performing tasks that demand high performance in both programs and execution platforms. In the evolution of these techniques, the use of high performance computational clouds is still a challenge, since several users of this area are being reluctant to adopt this model, remaining with the execution of their applications in their own computational resource parks. Among the problems reported by these users are restrictions on the choices users can make in their resources, such as the geographic location of execution platforms, the use of specific computational accelerator, and the added overhead of virtualized hardware execution and communication network. In order to promote access to cloud computing environments to meet the requirements of users in this area, as well as to provide access to heterogeneous resources on demand, it was proposed by the HPC group of the Universidade Federal do Ceará, an environment of cloud computing called HPC-Shelf. HPC-Shelf is based on the component orientation paradigm, using component abstraction to represent programs and execution platforms. In this scenario, this thesis introduces Alite, a method for choosing Computer Systems, formed by pairs of components that represent the programs and their respective execution platforms. Alite, through a series of abstractions, is able to treat the universe of components, registered in a database, using its characteristics that can be represented hierarchically, or through numerical values that can be set by users or automatically calculated from the valuations of other numerical characteristics. An Alite implementation prototype was developed with the purpose of evaluating the contextual contracting system with respect to aspects of expressiveness, performance and effectiveness, evidencing its applicability in real scenarios. Regarding expressiveness, a virtual platform framework was designed for HPC Shelf, which constitute heterogeneous cluster computing platforms with some features considered common in modern cluster design. From this framework, a virtual platform framework on Amazon’s EC2 service is presented. Finally, a matrix multiplication computing component framework was developed based on the BLAS library’s level 3 interface, demonstrating how features of widespread scientific libraries can encapsulated and reused through components at HPC Shelf. User contract resolution time was considered satisfactory for a large number of registered platforms, as well as the result of the classification was aligned with the objectives defined by HPC-Shelf.A Computação de Alto Desempenho (HPC) vem empregando técnicas e ferramentas para construção de soluções para execução de tarefas que demandam alto poder de processamento, tanto nos programas quanto nas plataformas de execução. Nesse contexto, o uso de nuvens computacionais como plataforma de serviços de HPC ainda é um desafio, pois muitos usuários mostram-se receosos em adotar esse modelo, permanecendo com a execução de suas aplicações em seus próprios parques de recursos computacionais. Dentre os problemas relatados por parte desses usuários, destacam-se as restrições quanto às escolhas que os usuários podem fazer nos seus recursos, como a localização geográfica das plataformas de execução, uso de acelerador computacional específico, além da sobrecarga adicionada pela execução virtualizada de hardware e rede de comunicação. A fim de promover o acesso aos ambientes de nuvens computacionais de modo a satisfazer os requisitos dos usuários dessa área, bem como prover acesso aos recursos heterogêneos sob demanda, foi proposto pelo grupo de HPC da Universidade Federal do Ceará, um ambiente de computação em nuvens chamado HPC Shelf. A HPC Shelf tem como base o paradigma de orientação à componentes, utilizando a abstração de componentes tanto para representar os programas quanto as plataformas de execução. Nesse cenário, esta tese introduz o Alite, um arcabouço para seleção de componentes de sistemas de computação paralela, notadamente com requisitos HPC, onde tais componentes representam tanto o software quanto o hardware que o hospeda para execução, as plataformas de computação paralela. O Alite permite a abstração de componentes através de contratos contextuais, os quais determinam propriedades que influenciam na implementação de componentes. Além de requisitos da aplicação e características da plataforma de execução alvo, são tratados requisitos de qualidade de serviço (QoS) e de custo de execução, considerados importantes dentro do novo contexto imposto pela HPC em nuvens. Neste trabalho, são aplicados técnicas de tomadas de decisão baseadas em múltiplos critérios para validação do arcabouço. Um protótipo de implementação do Alite foi desenvolvido com propósito de avaliar o sistema de contratos contextuais com respeito a aspectos de expressividade, desempenho e eficácia, evidenciando a sua aplicabilidade em cenários reais. Com relação à expressividade, foi projetado um arcabouço de plataformas virtuais para a HPC Shelf, as quais constituem plataformas heterogêneas de computação em clusters com algumas características consideradas comuns no projeto dessas plataformas. A partir desse arcabouço, é apresentado um arcabouço de plataformas virtuais sobre o serviço EC2 da Amazon. Finalmente, foi desenvolvido um arcabouço de componentes de computação para multiplicação de matrizes com base na interface de nível 3 da biblioteca BLAS, demonstrando como funcionalidades de bibliotecas científicas de uso disseminado podem ser encapsuladas e reutilizadas por meio de componentes na HPC Shelf. O estudo experimental mostra que o tempo de resolução de contratos dos usuários foi considerado satisfatório para uma quantidade extensa de plataformas registradas, assim como o resultado da classificação mostrou-se alinhado com os objetivos delimitados pela HPC Shelf