A methodo0logy for development of efficient parallel programs in homogeneous and heterogeneous systems.

Uma metodologia para desenvolvimento de programas paralelos eficientes deve especificar mecanismos capazes de caracterizar o comportamento das aplicações e permitir estudos sobre o desempenho de diferentes modelos de soluções. Nos ambientes distribuídos, em particular, a eficiência da solução também está relacionada a estratégia utilizada na divisão e distribuição do trabalho entre os processos que cooperam na solução do problema. Para abordar estes aspectos, uma metodologia, denominada PEMPIs-Het (Performance Estimation of MPI Programs in Heterogeneous Systems), é especificada e apresentada nesta tese. A metodologia permite a modelagem, avaliação e predição de desempenho de programas paralelos em ambientes homogêneos e heterogêneos. Técnicas de modelagem analítica são utilizadas para representar o comportamento das aplicações no ambiente distribuído. Um modelo gráfico, denominado DP*Graph++, é proposto para ilustrar as principais estruturas do código da aplicação e facilitar análises sobre a complexidade algorítmica do programa. Algumas aplicações são modeladas e a precisão das predições é verificada através de testes experimentais. Os modelos de desempenho permitem uma estimativa pontual para o tempo de execução da aplicação. Entretanto, uma estratégia alternativa, baseada em intervalos de predição, também é discutida e avaliada. Algumas estratégias para balanceamento de carga de aplicações paralelas distribuídas são implementadas e avaliadas. Estasestratégias utilizam informações de um vetor com índices de desempenho (Vector of Relative Performances - VRP), gerados pelos modelos analíticos, para especificar a divisão e distribuição do trabalho. Estes índices caracterizam a capacidade computacional das máquinas. Uma formalização matemática é apresentada para explicar como os índices são determinados. ) Testes experimentais são realizados para verificar a aplicabilidade das estratégias e a eficiência no balanceamento das cargas.A methodology for developing efficient parallel programs must specify mechanisms capable of characterizing the behavior of applications and allow studies on the performance of different solution models. In distributed environments, in particular, the solution efficiency is also related to strategy adopted in the division and distribution of work among the processes which cooperate in the solution of the problem. To address these issues, a methodology, called PEMPIs-Het (Performance Estimation of MPI Programs in Heterogeneous Systems), is specified and presented in this thesis. The methodology allows performance modeling, evaluation and prediction of parallel programs in homogeneous and heterogeneous environments. Analytical modeling techniques are used to represent the applications behavior in the distributed environment. A graph model, called DP*Graph++, is proposed to illustrate the main structures of the application code and facilitate some analyses about the program algorithmic complexity. Some applications are modeled and the accuracy of predictions is verified by experimental tests. The models allow estimate a punctual performance to the application execution time. Meanwhile, an alternative strategy, based on prediction intervals, is also discussed and evaluated. Some strategies for load balancing of distributed parallel applications are implemented and evaluated. These strategies use information from a vector with performance indexes (Vector of RelativePerformances - VRP), generated by analytical models to specify the division and distribution of work. These indexes characterize the machines computational capacity. A mathematical formalization is presented to explain how the rates are determined. Experimental tests are conducted to verify the applicability and effectiveness of the strategies in load balancin