Estudo de casos com aplicações científicas de alto desempenho em agregados de computadores multi-core

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Ciência da ComputaçãoEste trabalho de disserta»c~ao concentra seu esfor»co no estudo emp¶³rico de tr^es casos com ambientes de cluster distintos e homog^eneos, sendo que dois deles s~ao ambientes operacionais de empresas. Tais agregados s~ao compostos por computadores multiprocessados com processadores mono-core e multi-core (dual-core e quad-core), interconectados por redes Gigabit Ethernet, e outro ambiente interconectado por uma rede Myrinet. O primeiro estudo de caso foi realizado em um ambiente experimental como um exerc¶³cio emp¶³rico sobre a rela»c~ao entre tecnologias de rede de interconex~ao e carac- ter¶³sticas inerentes a aplica»c~oes paralelas. Com isso, pretendeu-se entrar em contato com a realidade da computa»c~ao paralela por meio de arquiteturas paralelas distribu¶³das como os agregados de computadores. Al¶em disso, pode-se conhecer e analisar as diferen»cas em desempenho oferecido por sistemas de comunica»c~ao distintos, como a tecnologia de rede Myrinet face µa tecnologia Ethernet, diante de aplica»c~oes de granularidades distintas, bem como compreender as m¶etricas comumente adotadas em avalia»c~oes de desempenho. Dentre as contribui»c~oes do trabalho de pesquisa e experimenta»c~ao desenvolvido est¶a a redu»c~ao do tempo de execu»c~ao de aplica»c~oes cient¶³¯cas grand challenge, como a modelagem num¶erica de previs~ao meteorol¶ogica. Sendo assim, busca-se como resultado a otimiza»c~ao de desempenho do ambiente de cluster em compara»c~ao µa sua condi»c~ao anterior, sem nenhuma especializa»c~ao µa aplica»c~ao em foco. Nesse sentido, dois estudos de casos foram realizados em agregados de computadores pertencentes a organiza»c~oes, em uma aproxima»c~ao com a realidade da computa»c~ao de alto desempenho em ambientes de produ»c~ao. Com a realiza»c~ao deste estudo emp¶³rico como um todo, pode-se contrastar na pr¶atica os pontos estudados durante a revis~ao bibliogr¶a¯ca. Foi poss¶³vel compreender melhor as vantagens e desvantangens envolvidas nesses ambientes enquanto sistemas paralelos distribu¶³dos, com o foco voltado µa modelagem de sistemas de alto desempenho em ambientes de produ»c~ao. Durante o processo de otimiza»c~ao do desempenho, entrou-se em contato com os mecanismos de intera»c~ao entre processos e os modelos de programa»c~ao paralela envolvidos ao mesmo tempo em que investigou-se o impacto da tend^encia atual no que diz respeito a processadores multi-core, bem como os fatores redutores do desempenho (que resultam em overhead). En¯m, o conhecimento adquirido com os estudos de casos possibilita uma melhor compreens~ao do processo e dos fatores envolvidos na implementa»c~ao de ambientes de cluster adequados a cada aplica»c~ao paralela com demanda por alto desempenho, a ¯m de aproveitar melhor os recursos agregados. Al¶em disso, a import^ancia deste trabalho transcende µa ci^encia da computa»c~ao como disciplina acad^emica, pois a empresa parceira ganha em capacidade e qualidade na previs~ao meteorol¶ogica do tempo, seja para prevenir o impacto de desastres naturais ou para auxiliar na produ»c~ao agr¶³cola, e tamb¶em em potencial de pesquisa no ^ambito daquela ¶area de atua»c~ao. This dissertation concentrates its e®ort on the empirical study of three cases with distinct and homogeneous cluster con¯gurations, two of them operational environments at organizations. Theses clusters are equipped with multiprocessor computers, including multiple single-core and multi-core processors (dual-core and quad-core), interconnected by Gigabit Ethernet networks, and one environment interconnected with a Myrinet device. The ¯rst case study was performed on an experimental environment as an empiri-cal exercise about the relationship between interconnect technologies and characteristics inherent to parallel applications, in order to get in touch with the reality of parallel computing through parallel distributed architectures such as a cluster. Furthermore, we could acknowledge and analyze the di®erences in performance o®ered by di®erent communication systems, opposing Myrinet and Ethernet networking technologies before applications of di®erent granularity, as well as understand common metrics adopted for performance assessments. One of the contributions of this empirical and research work is to reduce the wall clock (or elapsed) time of grand challenge scienti¯c applications, such as numerical weather prediction models. Therefore, it should result in a better performance of the cluster environment compared to its previous condition, with no adaptation for the running application. Based on that, two case studies were conducted on operational clusters belonging to organizations in order to interact with the reality of high performance computing in production environments. Performing this empirical study as a whole confronts the knowledge obtained throughout the literature review putting them into practice. Moreover, we could accomplish a better understanding of the trade-o®s involved in cluster environments as distributed parallel systems for production environments from the point of view of an architectural designer. During this optimization process, we could understand the mechanisms for pro-cesses interaction and parallel programming models as well as the factors for overhead growth and performance reduction. Finally, the knowledge acquired with these case studies allow us to better comprehend the process and the factors involved in the implementation and adaptation of cluster en vironments to a speci¯c high performance application, in order to better employ the aggregated computing resources. Furthermore, the importance of this work transcends computer sciences as an academic subject, because the partner organization gains capacity and quality for predicting weather conditions, either to prevent us from the impact of natural disasters or to enhance agricultural production, as well as gains in research potential within that speci¯c area