Integration of scientific and engineering applications into CERN’s computing resources

CERNin strategiaa tietojenkäsittelyn vakauttamisesta seuraten Windows HPC-palvelu suunniteltiin siirrettäväksi Linux-pohjaiseen infrastruktuuriin. Sen vuoksi tehtäväksi annettiin tieteellisten ja teknisten sovellusten siirtäminen Windows HPC-ympäristöstä Linux HPC ja HTC-ympäristöön. Päätehtävänä sovellusten siirrossa oli teknisten sovellusten siirto Linux-pohjaisiin tietojenkäsittelyresursseihin. Ensimmäisenä̈ tehtävänä siirrossa oli suunnitella strategia siirrosta ja siirtoon liittyvistä mahdollisista riskeistä sekä valita kohdeympäristö HPC tai HTC. Toisenä tehtävänä oli toteuttaa ja kehittää sapluunat, lisäosat sekä tarvittavat muutokset HTC- ja HPC-infrastruktuureihin. Siirron lopputulokset testattiin ja vahvistettiin käyttäjien kanssa. Siirto suoritettiin ensin asentamalla sovellukset Linux resursseille. Sovellusten suorittamista varten kehitettiin sapluunat, joilla voitiin lähettää töitä Linux-resursseihin. Jotta sovellukset saatiin toimimaan, muutoksia piti tehdä HPC-ympäristöön. Nämä muutokset suoritettiin Puppetilla. Tuloksena sovellukset siirrettiin joko HPC- tai HTC-resursseille ja Windows HPC-palvelu otettiin pois käytöstä. Käyttäjien identiteetin todennusta sekä turvallisuutta parannettiin Linux HPC-klusterissa. Monimutkaisten tieteellisten ja teknisten sovellusten suorittaminen Linux HPC- ja HTC-resursseilla on mahdollista, mutta näiden välillä on pieniä yhteensopivuusongelmia.Following CERN’s strategy to consolidate all computing resources under Linux, it was planned to move the Windows HPC service to Linux-based infrastructure. The scientific and engineering applications that were running under Windows HPC were therefore assigned to be migrated to Linux HPC and HTC environments. The main objective is the migration of engineering applications to Linux-based computing resources. The first objective for the migration was to design a strategy to carry out the migration by identifying potential risks and select target service HPC or HTC, to make efficient use of resources. Second objective was to implement templates, plugins and necessary changes to the HTC and HPC infrastructure. Migration was also going to be tested and validates with users. The migration was implemented by first installing the applications on the Linux resources. Template script were written to submit applications to HPC or HTC. Modification to HPC were made with Puppet to make it possible to run the applications As a result, the applications were migrated to either HPC or HTC resources and the Windows HPC was deprecated. Authentication and security inside the Linux HPC cluster was also improved. Running complex scientific and engineering applications on Linux HPC and HTC resources is possible, but there are some compatibility problems with different parallel computing implementations