Applying Natural-Language-Processing-Based Machine-Learning Techniques to our Large Scale CUDA AutoTuning Dataset

Autotuning oppgaver er nesten umulige for mennesker å gjennomføre. Den abstrakte relasjonen mellom maskinvare parametere og program ytelse, gjør parameter setting uegnet for hånd. Uten autotuning, mangler programvare low-level optimaliseringer, som resulterer i mindre ytelse. Tid krevende søkemetoder går ofte hånd i hånd med autotuning. Videreføringen av maskin læring (ML) kan minske disse tidskrevende søkeprosessene. Bruk av naturlig språk prosessering (NLP) basert ML på kildekode, for å gjennomføre autotuning oppgaver er ett voksende emne. Tidligere prosjekter har med suksess utført en rekke ulike autotuning oppgaver med flere typer kildekode språk. Mesteparten av denne kildekoden er relatert til CPU, og lite GPU kode er tilgjengelig. Med vårt LS-CAT prosjekt skapte vi ett datasett bestående av CUDA GPU kode. Denne avhandlingen implementer flere NLP-ML “pipelines” for å evaluere ML-basert «thread-coarsning» på vårt LS-CAT datasett. Flere modell konfigurasjoner var i stand til å slå både «random choice», 0.940, og kun velge største «thread-block» størrelse (1024), 0.9437. Den beste modellen scoret 0.9483, som gir en gjennomsnittlig ytelse økning på 0.49 prosent over å velge kun den største blokken. Avhandlingen gjorde flere oppdagelser. Implementeringen av «self-attention» mekanismer virket positivt i læringsprosessen ved å motvirke over-fitting. Valget av underliggende metodologi er viktig, og «multi-label» metoden virket best. Sammenlignet med datasettet fra tidligere forsøk, ga vårt LS-CAT datasetts høyere antall mulige «thread-coarsning» nivåer et falskt inntrykk av lavere ytelse. Valget av «embedding” I tidligere arbeid «inst2vec» var ute av stand til å tolke rundt halvparten av «CUDA» kilde koden, som resulterte i høyt tap av data. Måter å håndtere dette og andre ideer for fremtidig arbeid er også inkludert i denne avhandlingen