GPU Powermodellierung und architekturale Verbesserungen für GPU Energieeffizienz

Graphics Processing Units (GPUs) can now be found in nearly every PC and smartphone. Initially designed for 3D graphics, they evolved into general purpose accelerators, able to outperform CPUs on many tasks. The architecture of GPUs is optimized for massively parallel applications. This reduces the required control logic but also results in lower performance in applications with irregular control flow. The energy per instruction is often lower in GPUs than in CPUs, but due to their high throughput, discrete GPUs can still use 200 W and more. GPU performance is limited by power consumption, as the power dissipation at higher speeds would exceed the cooling abilities. Better energy efficiency does not only extend battery life and reduce power bills but also enables higher performance. To increase the energy efficiency, we measure and model the energy consumption of existing GPUs. A custom GPU power measurement infrastructure and an architectural power simulator called GPUSimPow are described and evaluated. Due to the lower control overhead in GPUs, accurately modeling the power consumption of the memory interface and execution units is important. Regular architectural simulators do not model the data-dependent energy consumption but assume that energy consumption per operation does not depend on the data. We show that this assumption is not true, but that GPU power consumption can vary by more than 60% with different data and present two data-dependent power models. Afterwards, we focus on architectural enhancements to improve the energy efficiency. Two techniques focus on the memory interface: A novel approximation technique reduces the DRAM refresh energy and an optimized encoding scheme reduces the power consumption of the external interface between GPU and DRAM by up to 6%. We continue with enhancements to improve the energy efficiency of the GPU cores. We evaluate an alternative to the conventional SIMT GPU architecture called temporal SIMT (TSIMT) and extend it to spatiotemporal SIMT. Temporal SIMT makes the execution of code with irregular control flow more efficient but can reduce the performance of applications by decreasing the ability of the GPU to tolerate memory latency. Spatiotemporal SIMT provides a good combination of conventional SIMT and TSIMT. In both architectural variants so-called Scalarization can be used to remove redundant operation. We show that spatiotemporal SIMT with Scalarization improves the energy-delay product by 26.2% compared to conventional GPUs.Graphics Processing Units (GPUs) sind heute Teil nahezu jedes PCs oder Smartphones. Ursprünglich für 3D Grafik entwickelt, wurden sie zu allgemein nutzbaren Beschleunigern weiterentwickelt, die viele Aufgaben schneller als CPUs erfüllen. Ihre Architektur ist optimiert für massiv parallele Anwendungen. Dies reduziert die nötige Kontrollogik, aber senkt auch die Rechenleistung bei uneinheitlichem Kontrollfluss. Pro Instruktion verbrauchen GPUs oft weniger Energie als CPUs, aber durch ihren hohen Durchsatz, können sie trotzdem 200 Watt und mehr verbrauchen. Die Rechenleistung wird dabei von der elektrischen Leistungsaufnahme beschränkt, weil bei höhren Geschwindigkeiten die Kühlung überfordert würde. Eine höhere Energie\-effizienz führt daher nicht nur zu einer verlängerten Batterielaufzeit und geringeren Energiekosten, sondern ermöglicht auch höhere Rechenleistung. Um die Energieeffizienz zu erhöhen, messen und modelieren wir zunächst den Energieverbrauch existierender GPUs. Eine speziell angepasste Meß\-infra\-struktur und ein architekturelles Powermodell namens GPUSimPow werden vorstellt und getestet. Der geringe Kontrolloverhead in GPUs macht die genaue Modellierung der Energie von Speicherinterface und Ausführungseinheiten besonders wichtig. Gewöhnliche Architektursimulatoren modellieren keinen datenabhängigen Energieverbrauch, sondern nehmen einen konstanten Energieverbauch pro Operation an. Wir zeigen, das diese Annahme nicht zutrifft und der Energieverbrauch der GPU sich durch andere Daten um mehr als 60% erhöhen kann und präsentieren zwei datenabhängige Powermodelle. Anschließend zeigen wir Verbesserungen der GPU Architektur zur Erhöhung der Energieeffizienz. Zwei Techniken setzen am Speicherinterface an: Eine neuartige Näherungstechnik reduziert den Energieverbrauch des DRAM Refresh und ein optimiertes Kodierungsverfahren reduziert die Energie der Schnittstelle zwischen GPU und DRAM um bis zu 6%. Danach verbessern wir die Energieeffizient der GPU Kerne. Wir untersuchen ``temporal SIMT'' (TSIMT), eine Alternative zu konventionellen SIMT GPU Kernen und erweitern es sie zu ``spatiotemporal SIMT'' (STSIMT). TSIMT ermöglicht eine effektivere Ausführung von Programmcode mit uneinheitlichem Kontrollfluss, reduziert aber auch die Möglichkeiten der GPU Speicherlatenzen zu tolerieren. STSIMT ist eine gute Kombination von konventionellen SIMT mit TSIMT. In beiden Architekturvarianten kann Skalarisierung verwenden werden, um redundante Operationen zu vermeiden. Die Kombination von STSIMT mit Skalarisierung kann das Energie-Verzögerungs-Produkt um 26.2% gegenüber einer konventionellen GPU verbessern