Ett parallelliserat verktyg för simulering av artificiella neurala nätverk

Den forskningsgrupp som vid Högskolan i Skövde bedriver forskning om neurala nätverk, har nyligen köpt in en ny beräkningsmaskin, dedikerad för simuleringar av dessa neurala nätverk. Maskinen är en Sun Enterprise 4000, en MIMD-maskin med 6 st UltraSparc CPUer. Det finns behov av nya verktyg, som underlättar utveckling av ANN modeller till denna maskin, och som dessutom utnyttjar maskinens parallellitet. Detta verktyg ska uppvisa så god prestanda som möjligt. I denna rapport studeras förutsättningarna för ett sådant verktyg. Av de tänkbara metoder som kan användas för att parallellisera en nätverksimulator, är troligtvis epokbaserad parallellisering den som ger högst prestandaökning på en MIMD-maskin. Detta beror på att den inte kräver lika täta synkroniseringar som exempelvis en neuronbaserad parallellisering. En implementation av den epokbaserade metoden har skett, både med och utan parallelliserad summering av viktförändringar. Den parallelliserade summeringen av viktförändringar behöver teoretiskt endast log2(n) så lång tid som den serialiserade summeringen kräver (n = antal trådar). Summeringen av viktförändringar är dock en ganska liten del av varje epok, och effektivisering av denna bit har inte så stor praktiskt betydelse. Ett mindre antal tester har gjorts för att kontrollera om simulatorn är korrekt implementerad. De tester som gjordes gav lyckat resultat och talar för att simulatorn är korrekt. Ur prestandatesterna som genomförts kan följande slutsatser dras: * Ökning av antal exempel ökar prestandaökningen * Ökning av antal vikter minskar prestandaökningen * Antal epoker påverkar inte prestandaökningen På det målsystem med 6 CPUer som testerna genomförts på, gäller följande: * 4-5 trådar ger oftast högst prestandaökning * 3-5 gångers prestandaökning är normalt Eftersom prestandan på många av nätverken ligger uppåt 75% (4.5 gånger prestandaökning med 6 st CPUer) av vad målmaskinen klarar av, anser författaren av denna rapport att parallelliseringen är lyckad