Nonlinear Approximative Explicit Model Predictive Control Through Neural Networks : Characterizing Architectures and Training Behavior

Model predictive control (MPC) is a paradigm within automatic control notable for its ability to handle constraints. This ability come at the cost of high computational demand, which until recently has limited use of MPC to slow systems. Recent advances have however enabled MPC to be used in embedded applications, where its ability to handle constraints can be leveraged to reduce wear, increase efficiency and improve overall performance in everything from cars to wind turbines. MPC controllers can be made even faster by precomputing the resulting policy and storing it in a lookup table. A method known as explicit MPC. An alternative way of leveraging precomputation is to train a neural network to approximate the policy. This is an attractive proposal both due to neural networks ability to imitate policies for nonlinear systems, and results that indicate that neural networks can efficiently represent explicit MPC policies. Limited work has been done in this area. How the networks are setup and trained therefore tends to reflect recent trends in other application areas rather than being based on what is known to work well for approximating MPC policies. This thesis attempts to alleviate this situation by evaluating how some common neural network architectures and training methods performs when used for this purpose. The evaluations are carried out through a literature study and by training several networks with different architectures to replicate the policy of a nonlinear MPC controller tasked with stabilizing an inverted pendulum. The results suggest that ReLU activation functions give better performance than hyperbolic tangent and SELU functions; and that dropout and batch normalization degrades the ability to approximate policies; and that depth significantly increases the performance. However, the neural network controllers do occasionally exhibit problematic behaviors, such as steady state errors and oscillating control signals close to constraints.Modell-prediktiv reglering (MPC, efter engelskans Model Predictive Control) är ett paradigm inom reglertekniken som på ett effektivt sätt kan hantera begränsningar i systemet som ska regleras. Den här egenskapen kommer på bekostnad av att MPC kräver mycket datorkraft. Tidigare har användning av den här typen av kontroller därför varit begränsad till långsamma system. På senare tid har framsteg inom hård- och mjukvara dock möjliggjort användning av MPC på inbyggda system. Där kan dess förmåga att hantera begränsningar användas för att minska slitage, öka effektivitet och förbättra prestanda inom allt från bilar till vindkraftverk. Ett sätt att minska beräkningsbördan ytterligare är att beräkna MPC-policyn i förväg och spara den i en tabell. Det här tillvägagångssättet kallas explicit MPC. Ett alternativt tillvägagångssätt är att träna ett neuralt nätverk till att approximera policyn. Potentiellt har det här fördelarna att ett neuralt nätverk inte är begränsat till att efterlikna policys för system med linjär dynamik, och att det finns resultat som pekar på att neurala nätverk är väl lämpade för att lagra policys för explicit MPC. En begränsad mängd arbete har gjorts inom det här området. Hur nätverken designas och tränas tenderar därför att reflektera trender inom andra applikationsområden för neurala nätverk istället för att baseras på vad som fungerar för att implementera MPC. Det här examensarbetet försöker avhjälpa det här problemet. Dels genom en litteraturstudie och dels genom att undersöka hur olika arkitekturer för neurala nätverk beter sig när de tränas för att efterlikna en ickelinjär MPC-kontroller som ska stabilisera en inverterad pendel. Resultaten tyder på att nätverk med ReLU-aktivering ger bättre prestanda än motsvarande nätverk som använder SELU eller tangens hyperbolicus som aktiveringsfunktion. Resultaten visar också att batch noralization och dropout försämmrar nätverkens förmåga att lära sig policyn och att prestandan blir bättre om antalet lager i nätverket ökar. De neurala nätverken uppvisar dock i vissa fall kvalitativa problem, så som statiska fel och oscillerande kontrollsignaler nära begränsningar