Analisi e validazione di tecniche di Reinforcement Learning su sensori low-power per applicazioni IoT di monitoraggio

Lo studio di questa tesi è stato condotto in un periodo storico caratterizzato da un'elevata presenza di dispositivi connessi alla rete che sono in grado di percepire, elaborare, produrre e scambiare un elevato numero di dati con altri dispositivi. Tali dispositivi, connessi tra loro e in continua comunicazione, costituiscono l'Internet of Things, una rete che trova applicazione in diversi campi risolvendo problemi, creando opportunità e proponendo nuove sfide. In questo studio la sfida raccolta è stata quella di affiancare l'intelligenza artificiale a dispositivi IoT in modo da renderli capaci di apprendere, in autonomia, come svolgere il proprio lavoro in modo efficiente e cercando di risparmiare energia. Lo studio è stato condotto mediante simulazione di un sistema di monitoraggio ambientale costituito da un dispositivo governato da agente decisionale di Q-learning che trasmette informazioni ad attuatori simulati, che intervengono sui parametri ambientali, e a un centro di raccolta dati simulato. Le prestazioni del dispositivo smart sono state confrontate con quelle di altri due dispositivi di controllo semplici. Uno dei due dispositivi di controllo, detto diligent, ha avuto il compito di rappresentare il dispositivo più reattivo in merito agli interventi sui valori dei parametri ambientali. L'altro dispositivo semplice, detto energy saver, ha avuto il compito di risolvere il problema riducendo il numero di operazioni di sense utilizzate per entrare a conoscenza dei valori dei parametri ambientali. Lo studio ha dimostrato come il Reinforcement Learning sia effettivamente in grado di risolvere problemi descrivibili tramite modellazione di catene di decisioni per compiti a circuito chiuso dotati di stati che godono della proprietà di Markov. I risultati mostrano come il dispositivo smart sia stato in grado di apprendere autonomamente come comportarsi per svolgere il compito assegnato combinando i punti di forza dei dispositivi di controllo