Methodological Advancements in Continual Learning and Industry 4.0 Applications

La quarta rivoluzione industriale, nota anche come Industria 4.0, si basa su una varietà di tecnologie, tra cui Artificial Intelligence, Internet of Things, Cloud Computing, Robotics, e Big Data Analytics. L'obiettivo finale è migliorare l'efficienza, la produttività e la flessibilità. Ad esempio, Quality Control permette di scoprire ed eliminare i prodotti difettosi. Con la Predictive Maintenance è invece possibile prevedere il prossimo guasto dei macchinari e programmare in anticipo la manutenzione. L'Industria 4.0 ha molte sfide che saranno discusse e affrontate, come l'Interpretabilità. In particolare, una sfida significativa nell'Industria 4.0 è quando il processo di produzione non è statico ma dinamico. L'attuale impostazione DL classica non può far fronte ad ambienti in cambiamento, a meno che non venga eseguito un riaddestramento con tutti i dati, il quale si traduce in costi e tempi di addestramento significativi per aggiornare il modello. Una soluzione è lo studio ed impiego della disciplina nota come Continual Learning, consente ai modelli ML di essere aggiornati e di accrescere la loro knowledge nel tempo con un consumo ridotto di calcolo computazionale e memoria, riducendo i costi associati alla mantenimento del modello di machine learning. Di conseguenza, ci concentriamo sulle tecniche CL che possono essere applicate nel campo di Industria 4.0. Molti problemi industriali, come Anomaly Detection e Multi-Label Classification, sono al di fuori dei problemi di classificazione convenzionali studiati nel Continual Learning come verrà presentato nel testo seguente, quindi poca ricerca è stata condotta. CL ha il potenziale per migliorare le prestazioni dei modelli di machine learning in ambito industriale, rendendoli più adattabili a nuovi ambienti e aggiornandoli con un minore utilizzo delle risorse rispetto a quanto sarebbe altrimenti richiesto.The Fourth Industrial Revolution, also known as Industry 4.0, is built on a variety of technologies, including Artificial Intelligence, the Internet of Things, Cloud Computing, Robotics, and Big Data Analytics. The ultimate goal is to improve efficiency, productivity, and flexibility. For example, Quality Control allows to discover and eliminate defective products. Instead, with Predictive Maintenance is possible to predict the equipment's next failure and schedule maintenance in advance. Industry 4.0 has many challenges that will be discussed and faced, like Interpretability. In particular, a significant challenge in Industry 4.0 is when the manufacturing process is not static but dynamic. The current classic DL setting cannot cope with changing environments unless it is performed a retraining from scratch with all data, which ultimately results in significant costs and training time to update the model. Continual Learning, on the other hand, allows ML models to be updated and grow their knowledge over time with minimum computation and memory overhead, lowering the costs associated with machine learning model maintenance. As a result, we concentrate on CL techniques that can be applied in an Industry 4.0 field. Many industrial problems, such as Anomaly Detection and Multi-Label Classification, are outside of the conventional classification problems studied in Continual Learning, as presented in the following text, therefore little research has been conducted. Finally, CL has the potential to improve the performance of industrial machine learning models, making them more adaptable to new environments while also updating them with less resource utilization than would otherwise be required