Response surface optimization for high dimensional systems with multiple responses

This thesis is about the optimization of physical systems (or processes) characterized by a high number of input variables (e.g., operations, machines, methods, people, and materials) and multiple responses (output characteristics). These systems are of interest because they are common scenarios in real-world studies and they present many challenges for practitioners in a wide range of applicative fields (e.g., science, engineering). The first objective of the study was to develop a model-based approach to support the practitioners in planning the experiments and optimizing the system responses. Of interest was the creation of a methodology capable of providing a feedback to the practitioner while taking into account his/her point of view. The second objective was to identify a procedure to select the most promising model, to be combined with the model-based approach, on the basis of the features of the applicative problem of interest. To cope with the first objective, experimental design, modeling and optimization techniques have been combined in a sequential procedure that interacts with the practitioner at each stage. The developed approach has roots in nonparametric and semiparametric response surface ethodology (NPRSM), design and analysis of computer experiments (DACE), multi-objective optimization and swarm intelligence computation. It consists of augmenting an initial experimental design (set of experiments) by sequentially identifying additional design points (experiments) with expected improved performance. The identification of new experimental points is guided by a particle swarm optimization (PSO) algorithm that minimizes a distance-based function. In particular, the distance between the measured response values and a target is minimized. The target is composed of ideal values of the responses and is selected using a multivariate adaptive regression splines (MARS) model, which is updated as soon as new experiments are implemented and the corresponding response values are measured. The developed approach resulted in a sequential procedure named Evolutionary Model-based Multiresponse Approach (EMMA). When tested on a set of benchmark functions, EMMA was shown to overcome the potential problem of premature convergence to a local optimum and to correctly identify the true global optimum. Furthermore, EMMA is distribution-free and it allows the automatic selection of the target, in contrast to the trial-and-error procedures usually employed for this purpose. Finally, EMMA was applied to a real-world chemical problem devoted to the functionalization of a substrate for possible biomedical studies. With respect to the method typically employed by the scientists, improvements of the responses of up to 380% were detected. The proposed approach was thus shown to hold much promise for the optimization of multiresponse high dimensional systems. Moreover, EMMA turned out to be a valuable methodology for industrial research. Indeed, by means of a preliminary simulation study, it gave an initial estimate of the number of experiments and time necessary to achieve a specific goal, thus providing an indication of the budget required for the research. To deal with the second objective of the research, a meta-learning approach for model selection was adopted. Interest in model selection strategies arose from questions such as ‘Is MARS the best model we could have used?’ and ‘Given an applicative problem, how can we select the most promising modeling technique to be combined with EMMA?’. Indeed, it is now generally accepted that no single model can outperform some other models over all possible regression problems. Furthermore, the model performance ‘... may depend on the detailed nature of the problem at hand in terms of the number of observations, the number of response variables, their correlation structure, signal-to-noise ratio, collinearity of the predictor variables, etc.’ (Breiman & Friedman 1997). The meta-learning approach was adopted to select the most promising model on the basis of measurable characteristics of the investigated problem. The basic idea was to study a set of multiresponse regression models and evaluate their performance on a broad class of problems, that were characterized by various degrees of complexity. By matching the problem characteristics and the models’ performance, the aim was to discover the conditions under which a model outperforms others as well as to acquire some rules to be used as a guidance when faced with a new application. The procedures to simulate the datasets were developed, the metrics to measure the problems characteristics were identified, and the R code to evaluate the models’ performances was generated. The foundations for a large computational study was therefore established. Implementation of such study is part of ongoing research, and future works will aim to examine the obtained empirical rules from a theoretical perspective with a view to confirm their validity, as well as generating insights into each model’s behaviour.La tesi riguarda l’ottimizzazione di sistemi (o processi) fisici caratterizzati da un elevato numero di variabili in ingresso (operazioni, macchine, metodi, persone, materiali) e da più variabili risposta, impiegate per misurare le proprietà del prodotto finale. Questa tipologia di sistemi è molto frequente in un ampio spettro di campi applicativi, che spaziano dalla scienza all’ingegneria, e pone lo sperimentatore di fronte a delle problematiche di non sempre facile risoluzione. Il primo obiettivo di questo studio era di sviluppare un approcio, basato su un modello statistico, che fosse in grado di supportare lo sperimentatore nella pianificazione degli esperimenti e nell’ottimizzazione delle risposte del sistema. Fondamentale era lo sviluppo di una procedura capace di tenere in considerazione il punto di vista dello sperimentatore e fornirgli continuamente un feedback. Il secondo obiettivo della ricerca era l’identificazione di un metodo volto a selezionare il miglior modello statistico, da integrare all’approcio proposto, sulla base delle caratteristiche del problema applicativo investigato. Il primo obiettivo ha portato allo sviluppo di una procedura sequenziale che impiega tecniche di disegno sperimentale, modellazione e ottimizzazione, e che interagisce, ad ogni passo, con lo sperimentatore. La metodologia proposta è stata denominata EMMA e coinvolge varie aree di ricerca scientifica e computazionale, quali superfici di risposta nonparametriche e semiparametriche, disegno e analisi di esperimenti a computer, ottimizzazione multiobiettivo e computazione ispirata al comportamento degli sciami in natura. EMMA prevede l’identificazione di un disegno sperimentale (insieme di esperimenti) che viene successivamente integrato con dei punti sperimentali (esperimenti), identificati in modo sequentiale. Il processo di identificazione dei nuovi punti sperimentali è guidato da un algoritmo di ottimizzazione particle swarm, che minimizza la distanza fra i valori di risposta osservati e un target. Il target è un insieme di valori ottimali, uno per ogni risposta, che vengono selezionati usando un modello di regressione multivariata basato su spline (MARS). Tale target viene aggiornato non appena i nuovi esperimenti vengono implementati e le corrispondenti risposte vengono misurate. Quando testato su un insieme di funzioni standard, EMMA ha dimostrato di poter superare il potenziale problema di convergenza prematura verso un ottimo locale e di poter identificare correttamente il vero ottimo globale. Inoltre, EMMA non richiede nessuna assunzione sulla distribuzione dei dati e, diversamente da altre procedure, permette di selezionare automaticamente il target. Infine, EMMA è stata applicata ad un problema chimico volto alla funzionalizzazione di un substrato per possibili applicazioni biomediche. Rispetto al metodo generalmente usato dagli scienziati, EMMA ha permesso di migliorare le risposte del sistema di vari punti percentuali, e incrementi fino al 380% sono stati osservati. L’approccio proposto costituisce pertanto un metodologia con elevate potenzialità per l’ottimizzazione di sistemi multirisposta ad alta dimensionalità. Inoltre, grazie a degli studi di simulazione, EMMA permette di ottenere una stima iniziale del numero di esperimenti e del tempo necessario per raggiungere il miglioramento desiderato. Di conseguenza, potendo fornire un’indicazione del budget richiesto per lo studio di interesse, la metodologia risulta essere di interesse specialmente nel settore della ricerca industriale. Il secondo obiettivo ha portato allo sviluppo di un approcio di meta-apprendimento per la selezione del modello. L’interesse nella selezione del modello deriva da domande quali ‘E’ MARS il miglior modello che avremmo potuto usare?’ e ‘Dato un problema applicativo, come possiamo selezionare la tecnica di modellazione più promettente da combinare con EMMA?’. Infatti, `e ormai riconosciuto che non esiste un modello le cui performance sono migliori, rispetto ad altre tecniche di modellazione, per tutti i possibili problemi di regressione. Inoltre, le performance di un modello ‘... possono dipendere dalla natura del problema investigato in termini di numero di osservazioni, numero di variabili risposta, struttura di correlazione delle variabili, rapporto segnale-rumore, grado di collinearity dei predittori, etc.’ (Breiman & Friedman 1997). L’approcio di meta-apprendimento è stato adottato per identificare il modello statistico più promettente, sulla base delle caratteristiche del problema investigato. L’idea consisteva nello studiare un insieme di modelli di regressione multirisposta e valutare la loro performance su un’ampia classe di problemi caratterizzati da diversi gradi di complessità. Studiando la relazione fra le caratteristiche del problema e la performance dei modelli, lo scopo è di scoprire sotto quali condizioni un modello è migliore di altri e simultaneamente acquisire alcune regole da poter usare come linee guida nello studio di nuove applicazioni. A tale scopo sono state sviluppate le procedure per simulare i dati, le metriche per misurare le caratteristiche dei problemi, e il codice R necessario per la valutazione delle performance dei modelli. Questo ha permesso di gettare le fondamenta di un ampio studio di simulazione, la cui implementazione fa parte della ricerca attualmente in corso. Lo scopo della ricerca futura è di esaminare, da un punto di vista teorico, le regole empiriche ottenute in modo da poterne confermare la validità, oltre che favorire una migliore comprensione del comportamento delle tecniche di modellazione investigate