Regression trees for non parametric modeling and time series prediction

We present a non-parametric approach to nonlinear modeling and prediction based on adaptive partitioning of the reconstructed phase space associated with the process . The partitioning method is implemented with a recursive tree-structured algorithm which successively refines the partition by binary splitting where the splitting threshold is determined by a penalized maximum entropy criterion. An analysis of the statistical behavior of the splitting rule suggests a criterion for determining the depth of the tree . The effectiveness of this method is illustrated through comparisons with classical approaches for nonlinear system analysis on the basis of reconstruction error and computational complexity . An important relation between our tree-structured model for the process and generalized non-linear thresholded AR model (ART) is established . We illustrate our method for cases where classical linear prediction is known to be rather ineffective : chaotic signals (measured at the output of a Chua-type electronic circuit), and second order ART signal .Nous présentons une approche non linéaire non paramétrique pour la modélisation et la prédiction de signaux, basée sur une méthode de partition récursive de l'espace des phases reconstruit, associé au système sur lequel le signal est prélevé. La partition de l'espace des phases est obtenue par un algorithme récursif de partition binaire. Les seuils de partition sont déterminés à l'aide d'un critère de maximum d'entropie. Une courte analyse statistique du comportement de ces seuils permet de définir un critère simple d'arrêt de la partition récursive. L'intérêt de cette méthode est illustré par la comparaison avec des méthodes classiques dans le cadre de l'analyse de systèmes non linéaires, ainsi que du point de vue du coût de calcul. Nous présentons un lien important entre cette méthode reposant sur une partition hiérarchique (en arbre) et les modèles non linéaires auto-régressifs à seuils (ART). Dans ce contexte, la méthode présentée est appliquée dans des cas pour lesquels les méthodes linéaires échouent en général : les signaux de chaos (séries expérimentales mesurées sur des circuits électroniques de type Chua), ainsi que sur des séries numériques ART d'ordre deux