Tensor Ranks for the Pedestrian for Dimension Reduction and Disentangling Interactions

Un tenseur est notamment un tableau à plusieurs entrées qui peut représenter, outre un jeu de données, l'expression d'une loi jointe ou d'une fonction multivariée. Il contient alors la description des interactions entre les variables correspondant à chacune des entrées. Le rang d'un tenseur étend à des tableaux à plus de deux entrées la notion de rang d'une matrice, sachant qu'il existe plusieurs approches pour construire une telle extension. Lorsque le rang vaut un, les variables sont séparées, et lorsqu'il est faible, les variables sont faiblement couplées. Bien des calculs sont plus simples sur des tenseurs de rang faible. Aussi, approcher un tenseur donné par un tenseur de rang faible permet de les rendre possibles pour calculer certaines caractéristiques d'un tableau, comme par exemple la fonction de partition quand il s'agit d'une loi jointe. Dans cette note, nous présentons en détail une approche intégrée et progressive pour approcher un tenseur donné par un tenseur de rang plus faible, par une utilisation systématique de l'algèbre tensorielle. La notion de tenseur est définie rigoureusement, puis des opérations élémentaires mais utiles sur les tenseurs sont présentées. Après avoir rappelé plusieurs notions différentes pour le rang d'un tenseur, nous montrons comment ces opérations élémentaires peuvent être combinées pour construire des algorithmes d'approximation de rang faible. Le dernier chapitre est consacré à appliquer cette approche aux tenseurs construits comme la discrétisation d'une fonction multivariée, pour montrer que sur une grille cartésienne, le rang de tels tenseurs est en général faible.A tensor is a multi-way array that can represent, in addition to a data set, the expression of a joint law or a multivariate function. As such it contains the description of the interactions between the variables corresponding to each of the entries. The rank of a tensor extends to arrays with more than two entries the notion of rank of a matrix, bearing in mind that there are several approaches to build such an extension. When the rank is one, the variables are separated, and when it is low, the variables are weakly coupled. Many calculations are simpler on tensors of low rank. Furthermore, approximating a given tensor by a low-rank tensor makes it possible to compute some characteristics of a table, such as the partition function when it is a joint law. In this note, we present in detail an integrated and progressive approach to approximate a given tensor by a tensor of lower rank, through a systematic use of tensor algebra. The notion of tensor is rigorously defined, then elementary but useful operations on tensors are presented. After recalling several different notions for extending the rank to tensors, we show how these elementary operations can be combined to build best low rank approximation algorithms. The last chapter is devoted to applying this approach to tensors constructed as the discretisation of a multivariate function, to show that on a Cartesian grid, the rank of such tensors is expected to be low