Word embedding algorithms as generalized low rank models and their canonical form

Word embedding algorithms produce very reliable feature representations of words that are used by neural network models across a constantly growing multitude of NLP tasks (Goldberg, 2016). As such, it is imperative for NLP practitioners to understand how their word representations are produced, and why they are so impactful.The present work presents the Simple Embedder framework, generalizing the state-of-the-art existing word embedding algorithms (including Word2vec (SGNS) and GloVe) under the umbrella of generalized low rank models (Udell et al., 2016). We derive that both of these algorithms attempt to produce embedding inner products that approximate pointwise mutual information (PMI) statistics in the corpus. Once cast as Simple Embedders, comparison of these models reveals that these successful embedders all resemble a straightforward maximum likelihood estimate (MLE) of the PMI parametrized by the inner product (between embeddings). This MLE induces our proposed novel word embedding model, Hilbert-MLE, as the canonical representative of the Simple Embedder framework.We empirically compare these algorithms with evaluations on 17 different datasets. Hilbert-MLE consistently observes second-best performance on every extrinsic evaluation (news classification, sentiment analysis, POS-tagging, and supersense tagging), while the first-best model depends varying on the task. Moreover, Hilbert-MLE consistently observes the least variance in results with respect to the random initialization of the weights in bidirectional LSTMs. Our empirical results demonstrate that Hilbert-MLE is a very consistent word embedding algorithm that can be reliably integrated into existing NLP systems to obtain high-quality results.Les algorithmes de plongement lexical (word embedding) produisent des représentations de mots très fiables utilisées par les modèles de réseau neuronal dans une multitude de tâches de traitement automatique du langage naturel (TALN) (Goldberg, 2016). En tant que tel, il est impératif que les praticiens en TALN comprennent comment leurs représentations de mots sont produites et pourquoi elles ont un tel impact.Le présent travail de recherche présente le cadre Simple Embedder, généralisant les algorithmes de pointe de plongement lexical (y compris Word2vec et GloVe) dans le cadre de modèles généralisés de bas rang (Udell et al., 2016). Nous en déduisons que ces deux algorithmes tentent de produire des produits scalaires des (vecteur d’) embeddings qui approchent des statistiques d’information mutuelle ponctuelle (PMI) dans le corpus. Une fois posés dans le cadre Simple Embedder, la comparaison de ces modèles révèle que ces algorithmes de plongement ressemblent tous à une simple estimation du maximum de vraisemblance (MLE) de la PMI paramétrée par le produit scalaire (des embeddings). Cette estimation engendre notre nouveau modèle de plongement lexical, Hilbert-MLE, comme étant représentant canonique du cadre Simple Embedder. Nous comparons empiriquement ces algorithmes avec des évaluations sur 17 ense bles de données différents. Hilbert-MLE observe systématiquement la deuxième meilleure performance pour chaque évaluation extrinsèque (classification des nouvelles, analyse des sentiments, étiquetage morpho-syntaxique et étiquetage supersense), tandis que le meilleur modèle dépend de la tâche. De plus, Hilbert-MLE observe systématiquement la plus faible variance dans les résultats quant à l’initialisation aléatoire des poids dans les rèseaux LSTM bidirectionnels. Nos résultats empiriques démontrent que Hilbert-MLE est un algorithme de plongement lexical très cohérent pouvant être intégré de manière fiable dans les systèmes existants de TALN pour obtenir des résultats de haute qualité