Non-negative matrix factorizations

Nenegativne matrične faktorizacije vrsta su linearne redukcije dimenzionalnosti gdje je glavni cilj aproksimirati nenegativnu matricu umnoškom dviju nenegativnih matrica manjih dimenzija od početne. Ovakvom transformacijom podataka pronalaze se latentne značajke te se čuva sama priroda podataka čime se olakšava interpretabilnost. Najčešće korištena funkcija troška zasniva se na Frobeniusovoj mjeri, dok je Kullback-Leibler divergencija pokazala dobre rezultate za rijetko popunjene matrice. S obzirom da rješenje problema nije jedinstveno, a kako bi se smanjila greška aproksimacije, potrebno je procijeniti reducirani rang, odnosno nižu dimenziju u koju preslikavamo početne podatke. Pri tome je bitno voditi računa o broju klasa koje algoritam prepoznaje. Za odredivanje reduciranog ranga, a dalje i samih faktora, tradicionalno se koriste algoritmi alternirajućih najmanjih kvadrata te najčešće algoritam Hadamardovog produkta zbog svoje jednostavnosti. Zahvaljujući svojoj svestranoj primjeni kod modeliranja tema, separacije izvora zvuka, klasteriranja te vremenske segmentacije, nenegativne matrične faktorizacije našle su svoj put u mnoga područja gdje su podaci nenegativni, kao što je bioinformatika, astronomija, glazba, tekstualna analiza te mnoga druga. Jedna od novijih primjena je kod predvidanja nove veze u mreži, gdje se, uz perturbacije ili dodatne matrice atributa, uspješno mogu predvidjeti nova prijateljstva, koautorstva ili pak neuronske veze. Ovdje je pokazano na mreži koautorstava CROSBI da se nenegativnim matričnim faktorizacijama u kombinaciji s perturbacijama te matricama atributa dobivenih iz topologije mreže, kao što je duljina najkra ćeg puta te zbroj susjeda, mogu dobiti znatno bolji rezultati od onih koristeći klasične metodeNon-negative matrix factorization belongs to the group of linear dimensionality reduction methods and its main goal is to approximate non-negative matrix with the product of two low-rank non-negative matrices. This kind of transformation identifies latent features preserving non-negative structure of the original data which leads to easier interpretability. The most widely used cost function is based on Frobenius norm, while Kullback-Leibler divergence has shown to be effective for sparseness. Taking into account that the solution to this problem is not unique, and in order to decrease approximation error, it is essential to estimate reduced rank, i.e. lower dimension into which the original data is being transformed. One of the key factors here is the number of classes recognized by the algorithm. Both reduced rank estimation and approximation factors are typically obtained using algorithms based on alternating least squares, and, more often, multiplicative update thanks to its simplicity. Due to its versatile applications such as topic modeling, audio source separation, clustering and temporal segmentation, non-negative matrix factorization found its way into various fields characterized by non-negative data, such as bioinformatics, astronomy, music, textual analysis, etc. One of the recent applications is regarding link prediction in networks, where new friendships, coauthorships and even neural connections can be successfully obtained using perturbations or attribute matrices. Using the coauthorship network CROSBI as an example, in this work it was shown that non-negative matrix factorization in combination with perturbations and attribute matrices based on the network topology, such as shortest path distance and sum of neighbors, outperforms results obtained by classical link prediction method