ANALYSIS OF THE FINANCIAL PERFORMANCE OF MACHINE LEARNING MODELS FOR PREDICTING THE DIRECTION OF CHANGES IN CEE AND SEE STOCK MARKET INDICES WITH DIFFERENT CLASSIFICATION EVALUATION METRICS

Cilj analize je istražiti utjecaj odabira metrike za vrednovanje klasifikatora na financijsku uspješnost sustava trgovanja temeljenih na modelima strojnog učenja za burzovne indekse iz zemalja CEE i SEE regija. Tehničkim indikatorima se koriste kao značajke za odabrane algoritme strojnog učenja pri predviđanju smjera promjena vrijednosti indeksa, tj. klasificiranje dana trgovanja u dvije klase. Istraživanje je pokazalo da odabir metrike za vrednovanje klasifikatora nema veliki utjecaj na financijsku uspješnost takvog sustava, no ipak su najveći prosječni prinosi po transakciji postignuti maksimizacijom točnosti. Nadalje, algoritam slučajne šume i naivni Bayesov klasifikator dali su najveće prosječne prinose korištenjem točnosti, dok su stroj potpornih vektora i algoritam k najbližih susjeda najveće prosječne prinose postigli pri korištenju površine ispod krivulje operativnih karakteristika. Utvrđeno je da očekivano veliki utjecaj na financijsku uspješnost ima odabir algoritma za strojno učenje te da algoritam slučajne šume daje najbolje rezultate na ovim podacima.The aim of the analysis is to investigate the influence of the selection of classification evaluation metrics on the financial performance of trading systems based on machine learning models for stock market indices from CEE and SEE regions. Technical indicators are used as features for selected machine learning algorithms when predicting the direction of index value changes, i.e. classifying trading days into two classes. The research showed that the choice of classifier evaluation metrics does not have a great impact on the financial performance of such a system. However, the highest average returns per trade were achieved by maximizing accuracy. Furthermore, the random forest algorithm and the naive Bayesian classifier gave the highest average returns using accuracy, while the support vector machine and the k-nearest neighbor algorithm achieved the highest average returns when using the area under the receiver operating characteristic curve. It was determined that the choice of machine learning algorithm has an expectedly large impact on financial performance and that the random forest algorithm gives the best results on this data