Application of convolutional neural networks for time series modeling

Visoke koncentracije dušikova dioksida (NO2) u zraku mogu ozbiljno utjecati na ljudsko zdravlje. Dugotrajno izlaganje ovoj onečišćujućoj tvari može uzrokovati ili pogoršati respiratorne probleme, uzrokujući bolesti kao što su astma i bronhitis. U ovom radu razvijene su 1D konvolucijske neuronske mreže s ciljem predviđanja koncentracija NO2 na urbaniziranom području grada Graza u Austriji. Za izradu modela korišten je programski jezik Python te pripadajuće biblioteke (Pytorch, Pandas, Numpy, itd.). Podatci su prikupljeni s mjerne postaje Zapad u Grazu. U svrhu optimizacije modela za predviđanje koncentracija NO2 ispitivana je različita kombinacija hiperparametara modela kao što su veličina vremenskog prozora kod vremenskih nizova, stopa učenja i regularizacijski član lambda. Za razvoj modela koristile su se meteorološke, temporalne i lag značajke. Podskupovi podataka uzimani su u različitim vremenskim periodima: podskup za učenje (treniranje) modela, 1.1.2014 do 15.3.2018, podskup za validaciju, 15.3.2018 do 15.3.2019 te testni skup, 15.3.2019 do 15.3.2020. Razvijeni modeli pokazali su dobru sposobnost generalizacije, a najbolji rezultat modela konvolucijske neuronske mreže postignut je sa vremenskim prozorom 12, stopom učenja 0,0001 i regularizacijskim članom lambda 0,1 te postiže koeficijent determinacije R^2=0,62. Usporedno je razvijen i model slučajnih šuma (engl. Random Forest) koji postiže koeficijent determinacije R^2=0,65.High concentrations of nitrogen dioxide (NO2) in the air can seriously affect human health. Long-term exposure to this pollutant can cause or exacerbate respiratory problems such as asthma and bronchitis. In this study, 1D convolutional neural networks were developed with the aim of predicting NO2 concentrations in the urban area of Graz, Austria. The Python programming language and corresponding libraries (Pytorch, Pandas, Numpy, etc.) were used to create the model. The data were collected from the West monitoring station in Graz. A combination of various hyperparameters, such as the size of the time window, the learning rate, and the regularization term lambda, was used for the optimization of the NO2 concentration model. The features used for modeling included meteorological, temporal, and lag features. Subsets of data from different time periods were taken: the training subset from 1.1.2014 to 15.3.2018, the validation subset from 15.3.2018 to 15.3.2019, and the test subset from 15.3.2019 to 15.3.2020. These models showed good generalization ability, with the best result achieved with a time window of 12, a learning rate of 0.0001, and a regularization term lambda of 0.1, achieving a coefficient of determination R^2=0.62. A Random Forest model was also developed in parallel, achieving a coefficient of determination R^2=0.65