Features selection methods in linear model

Celem niniejszej pracy jest przedstawienie modelu liniowego, jego probabilistycznych własności i metod pozwalających na kontrolowanie zmiennych objaśniających. Zdefiniowane zostały testy statystyczne określające wpływ danego zbioru zmiennych objaśniających na ogólną precyzję przewidywanych wyników oraz odpowiadające im przedziały ufności. Przedstawione zostały trzy metody, które eliminują zmienne niemające znacznego wpływu na poprawność modelu. Metoda Krokowa startuje z najprostszym modelem składającym się tylko z wyrazu wolnego i komplikuje go, dodając kolejne zmienne na podstawie testów statystycznych lub startuje od pełnego modelu i upraszcza go, usuwając zmienne na podstawie testów statystycznych. Regresja Grzbietowa i LASSO próbują kontrolować zmienne objaśniające wprowadzając obciążone estymatory.The aim of this thesis is to present a linear model, it’s probabilistic properties and methods that allow it to control input variables. It contains statistical tests that check for significance of a particular subset of features and corresponding confidence intervals. There are also three methods that eliminate variables that are insignificant for the overall precision of the model. Forward- and Backward-Stepwise Selection starts with the simplest model consisting of a bias term and sequentially complicates it by adding different features based on statistical tests or starts with the complete model and simplifies it by removing different features based on statistical tests. Ridge Regression and LASSO attempt to control features by introducing biased estimators