Crawling and Scraping using Python

Ovaj diplomski rad bavi se temom automatiziranog pretraživanja web prostora i ekstrakcije korisniku korisnog sadržaja iz web stranica. Obrađene su temeljne prakse, potrebna predznanja i demonstrirani napredniji Python alati za izradu programskih rješenja koja ispunjavaju ovu funkcionalnost. Opisane su prednosti i nedostatci svakog obrađenog alata te su dva najprikladnija alata iskorištena za izradu programskog rješenja za jednostavno i sveobuhvatno pretraživanje web stranica registriranih na www.hr, "početnoj stranici Hrvatske".The main subject of this thesis is the automated web browsing and data extraction from the retrieved web sites. These goals are realized by using web crawling and web scraping tools, respectively. In the thesis, I mentioned the main practices of web crawling and web scraping, the basic knowledge prerequisites to start, and demonstrated the four most popular web scraping tools in Python. Considering the main advantages and disadvantages of the tools, I picked two for my main application - a web crawling/scraping application for simple and comprehensive browsing of the web site catalogue on www.hr, the "Croatian Homepage"