Video Enhancement Using Convolutional Networks

Konvoluční neuronové sítě dnes představují v oblasti zpracování obrazu jeden z nejmodernějších přístupů k řešení problémů, jakými jsou například redukce kompresních artefaktů či zvyšování prostorového rozlišení obrazu. Některé výzkumné skupiny již dokazují, že lze tyto sítě adaptovat ke zpracování videa a využít tak přidané informace v čase ke zvětšení prostorového rozlišení videa či dosáhnout lepší úrovně komprese při zachování detailů. Otázkou, zdali je možné využít tento přístup také pro zvýšení časového rozlišení reálného videa, se zabývám v této práci. K tomu využívám konvolučních neuronových sítí, které, jak popisuji, dokáží do jisté míry interpolovat vstupní videosnímky ze skutečných videozáznamů, jsou-li dostatečně kvalitní, a napomoci tak zvýšení snímkové frekvence videa. Dosažené výsledky, ač pozitivní, jsou spíše mezikrokem na cestě za vhodnějším využitím těchto sítí k řešení daného problému.Convolutional neural networks (CNN) represent a state-of-the-art approach to non-trivial image processing tasks, including compression artifacts reduction and image super-resolution. As some research groups nowadays show, these networks can also be leveraged to perform such tasks on real-world video data, resulting in video spatial super-resolution and more. The main goal of this work is to determine whether these nets can be adjusted to perform temporal super-resolution of real-world video data. I utilize the aforementioned neural net architectures in this paper to do so. As I show, given that the input videos are of reasonable quality, these nets are capable of double-image interpolation up to a certain level, where the output image is usable for temporal upsampling. Although the presented results are promising, I encourage more research to be done on this topic.