2d To 3d Video Conversion

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2011Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2011Son yıllarda 3 boyut teknolojisinin gelişmesiyle birlikte tüketici elektroniği piyasasında 3 boyutlu video içeriği ihtiyaç haline gelmiştir. 3 boyutlu gösterim teknolojisi tüketicilerin sahip olup, evlerinde kullanabilecekleri kaliteye erişmiştir. Fakat 3 boyutlu video içeriği 3 boyutlu gösterim cihazlarına oranla geride kalmış bulunmaktadır. Bunun sebebi, 3 boyutlu içerik oluşumu için gerekli olan stereoskopik kameraların çekim maliyetinin yüksek ve kameraların teknik kurulumunun zor olmasıdır. Aynı zamanda 2 boyuttan 3 boyuta çevrim problemi için 2 boyutlu içerik, manüel olarak 3 boyutlu grafiğe çevrilmektedir. Fakat bu iki yol, pahalı, zaman alıcı ve emek gerektiren yöntemlerdir. Bu metotlar yerine bilinen yöntemlerle çekilmiş 2 boyutlu videoları kamera parametre bilgileri olmadan 3 boyut efekti verebilen otomatik 2D/3D dönüştürücü algoritmaları bulunmaktadır. Bu tez çalışmasında, kamera parametleri bilinmeyen 2 boyutlu bir videoya 2D/3D dönüştürme algoritması uygulanarak 3 boyutlu görüntü efektinin oluşturulması hedeflenmiştir. Algoritmayı kurgulamak için, insan derinlik algısı ve 2 boyutlu içerik bilgisi ile 3 boyutlu içerik bilgisi arasındaki ilişki (derinlik haritası) araştırılmıştır. 2 boyuttan 3 boyuta dönüşüm algoritmasında iki farklı method kullanılarak 3 boyut efekti elde edilmeye çalışılmıştır. İlk yöntemde, derinlik haritası, hareket kestirimi yöntemi sonucu elde edilen hareket vektörleri ile oluşturulmuştur. Ve ikinci yöntemde derinlik haritası kenar bilgisi kullanılarak oluşturulmuştur. Derinlik bilgisi sayesinde, iki metot da aynı kaydırma algoritmasını kullanarak yapay stereoskopik çift (sol ve sağ resim) oluştururlar. Stereoskopik video sonuçları görebilmek ve aynı zamanda en ucuz yöntem olduğu için, sonuçlar anaglif formata çevrilmiştir. İzleyebilmek için anaglif gözlüklere ihtiyaç duyulmaktadır. Oluşan stereoskopik videoların kalitesi sübjektif olarak değerlendirilmiş ve kullanılan iki farklı yöntem de birbirleri ile kıyaslanmıştır. Dahası hesaplama zamanları hesaplanmış ve birbirleri ile karşılaştırılmıştır.In recent years, with the development of 3D technology 3D video content has become a need for the consumer electronics market. 3D display technology has reached the quality that consumers can buy and use it in their homes. However, compared with 3D display devices, the development of 3D video content has remained behind. The reason of that is stereoscopic cameras, which are required for shooting 3D content of the video, are very expensive and the technical setup of these cameras is difficult. At the same time, for the problem of 2D to 3D conversion, 2D content information is manually converted to 3D graphics. However, these shooting and manually converting methods are expensive, time consuming and labor-intensive methods. Instead of these methods, there are automatic 2D to 3D conversion algorithms, which generate 3D effect from conventional videos without knowing specific camera parameters. In this thesis, 3D effect generation is aimed by applying 2D to 3D conversion algorithm applied to a conventional 2D video with unknown camera parameters. For implementing this algorithm human depth perception and the relation between 2D and 3D content information (depth map) were investigated. For the 2D to 3D conversion algorithm, two different methods are used to obtain the 3D effect. In the first method, the depth map was generated by using motion vectors that are obtained using motion estimation. In the second method, the depth map was generated by using edge information. With respect to depth information, both methods use the same shift method to create artificial stereo image pairs (left and right images). Results were converted to the anaglyph format for viewing stereoscopic videos. The other reason to use the anaglyph format is that it is the cheapest way to view the stereoscopy. Created stereoscopic videos are evaluated subjectively. Two different methods are used and compared to each other. Computational run time results are also calculated and compared to each other.Yüksek LisansM.Sc