本研究は、文化財の経年変化により劣化した画像を、鮮明化し元の色調に復元する技術の確立を目指している。具体的には、無相関ストレッチ技術を用いたDStretchによって、変色・褪色・汚れにより劣化した画像を鮮明化し、CycleGANという深層学習を用いた画像生成技術を用いて元の色調に復元する手法を提案した。 実験には、Colbaseからダウンロードした紺紙金字経の画像を使用した。46点の劣化が起きている画像と、52点の劣化の見られない画像を学習データとして使用した。また、JPEGで圧縮された画像に対してDStretch処理を行うと、モザイク状のノイズが現れることがわかったため、無圧縮ないし圧縮率の低い設定を使用した。 CycleGANの学習にあたり、識別器の学習率を生成器よりも小さく設定することで、学習がうまくいくことを確認した。また、生成器の学習において、背景が白く飛んでしまう現象や他の学習用画像に起因すると思われる元画像にないパターンが出現することがあるが、これを抑えるために損失関数のパラメータ(λ)を調整することが有効であることも確認した。 なお、TensorFlow版CycleGANでは、入力画像のサイズが大きくなると畳み込みが不足するため、干渉のような現象が発生し、メモリ不足の問題も発生した。このため、PyTorch版CycleGANに切り替え、U-Net版のGeneratorの畳み込み回数を増やすなど改良を行った。 今後の展望としては、他の色空間でDStretch処理した画像の学習や、複数の色空間で処理した画像をまとめて学習するモデルを構築し、性能の向上を図ることが挙げられる。また、他の文化財の画像に対しても適用可能かどうかを検討する予定である。research re...