マルチヘッド・マルチタスク3D-2D-CNNモデルの開発

機械学習による教師あり学習では多量の訓練データによる学習を回避するため、既学習モデルを利用することが一般的である。しかしながら、2D-畳込み学習では既学習モデルは多く公開されているが、3D-CNN既学習モデルは皆無であり, 3Dデータ教師あり分類問題を進めるうえでの大きなボトルネックとなっている。 そこで初期状態からしかも少ない訓練データ数で学習を行う3D-CNNの低い特徴抽出を補完する目的で複数の既学習2D-CNNモデルを3つ並列に3D-CNNモデル併せて配置する3x2D-CNN+3D-CNNを構築し、考古資料である古墳時代の須恵器の複数分類ラベルの出力を可能とするマルチヘッド・マルチタスクモデルによる学習・推論を試行した。 分析対象は6世紀の須恵器の坏とする。今回のプロトタイプモデル実験で使用したのは東京国立博物館所蔵の須恵器蓋が16サンプル, 身が8サンプルである。これらの資料のうち, 陶邑古窯址群の多くと東京国立博物館の全ての資料については, 代表的な先行研究者である中村浩氏ひとりにより従来の人文学的方法により型式, 年代の評価がなされている。そのため, 正答となる分類ラベルは中村氏のものを採用した。画像データの特徴を抽出する中間層には2D-CNN既学習モデルであるEfficientNetを利用した。試供須恵器の型式はⅡ-3, Ⅱ-4, Ⅱ-5の３クラス, 年代は中葉か後葉の2クラスである。24試供3Dデータをもとに12倍のデータ拡張を行い, 64x64x64x4Voxelデータ, 380x380x3画像を真上, 正面, 真下から投影した3画像を1レコードとした288データを作成する。このうち192データは分類学習の訓練データ, 48データは検証用, 48データは推論テスト用とした。 3D-RGBVoxelデータが入力され, 3次元畳込みを2回, 3次元マックスプーリング, バッチ正則化のセットを2回くりかえし, 最後は4x4x4x64データを展開する。これと同時に3方向2Dデータの特徴抽出中間層処理の後, 2次元数値を全て合計する処理を行い, これら4つのネットワークの数値を結合, 全結合層とドロップアウトを2回くりかえし, 最後は2つの異なる分類ラベルを出力する構造となる。 型式分類のII-3, II-4, II-5クラスの適合率はそれぞれ, 0.96, 1.00, 1.00, 再現率は1.00, 0.93, 1.00となった。年代分類の中葉および後葉クラスの適合率はそれぞれ0.96, 1.00, 再現率は1.00, 0.95と高い精度で分類された結果となった。4種類のデータを入力して3D-CNNと3x2D-CNNの並列構造で, 2種類の分類出力が正常に機能するかを検証することが主たる目的であったので, スキャンしたサンプル数も24と少数であった。しかしながら, データ拡張をとりいれることにより, データ数を訓練用, 検証用, テスト用に確保し, 型式および年代の分類精度も高い結果となったことから, モデルの統合的な性能は評価できると考えられる。今後、サンプルデータ数を増やし3D-CNNの性能を上げていくための検討が必要である