Multilayer Neural Networks with Intermediate Elements Using a Distance

階層型ニューラルネットワークでは,中間層の素子数を必要に応じて大きくすれば,任意の写像を任意の精度で近似できることが知られている.しかし,中間層の素子数が大きいほど局所解が多くなるので,誤差逆伝搬学習法により学習する場合には,局所解に収束する可能性が高くなる.従って,中間層の素子をあまり多くすると,近似精度はかえって低下する.そこで,筆者の一人は,中間層の素子数が大きい場合でも,局所解の増加を抑え,学習による写像実現の近似精度を上げるために,介在素子を導入した.カテゴリ化素子と特徴検出素子を提案し,それらを介在素子として付加することにより,3層ネットワークの学習によって得られる写像の近似精度すなわち学習能力が大幅に向上することを計算機実験により確認した.介在素子の最適な機能と特性については十分議論していないが,距離情報に基づいて動作する距離素子を介在素子に用いれば,学習能力がさらに向上すると予測している.本論文では,介在素子に距離素子を用いた場合の方がカテゴリ化素子の場合よりも大幅に学習能力が向上することを計算機実験によって示した. / We propose the multilayer neural networks with intermediate elements using a distance and show its higher learning capability by computer simulation. One of the problems of a well-known backpropagation learning algorithm is an existence of local minima. Yokoi et al. have proposed the intermediate elements, which are additional elements, in order to avoid increasing local minima and to enhance the learning capability. They have demonstrated that the learning capability increases due to intermediate elements. However, optimal intermediate elements were not yet discussed. We expect that the more highly learning capability can be obtained by introducing distance elements. In this paper, we show that the learning capability in the case of using distance elements is much higher than categorizing elements