本研究では、多層パーセプトロンのモデル選択を考える上で、基底関数の可変性に着目し、データ数と同じ個数の関数集合の中を基底関数が動く場合のモデル選択の方法を確立した。その方法では、まず、集合内の関数に対して直交変換を行い、直交化された基底関数に対して、その係数を推定する。その係数に対する閾値処理により、不必要な係数を零にする。その後、逆変換により、元の基底関数の係数を求める。この際、閾値は、基底関数の可変性の性質を反映して導出しており、理論的に妥当なものである。この方法では、直交化の方法に応じて、縮小推定となる場合やスパースな表現が得られる。この方法は、ある学習法の下で、多層パーセプトロンに対しても応用可能である。
In this research, we focus on a variability of basis functions in multi-layer perceptron and establish a model selection method for the case where basis functions are selected from a finite set of functions, in which the number of candidates is equal to the number of data. In the proposed method, functions in the set are orthogonalized and their coefficients are estimated. Inefficient coefficients are set to zero by thresholding. Then inverse transform yields the weights of original basis functions. The threshold level in this method is theoretically reasonable since it derived based on the variability of basis functions. We can obtain a smooth output and/or sparse representation depending on the method of orthogonalization. The method is applicable to multi-layer perceptron under a certain training algorithm.
内容記述
平成21~23年度科学研究費補助金(基盤研究(C))研究成果報告書
発行年
2012-05-24
フォーマット
application/pdf
著者版フラグ
publisher
その他のタイトル
Research on model selection of multi-layer perceptron
多層パーセプトロンのモデル選択に関する研究
20K16790.pdf
(291.44KB)
