@techreport{oai:mie-u.repo.nii.ac.jp:00015252, author = {萩原, 克幸 and Hagiwara, Katsuyuki}, month = {May}, note = {application/pdf, 本研究では、階層型ニューラルネットやスパース学習に共通するモデル選択の問題を扱う。特に、ここでは、正則化・縮小推定の下でのモデル選択を考えた。まず、スパース学習において、正則化法であるLASSOのバイアス問題を解決するスケーリング法を考え、その下でのモデル選択規準を導出し、応用上の妥当性を数値的に確認した。さらに、スケーリング法を利用して、ノンパラメトリック直交回帰の下での統一的なモデリング法を与えるとともに、その汎化性を理論的に解析した。一方で、階層型ニューラルネットについては、モデル選択に関係して、その深層化による学習の傾向とオーバーフィッテイングの関係を調べた。, In this project, we considered a model selection problem that is common for both of layered neural nets and sparse modeling. We considered model selection under regularization and shrinkage methods. In a sparse modeling, we derived a scaling method for LASSO, in which a bias problem is relaxed. And, we derived a risk-based model selection criterion for the estimate under the proposed method. We confirm its effectiveness through numerical experiments. Additionally, by introducing a scaling method, we derived a unified modeling method under a non-parametric orthogonal regression problem and we analyzed the generalization properties of the proposed method. On the other hand, in layered neural nets, we found that a deep structure affects over-fitting to noise., 2018年度~2020年度科学研究費補助金(基盤研究(C))研究成果報告書, 18K11433}, title = {縮小推定を導入した貪欲法の下でのモデル選択規準についての研究}, year = {2021}, yomi = {ハギワラ, カツユキ} }