第133回　附属社会創造数学センター主催　北大MMCセミナー　：  深層ニューラルネットワークのミニバッチ勾配降下に対する各点収束定理（米田　剛 氏）

 

Time: 　     2023年 1月 6日（金） 10時00分 ～ 2023年 1月 6日（金） 11時30分

Place:　　北海道大学電子科学研研究所　　　　　　　　　　　　　　　　　　　　　　

　　　     　　　　中央キャンパス総合研究棟2号館5階講義室

Speaker:     米田 剛　氏（一橋大学大学院経済学研究科・教授）

Title:　       深層ニューラルネットワークのミニバッチ勾配降下に対する各点収束定理

                       （Pointwise convergence theorem of mini-batch gradient descent in        terms of deep neural network）                

 

Abstract：　近年、深層学習を用いて学習を行った人工知能は、従来の方法で学ばせたものよりも高いパフォーマンスを発揮してきている。
発展可能性は無尽蔵であるように感じられ、また、その数理的理解も徐々に進んできている。
Imaizumi-Fukumizu(2019)は、線形近似と深層学習を比べた場合、深層学習が不連続関数の推定に有利であることを示しており、更に、Suzuki(2019)は、滑らかさが非一様な関数の推定に対しても深層学習が有利であることを示している。
従って、不連続関数、特に階段関数への収束問題を考えることが、深層学習の数理的構造の抽出に適しているように見受けられる。
一方で、今までの先行研究において、ブラックボックスと言われている「重みとバイアス」そのものに着目した純粋数学的洞察があまり存在しないように見受けられる。そこで本講演では、そういった「重みとバイアス」そのものに対する数理的構造の理解、特に、関数空間を一切用いない「各点収束定理」の構築を紹介する。

 

第133回北大MMCセミナー

 

※セミナーご出席の際は必ずマスクの着用をお願いします。

体調のすぐれない方、当日自宅での検温で37.5℃以上または平熱+0.5℃以上の方は出席をご遠慮願います。

当日は検温および手指消毒後の入室をお願いします。

会場では換気のため一部窓を開けて行います。　体温調節可能な服装でお越し下さい。

ご協力をお願い致します。