【5/12(金)締切】2023年度スタディグループへの参加登録は以下からお願いします．
https://forms.gle/MyQm47FGKTqJJWSd7
目次
開催案内
開催報告
第22 回MACS コロキウムは、東京大学総合文化研究科の今泉允聡博士に「深層学習の原理に迫る 数学の挑戦 」というタイトルで講演していただきました。
講演は深層学習のレビューから始まりました。2012 年にブレイクスルーがあり、深層学習の精度は飛躍的に向上しましたが、原理の解明はまだ発展途上なようです。例えば、従来のデータ解析理論において、誤差は(パラメタ数)/(データ数)に比例するというのが常識でしたが、深層学習ではパラメタ数を増やすほど予測精度が向上するため、理論の再構築が必要になりました。最近でも、モデルサイズが増えると損失がベキで減少するというスケール則や、モデルサイズが一定水準を超えると精度が突然向上するという創発現象など、従来の理論では説明できない挙動が次々に報告されています。本講演では、難解な深層学習を記述・理解するための理論的な試みが3 段階に分けて説明されます。
まずは、関数解析・統計理論によるアプローチです。回帰問題において真の関数が滑らかな場合、汎化誤差の減衰レートは深層学習でも他の手法でも最適レートを達成できるため、理論的な性能差はないことが知られていました。そこで、真の関数が非滑らかな場合の汎化誤差の減衰レートに着目した研究を行い、深層学習は非深層法よりも優れていることを示したそうです。
続いて、学習アルゴリズムの性質を導入した新しい過学習理論によるアプローチです。過学習の大きさの指標である汎化ギャップの上界は(パラメタ数)/(データ数)の平方根で抑えられることが古くから知られています。しかし、これではパラメタ数を増やすと汎化ギャップが小さくなる深層学習の性質が理解できません。そこで、学習アルゴリズムがパラメタ空間の局所解近傍に滞留することで、モデルの自由度が制約され、過学習が抑制されるのではないかという新しい観点からの研究を行い、損失関数が十分良い谷をもつ場合には確かに過学習の抑制が起こることを示したそうです。
最後に、大規模モデル極限によるアプローチです。深層学習では、モデルを過剰に大きくすると汎化誤差が再減少する二重降下という振る舞いや、訓練データへの適合と高い予測性能を両立する良性過適合という振る舞いを示すことが知られています。これらを理論的に理解するために、線形回帰や2 層ニューラルネットにおいて、パラメタ数とデータ数の比を一定に保ちながら、パラメタ数を無限大にとばす大規模モデル極限による解析が過去に行われ、ランダム行列理論やガウス比較不等式と組み合わせることで二重降下が再現されることが示されているそうです。そこで、大規模モデル極限の研究を推し進め、シングル・インデックスモデルという非線形モデルにおいて、近似メッセージ伝搬と逆畳み込み推定量を利用することで、未知関数を推定する方法を開発したそうです。また、Tensor Programs という深層ニューラルネットをガウス過程近似したモデルにおいても、大規模モデル極限を考えることで、学習後の深層ニューラルネット関数を計算可能にする枠組みを作り上げたそうです。
講演後の質疑応答では、深層学習と従来法の違いや、三重降下・四重降下の可能性についての議論などで大いに盛り上がりました。
（文責：伊丹將人）
日時
2023年4月28日（金）15:00〜18:30
開催場所
北部総合教育研究棟
益川ホール (対面のみ)
⇒アクセス 建物配置図（北部構内）【13】の建物
参加登録【4/28(金)12:00締切】https://forms.gle/5r3N1MccaMcWCeG67
プログラム
第22回MACSコロキウム
『深層学習の原理に迫る -数学の挑戦-』
講演者：今泉 允聡 博士（東京大学総合文化研究科 准教授）
深層学習は、大量のパラメータを持つ統計モデルを用いたデータ解析で、高い性能を発揮することから現代の人工知能の中核的な技術となっている。しかし、大量のパラメータがデータへの過剰な適合を起こさずに学習を行える原理は未解明の部分が多く、この理解の不足が実用上の計算コストの膨大化などの障害を生んでいる。本講演では、深層学習の原理を理解するための数学的・理論的な試みを複数紹介し、その展望を議論する。
16:15～17:20
スタディグループ2022の代表教員・参加教員による企画説明（各5分程度）
・SG1：データ同化の数理と応用：理論モデルとデータをつなぐデータサイエンス
代表教員：坂上 貴之（数学・数理解析専攻）
・SG2：物理と生物をつなぐ
代表教員：佐々 真一（物理学・宇宙物理学専攻）
・SG3：生命のダイナミクスを観て（観察）考える（数理）
代表教員：高橋 淑子（生物科学専攻）
・SG4：自然科学における統計サンプリングとモデリング：数理から実践まで
代表教員：林 重彦（化学専攻）
・SG5：理化学研究所と MACS を繋ぐパイプライン
代表教員：三上 渓太（理化学研究所数理創造プログラム）
・SG6：自然界に潜む規則性を探る
代表教員：坂崎 貴俊（地球惑星科学専攻）
・SG7：疾患における集団的細胞挙動の数理モデルの開拓
代表教員：Karel Svadlenka（数学・数理解析専攻）
・SG8：コンピュータでとことん遊ぶ
代表教員：藤 定義（物理学・宇宙物理学専攻）
・SG9：XR で見る・3D で触る先端科学
代表教員：稲生 啓行（数学・数理解析専攻）
・SG10：みんなで学ぶ数理物理
代表教員：楠岡 誠一郎（数学・数理解析専攻）
・SG11：暗号理論の数理と社会実装
代表教員：伊丹 將人（サイエンス連携探索センター）
・SG12：外れ値でみる理学
代表教員：宮路 智⾏（数学・数理解析専攻）
・SG13：誰も見たことのないものを見るための技術:分野横断的測定器開発と利用
代表教員：冨田 夏希（サイエンス連携探索センター）
継続討論会 コロキウム講演者・SG参加教員との自由な雑談
今年度のSGの情報は以下のHPから得ることができます。
https://www.sci.kyoto-u.ac.jp/ja/academics/programs/macs/sg
備考
◎本コロキウム・説明会は理学部・理学研究科の学生・教職員が対象ですが、京都大学・理化学研究所に在籍されている方はどなたでもご参加いただけます。
◎学内教育プログラムに関するイベントであるため、学外・一般の方の登録は原則不可としております。ご登録いただきましてもリストより削除させていただくことがあります。
◎ SGの参加対象は主に理学部・理学研究科の学生が参加対象です。それ以外の学生の登録も可能ですが、 参加希望者多数の場合は調整の可能性があります。
◎問い合わせ先：macs ＊ sci.kyoto-u.ac.jp（＊を@に変えてください）