企画名
「理学におけるデータ科学:理論と実践〜数物理論と機械学習〜」 |
参加教員
教員名 | 所属 | 職名 |
---|---|---|
中野 直人(代表教員) | 理学研究科 | 連携講師 |
谷村 吉隆 | 化学専攻 | 教授 |
宮路 智行 | 数学・数理解析専攻 | 准教授 |
楠岡 誠一郎 | 数学・数理解析専攻 | 准教授 |
企画の概要
【背景】機械学習などのデータ科学的手法の発達と計算機能力の向上に伴い,様々な分野でデータの潜在的に持つ情報の抽出が試みられてきた.パターン認識や信号解析などに翻訳できるものであれば,理学でもご多分に漏れず多くの問題に対して適用してきている.一方,機械学習的手法は目新しく派手に見えるものの,ただ試すだけでは個人的にはあまり面白く感じない.手法をそのまま適用できるほど現実の問題は甘くはないので,手法の工夫に走り出すと小手先の技術改善に陥りがちになる.
【このSGでやりたいこと】このSGでは一旦技術的なことは置いておき,機械学習が「何を」学習しているか,「どのように」学習しているか,「なぜ」うまくいく(ように見える)のか,について理論的に考えてみたい.
【キーワード候補】ここでキーワードとなり得るのは数物理論である.数式を用いる以上,その性質を詳しく知るには関連する数学の理論が必要ないわけがない.また,機械学習の 代表選手であるニューラルネットワークは相互作用のある多体系であるから,(ノードが 多い前提で)統計力学的なアプローチによる研究もされている.その他に,機械学習モデ ルによる判断根拠について考えるなら対象のデータのドメイン知識が不可欠だ.気象データなら気象学,地磁気データなら地球物理学,液晶のデータなら化学の深い知識がないとモデルがきちんと学習できているかどうか判断できない.結局のところ,「このSGでやりたいこと」を実践するには何らかの「理論」が必要ということだ.
【取り組み方】取り組み方は人それぞれ.「何を」,「どのように」,「なぜ」などの興味のある問題をひたすら調べ,議論を行う.ここら辺の問題意識にシンパシーを感じる人にぜひ参加してほしい.とりあえず参加して,問題意識を共有してから考える問題を見つけても良いかもしれない.ただしあまり教員には期待しないこと.いずれにせよ積極的に取り組む人でないとこのSGで有意義に過ごすことは難しい.
【注意】機械学習の手法自体を学びたい者はSGを頼らずに自分で勉強することを薦める.その方が手っ取り早い.大学には講義もあるし,ウェブ上には数多の記事がある.片っ端からコードを写経すれば一通りの技術は身に付く.このSGではそのケアはしない.
実施期間・頻度
不定期(定期的に集まることはしない)
原則Slack,Miro等のオンラインコミュニケーションツールを用いて情報交換と進捗確認を行い,必要に応じてZoomでミーティングする.
TA雇用の有無
有
問い合わせ先
中野 直人 n_nakano*math.kyoto-u.ac.jp
(*を@に変えてください)
スタディグループへの登録は締め切りました。
関心のある方は macs *sci.kyoto-u.ac.jp(*を@に変えてください)までご連絡ください。
活動報告
活動目的・内容
機械学習的手法を用いたデータ解析手法は昨今急速な発展を見せており,統計学的な学習理論がその手法の有効性の理論的な保証を与えている.それに対して本SG9では数理物理的なアプローチから再帰的ニューラルネットワークの一種であるreservoir computingの学習性能を研究した.
統計物理を専門とする物理学・宇宙物理学専攻の博士課程学生2名と上記研究を行なった.定期的にZoom ミーティングを行い,提起された疑問点や改善点などを確認し,各自持ち帰って次回のミーティングまでに理論的な計算や学習性能評価のための数値計算を行なった.
活動成果・自己評価
reservoir computing で用いるノード間結合行列としてランダム行列を用いる場合において,(1) ネットワークの定性的な性質と (2) 時系列タスクの学習性能に対する相転移挙動について詳細に調べ上げた.(1) のネットワークの性質は,ランダムネットワークを生成する確率分布に依存することがわかり,さらにネットワークサイズ無限大の極限における普遍性を我々が新たに発見した.(2) については,その確率分布のパラメータを秩序変数に用いると,統計物理で用いられる相空間と同様に時系列タスクの学習性能の相転移が確認された. reservoir computing では “edge of chaos” で学習効率が最大化されるという通例があるが,これに関するより正確な理解を得ることができた.これらの成果は学術論文としてまとめ (arXiv:2112.01886),3月23日現在査読中である.また,この成果については,日本物理学会2021年秋季大会と第24回情報論的学習理論ワークショップにおいて研究発表を行なった.
SGの学生が自発的にかつ有機的に活動した結果,論文となる研究成果が得られた.特に普遍性理論の整備は物理が専門の学生抜きには得られない物であり,数学,機械学習と物理の協働が結実したと言って良い.本格的な研究を志向した本SGとしては大成功である.さらに京都大学のスーパーコンピュータを活用するノウハウや Jupyterを用いた資料の作成等の技術習得は,学生らにとっても今後大いに役立つであろう.
参加メンバー
氏名 | 所属 | 職名・学年 |
---|---|---|
中野 直人(代表教員) | 理学研究科 | 連携講師 |
兎子尾 理貴 | 物理学・宇宙物理学専攻 | D2 |
春名 純一 | 物理学・宇宙物理学専攻 | D2 |