【東北大ライブ講義】第5回: 平均場近似をさらに超えるには?!【2023年度・情報基礎科学としての数理情報学・東北大学大学院情報科学研究科】

【東北大ライブ講義】第5回: 平均場近似をさらに超えるには?!【2023年度・情報基礎科学としての数理情報学・東北大学大学院情報科学研究科】

【東北大ライブ講義】第5回: 平均場近似をさらに超えるには?!【2023年度・情報基礎科学としての数理情報学・東北大学大学院情報科学研究科】

深層学習でもランダムニューラルネットワークなら平均場近似の自己無撞着方程式と同じ。
スピングラス模型の解析もできてしまう。
それでは平均場近似を超える、さらに良い近侍の姿を見てみよう。

【大学教員YouTuber大関真之先生に聞いてみたいこと】
大学生活・勉強・研究・仕事のことなんでも良いです。聞いてみたいことを投稿してください!

#東北大学
#機械学習
#生成モデル

【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
~mohzeki/
twitter

【チャプター】
0:00:00 待機画面
0:01:11 開始前雑談
 ∟0:01:56 研究に没頭してしまう日々

0:12:00 OP

0:12:41 本編開始
 ∟0:13:14 前回までの復習:生成モデルの歴史
 ∟0:17:04 平均場の発展:最新の歴史は早い→しっかりとした礎を築くことが大事
 ∟0:18:07 ランダムニューロンにおける中心極限定理→分散の更新式
  ∟0:18:57 分散の更新式をDNN風にいうと

0:21:10 スピングラスの平均場理論
 ∟0:21:41 スピングラスとは
 ∟0:23:23 J_klの定義(SKmodel)
 ∟0:25:07 h_k:一様磁場
 ∟0:26:02 スピングラスにおける分散の更新式(自己無撞着方程式)
  ∟0:26:32 m_l = x_lの期待値(局所磁化)
 ∟0:27:40 更新式の計算方法:u_kを考える
  ∟0:28:24中心極限定理(J_klが乱数→w_kの時と一緒)
  ∟0:29:26 [u_k]_J
  ∟0:29:59 [u_k^2]_J
  ∟0:33:18 注:分散=[u_k^2]_J – ([u_k]_J)^2
  ∟0:34:39 m_lの平均→物質の挙動(m_l≠0→強磁性、=0→常磁性orスピングラス)
  ∟0:37:09 スピングラス秩序パラメータqの定義
   ∟0:37:39 スピングラスにおけるm_l→+or – には立っている→二乗して足した平均q→1になるんじゃね?
  ∟0:38:43 m_kではなく、(m_k)^2を調べる
   ∟0:39:13 大数の法則により、期待値((m_k)^2×確立分布の積分)を調べる
   ∟0:41:07 [step up] よくやる手② Reparameterization Trick を使う
    ∟0:42:29 SK modelの更新式:鞍点方程式と相転移の歴史
    ∟0:50:12 鞍点方程式はレプリカ法を使わずとも導ける!?
        (TA:そんなの聞いてないって)
    ∟0:52:49 鞍点方程式、中心極限定理は多くの分野に応用可能
   ∟0:54:03 qの更新→相図と相転移
    ∟0:55:35 q、m_kによる常磁性、スピングラス、強強磁性の区分け
    ∟0:59:03 スピングラスとランダムニューラルネットワークとの対応

1:02:00 小休止雑談:物理学会はやべー奴の巣窟

1:06:48 信念伝播法
 ∟1:09:18 平均場近似の復習
  ∟1:10:41 平均場近似の問題点:x_kとx_lの相関を考えていない
  ∟1:11:32 平均場:kの周りl(∈∂k)からのメッセージ的
   ∟1:12:28 図的理解
   ∟1:14:01 信念伝播法のキモチ:相互作用項を考えたい!
 ∟1:17:13 信念伝播法の図的理解(k, l : 変数ノード、μ:ファクターノード)
  ∟1:21:32 [step up] メッセージ伝播
  ∟1:22:58 ファクターノードμを考慮したP(x)の記述
   ∟1:25:07 2体→p対相互作用への拡張(一般化)
   ∟1:27:03 ファクターノード×変数ノードで因数分解
   ∟1:29:05メッセージ伝播のルールを考える
   ∟1:31:02 例 1次元
    ∟1:33:38 信念伝播法の優位性について

1:36:20 本講まとめと次回予告

動画カテゴリの最新記事