第４回 NIPS+読み会・関西 発表資料 山本
1 like1,146 views
第４回 NIPS+読み会・関西 発表資料 山本
- 1. 2017-06-29 1 NIPS+読み会・関西 第4回 Yasuo YAMAMOTO Variational Recurrent Adversarial Deep Domain Adaptation
- 2. 自己紹介 山本 康生 (Yasuo Yamamoto) 所属：データ＆サイエンス サイエンス本部＠大阪オフィス 担当：広告サイエンス 経歴： • Yahoo! JAPAN 在籍 • これまで京阪奈地区で研究開発(NICT, ATRなど） • KaggleTop10%入賞とか Airbnb(143rd/1462)、HomeDept(85th/2125) 2
- 3. 本論文について Variational Recurrent Adversarial Deep Domain Adaptation Sanjay Purushotham*,Wilka Carvalho*, Tanachat Nilanon, Yan Liu ＠南カリフォルニア大学 ICML 2017 accepted paper 3
- 6. 転移学習の問題設定 6 Source Domain 𝑋𝑠 𝑌𝑠 Target Domain 𝑋 𝑇 𝑌𝑇 1.データが異なる場合 𝑋𝑠 ≠ 𝑋𝑡 2.データの分布が異なる 𝑃(𝑋𝑠) ≠ 𝑃(𝑋𝑡) 3.ラベルが異なる 𝑌𝑠 ≠ 𝑌𝑡 4.ラベルの分布が異なる 𝑃(𝑌𝑠) ≠ 𝑃(𝑌𝑡)
- 7. 本研究が扱う転移学習の課題 7 Source Domain 𝑋𝑠 𝑌𝑠 Target Domain 𝑋 𝑇 1.データが異なる場合 𝑋𝑠 ≠ 𝑋𝑡 2.データの分布が異なる 𝑃(𝑋𝑠) ≠ 𝑃(𝑋𝑡) 3.ラベルが異なる 𝑌𝑠 ≠ 𝑌𝑡 4.ラベルの分布が異なる 𝑃(𝑌𝑠) ≠ 𝑃(𝑌𝑡) e.g.) ドメインが異なる例 年齢別の薬品の効果予測 地域別のレコメンデーション ドメイン転移 Domain Adaptation
- 8. 転移学習の取組み Reducing the domain discrepancy between the source and target domains(Ben-David et al. (2007)) ドメイン不一致度を低減する手法 Instance re-weighting (Jiang & Zhai (2007)) 学習に優良なインスタンスの重み付けを行う Subspace alignment (Fernando et al. (2013)) ドメイン間の部分空間のマッピング関数を学習する手法 Deep learning (Tzeng et al. (2015); Ganin & Lempitsky (2014)) Deep Featureなど深層学習から得られる特徴量の転移 Deep Transfer Learning with Joint Adaptation Networks ;(Mingsheng Long, Jianmin Wang, Michael I. Jordan(2016)) 特徴量とラベルの結合分布をヒルベルト空間にマッピングする手法 8
- 9. 転移学習の取組み Reducing the domain discrepancy between the source and target domains(Ben-David et al. (2007)) ドメイン不一致度を低減する手法 Instance re-weighting (Jiang & Zhai (2007)) 学習に優良なインスタンスの重み付けを行う Subspace alignment (Fernando et al. (2013)) ドメイン間の部分空間のマッピング関数を学習する手法 Deep learning (Tzeng et al. (2015); Ganin & Lempitsky (2014)) Deep Featureなど深層学習から得られる特徴量の転移 Deep Transfer Learning with Joint Adaptation Networks ;(Mingsheng Long, Jianmin Wang, Michael I. Jordan(2016)) 特徴量とラベルの結合分布をヒルベルト空間にマッピングする手法 9 時系列データなどには最適でない
- 11. 本研究の提案 11 Variational Recurrent Neural Network VRNN (Chung et al. (2016)) Domain Adversarial Neural Networks DANN (Ganin et al. (2016)) Variational Recurrent Adversarial Deep Domain Adaptation VRADA
- 12. 先行研究の特徴 12 Variational Recurrent Neural Network VRNN (Chung et al. (2016)) Domain Adversarial Neural Networks DANN (Ganin et al. (2016)) Variational Recurrent Adversarial Deep Domain Adaptation VRADA タイムステップが異なる時系列デー タの隠れ変数モデリングに強い 隠れ変数をドメインラベルで Adversarial Trainingする
- 13. VRADA グラフィカル・モデル 13 : VRNN - Variational Recurrent Neural Network : DANN - Domain Adversarial Neural Networks
- 14. VRADA グラフィカル・モデルの処理 14 : inference process : generation process : recurrent process : classification 𝑧: latent variable ℎ: hidden state 𝑥: data 𝐺𝑦: DNN for a label 𝐺𝑔: DNN for a domain
- 16. VRNNの目的関数 16 推論モデル： 𝑞 𝜃 𝑒 𝑧𝑡 𝑖 𝑥≤𝑡 𝑖 , 𝑧<𝑡 𝑖 過去のモデル: 𝑝 𝑧𝑡 𝑖 𝑥<𝑡 𝑖 , 𝑧<𝑡 𝑖 生成モデル: 𝑝 𝜃 𝑔 𝑥 𝑡 𝑖 𝑧≤𝑡 𝑖 , 𝑥<𝑡 𝑖 KL-Divergence
- 18. VRADAの目的関数 18 RNN項 ラベル分類項 ドメイン分類項 𝑁: 全サンプル数 𝑇: 対象時間 𝑛: ソースドメイン・サンプル数 𝑛′: ターゲットドメイン・サンプル数
- 21. 実験データ:MIMIC-III 21 患者分類 ドメイン 説明 サンプル数 成人 グループ2 20〜45歳 508 グループ3 46〜65歳 1,888 グループ4 66〜85歳 2,394 グループ5 85歳以上 437 子供 グループ1 0〜１９歳 398 変数 説明 𝑋 患者の体液（インスリンなど） 臨床検査結果（pH値、血小板数など） 処方イベント（アスピリン、塩化カリウムの詳報など） 𝑦 ICD9診断コード AHRF(急性低酸素呼吸不全)データセット ICD9 データセット
- 23. 死亡率予測の結果 23 Domain Adaptationなし Domain Adaptationあり 提案手法は 死亡率推定 で良い結果