Lisp meetup #29 cl-online-learningの紹介
2 likes2,294 views
Lisp meetup #29 cl-online-learningの紹介
![使用上の注意
●
スケーリング大事
– 入力の各次元が [-1, 1] の範囲に入るようにする
●
データの順序大事
– 同じクラスのデータが延々と続くような場合は性能悪化
●
必要なら順序をシャッフルする](https://image.slidesharecdn.com/lispmeetup29-cl-online-learning-150624155835-lva1-app6891/85/Lisp-meetup-29-cl-online-learning-17-320.jpg)
Lisp meetup #29 cl-online-learningの紹介
- 1. cl-online-learningの紹介 Satoshi Imai / 今井 悟士 Twitter: @masatoi0 Github: masatoi
- 2. これは何か ● cl-online-learning ● 書籍「オンライン機械学習」に出てくる線形 識別器のアルゴリズムからいくつか実装 ● 2値分類と多値分類ができる ● githubにあります – https://github.com/masatoi/cl-online-learning.git
- 3. インストール ● シェルから ● Lisp処理系から – SBCL、CCL、ECL、CLISPで動作確認済み (ql:quickload :clonlinelearning) ＄ cd ~/quicklisp/localprojects/ ＄ git clone https://github.com/masatoi/clonlinelearning.git
- 4. オンライン学習 ● バッチ学習： 訓練データをまとめて学習する ● オンライン学習： 訓練データを逐次的に学習する – とにかく速い： 収束が速い、データ数に対して線形時間、省メモリ – リアルタイム処理に組込める – 実装が簡単 – 偏りのあるデータ、ノイズのあるデータに弱い → 対策されたアルゴリズムが出てきた (AROW, SCW)
- 5. 線形識別器 ● 線形分離可能なデータに対して有効な二値分類器 ● 識別関数f(x)が正か負かでクラスを分ける（xは入力データ点） ● 上手く分けられるようにパラメータ（wとb）を調整する 決定境界 f(x)=0 線形分離可能 線形分離不可能
- 6. 非線形SVM（バッチ学習） ● 線形分離不可能なデータを高次元の特徴空間に射影して線形分離し ている様子 – https://www.youtube.com/watch?v=3liCbRZPrZA ● 計算量はO(mn^2) （m: データの次元数、 n: データ数） – データ数が増えてくると無理 – オンライン線形分類器だとO(mn) ● Common Lisp Machine Learningからフォーク – clml-svm (github.com/masatoi/clml-svm)
- 7. cl-online-learningで実装している 二値分類アルゴリズム ● 二値分類 – パーセプトロン – 平均化パーセプトロン – 線形SVM – AROW – SCW-I、SCW-II 精度 良い 悪い メタパラメータの数 なし なし 2 1 2
- 8. パーセプトロン ● 学習データ： 入力x と 教師信号y の組 ● パーセプトロン： 以下のルールでwを更新する ● 直近の学習データの影響を受けすぎる → 過去の w の更新差分を平均化 （平均化パーセプトロン） の正負と y を比べてみて、分類に失敗していれば w ← w + y x
- 9. AROW ● パラメータ w が、正規分布からサンプリングされたものと考える – その正規分布の平均 μ と分散 Σ を更新する ● 精度良い、収束速い、学習も安定している ← おすすめ！ ● メタパラメータとして正則化パラメータ γ を持つ
- 11. cl-online-learningで実装している マルチクラス分類アルゴリズム ● 複数個の二値分類器を組み合わせてマルチクラス分類できる ● マルチクラス分類 – 1対多 (one-vs-rest) – 1対1 (one-vs-one) – 誤り訂正出力符号(ECOC) ↑（予定） 必要な二値分類器の数 K個 K(K-1)/2個 K個とK(K-1)/2個の間
- 12. one-vs-rest ● クラスの数だけ二値分類器を用意: K個 ● 学習時： 観測されたデータのクラスに対応する学習器では正例、そうで なければ負例として学習 ● 予測時： 全部の学習器で識別関数 を計算して最大の ものに対応するクラスを出力する 1 2 3 各クラスに対応する 学習器 クラス2と ラベルのついた データ 教師信号を -1 として学習 教師信号を +1 として学習 教師信号を -1 として学習
- 13. one-vs-one ● 2つのクラスの組合せの数だけ二値分類器を用意： K(K1) / 2 個 ● 学習時： 観測されたクラスのノードに接続する学習器を学習 ● 予測時： 全部の学習器で分類。多数決して一番多かったクラスを出力 1 5 2 4 3 エッジが学習器に対応 1 5 2 4 3 クラス2が観測されたとき +1 -1 +1 -1 +1-1 +1 -1 ノードの数字が若い方を+1とした
- 17. 使用上の注意 ● スケーリング大事 – 入力の各次元が [-1, 1] の範囲に入るようにする ● データの順序大事 – 同じクラスのデータが延々と続くような場合は性能悪化 ● 必要なら順序をシャッフルする
- 18. iris ● 入力データ： アヤメの花びらとがくの大きさ （4次元） ● クラス数3、データ数150
- 19. 番外：深層学習 ● 特徴選択をどうするかは職人芸 → 深層学習 ● ニューラルネットはオンライン学習できるが、更新ごとの計算量が大きい – ミニバッチをつくってまとめて計算 ● GPU向きの計算（大きな行列×行列の計算） ● cl-cudaベースの深層学習ライブラリ – github.com/melisgl/mgl