![Generative Adversarial Nets
[Goodfellow+ 2014]
• :判別器
‣ が本物なら 、
偽物なら
• :生成器
‣ (ガウス分布や一様分布)に対し、
本物 と見分けられない を対応
• フレームワーク的には G/D がニューラルネットである
必要はない
‣が、後述の理由により表現力の高いモデルが要請される](https://image.slidesharecdn.com/generativeadversarialnetworks-170929093901/85/Generative-adversarial-networks-7-320.jpg)
![GAN 実装してみた
• https://github.com/shuyo/iir/blob/ma
ster/dnn/gan-mnist.py
‣Tensor-flow / MNIST
‣D : 隠れ1層 256ユニット、マックスアウト
‣G : 隠れ1層 512ユニット
‣ : [-1, 1] の一様分布×32次元](https://image.slidesharecdn.com/generativeadversarialnetworks-170929093901/85/Generative-adversarial-networks-10-320.jpg)
![Conditional GAN
[Mirza+ 2014]
• 生成/識別する画像のカテゴリを指定する
‣G/D の入力に正解
ラベル を追加
‣D は、データが正解ラ
ベルに対応するなら 1、
それ以外は 0 を出力
‣G は入力されたラベルの
データを生成する ラベル
(one hot vector)](https://image.slidesharecdn.com/generativeadversarialnetworks-170929093901/85/Generative-adversarial-networks-13-320.jpg)
![DCGAN [Radford+ 2015]
• G に deconvolution を用いた GAN
‣生成可能な画像の表現力が上がる
‣D は普通の convolution](https://image.slidesharecdn.com/generativeadversarialnetworks-170929093901/85/Generative-adversarial-networks-16-320.jpg)
![Street View House Numbers
[Netzer+ 2011]
• Google ストリートビューから切り出した
ハウスナンバー(表札)画像のデータセット
‣http://ufldl.stanford.edu/housenumbers/
• 2種類の形式
‣画像に含まれている複数の数字とそれぞれ領域
‣画像から切り出した個々の数字 (←今回を使う方)
フルセット
揃っている
同じスタイ
ルの数字は
ない](https://image.slidesharecdn.com/generativeadversarialnetworks-170929093901/85/Generative-adversarial-networks-17-320.jpg)
Generative adversarial networks
- 1. Generative Adversarial Networks － 敵対的生成ネットワーク － 2017/9/29 @shuyo
- 2. 従来のデータ生成 • データの構造を反映したモデルを構築 • 文生成 ‣生成的な言語モデルを構築・学習してサンプリング • 文字生成 ‣ペン・ストロークなどをモデル化して生成 • 画像生成 ‣3Dモデルを物理シュミレーションして生成
- 4. やりたいこと • いっぱいデータを用意して食わせたら、 よく似たデータが生成される ‣人間が見て同じカテゴリーと判断 • データの構造の知識は(あんまり)不要 ‣過剰にリッチなモデルに魔法の正則化を組み 合わせたらなんか解けちゃった? • ディープラーニングっぽい!
- 5. 最近流行ってる 生成フレームワーク • GAN (Generative Adversarial Networks) • VAE (Variational Auto-Encoders)
- 6. データから生成器を作る • 観測データ から真の分布 を得たい ‣ =人が と同じカテゴリとみなすデータの分布 • 問題1: 負例が無い、あるいは多すぎる ‣観測データは全て正例 ‣ランダムサンプルは確率 で負例 • 問題2:負例があっても、 作れるのは生成器ではなく判別器
- 7. Generative Adversarial Nets [Goodfellow+ 2014] • :判別器 ‣ が本物なら 、 偽物なら • :生成器 ‣ (ガウス分布や一様分布)に対し、 本物 と見分けられない を対応 • フレームワーク的には G/D がニューラルネットである 必要はない ‣が、後述の理由により表現力の高いモデルが要請される
- 8. GAN の学習 1. を正例、 を負例として 判別器 を学習 ‣鑑定家 D が、本物と G が作った偽物を見分けら れるように訓練 2. に対し が 1 になるよう 生成器 を学習 ‣贋作家 G が、D に見分けがつかない本物を作れ るように訓練 3. 1. 2. を繰り返す
- 9. GAN の理論的解析 • 目的関数 • D/G が十分な表現力をもつモデルで、目 的関数を最適化するパラメータが得られ たとき、 ‣ に対し、 ‣ に対し、 真の分布が 得られる! 真贋の見分けが つかない!
- 10. GAN 実装してみた • https://github.com/shuyo/iir/blob/ma ster/dnn/gan-mnist.py ‣Tensor-flow / MNIST ‣D : 隠れ1層 256ユニット、マックスアウト ‣G : 隠れ1層 512ユニット ‣ : [-1, 1] の一様分布×32次元
- 11. 元画像と生成した画像 • G に入力する乱数によって適当な数字画像を生成 ‣確かに MNIST っぽい数字が生成される ‣生成する数字の種類は選べない MNIST GAN
- 12. 数字の種類を指定したい • 方法1: 各数字ごとにモデルを学習する ‣“1” の画像のみ、”2” の画像のみ、…… ‣数字や手書き文字に共通する性質も別々に学習 ‣スタイルのバラバラな数字が得られる • 方法2: Conditional GAN
- 13. Conditional GAN [Mirza+ 2014] • 生成/識別する画像のカテゴリを指定する ‣G/D の入力に正解 ラベル を追加 ‣D は、データが正解ラ ベルに対応するなら 1、 それ以外は 0 を出力 ‣G は入力されたラベルの データを生成する ラベル (one hot vector)
- 14. Conditional GAN 実装してみた • ラベルで生成する数字を指定できる ‣ https://github.com/shuyo/iir/blob/master/dnn/cgan-mnist.py ‣乱数で生成する数字のスタイルが決まる 同じスタイルの 数字セットが 得られる!! 各行は 同じ乱数から 生成 0～9 のラベル
- 16. DCGAN [Radford+ 2015] • G に deconvolution を用いた GAN ‣生成可能な画像の表現力が上がる ‣D は普通の convolution
- 17. Street View House Numbers [Netzer+ 2011] • Google ストリートビューから切り出した ハウスナンバー(表札)画像のデータセット ‣http://ufldl.stanford.edu/housenumbers/ • 2種類の形式 ‣画像に含まれている複数の数字とそれぞれ領域 ‣画像から切り出した個々の数字 (←今回を使う方) フルセット 揃っている 同じスタイ ルの数字は ない
- 18. Conditional DCGAN 実装してみた • https://github.com/shuyo/iir/blob/ma ster/dnn/cdcgan-svhn.py ‣Street View House Numbers ‣チャンネル数は設定ファイルで指定 • G : 512, 256, 128 • D : 64, 128, 256 • p_z : 100次元
- 19. 生成結果 • 文字色/背景色、幅、ストローク、ヒゲや飾りの有 無や形が揃ったフルセットの数字が生成される • 学習の様子 https://youtu.be/IXaeo9wxSoQ
- 20. References • Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014. • Mirza, Mehdi, and Simon Osindero. "Conditional generative adversarial nets." arXiv preprint arXiv:1411.1784 (2014). • Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015). • Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, Andrew Y. Ng Reading Digits in Natural Images with Unsupervised Feature Learning NIPS Workshop on Deep Learning and Unsupervised Feature Learning 2011.