2019年度チュートリアルBPE
- 1. Byte Pair Encoding 2019-05-29 チュートリアル M1 本間
- 5. なぜBPEが必要か 未知語 すべての単語 ＝ ∞ 首都大学東京 私 あなた 小町研究室 こんばんはこんにちは ＼(^o^)／ 今日 獰悪 頸筋 抛る 学習データに含まれる単語 学習データに 含まれない 単語 （辞書）
- 6. なぜBPEが必要か 未知語 すべての単語 ＝ ∞ 首都大学東京 私 あなた 小町研究室 こんばんは こんにちは 今日 獰悪 頸筋 抛る 学習データに含まれる単語 ニューラル のモデルで 扱う ニューラル のモデルで 扱わない ＼(^o^)／ 学習データに 含まれない 単語 高頻度語 低頻度語 (rare words)
- 7. なぜBPEが必要か 未知語 すべての単語 ＝ ∞ 首都大学東京 私 あなた 小町研究室 こんばんは こんにちは 今日 獰悪 頸筋 抛る 学習データに含まれる単語 ニューラル のモデルで 扱う ニューラル のモデルで 扱わない ＼(^o^)／ 学習データに 含まれない 単語 ＝語彙サイズ (vocabulary size) • ハイパーパラメータ • モデル作成時に決定
- 8. なぜBPEが必要か 未知語 すべての単語 ＝ ∞ 首都大学東京 私 あなた 小町研究室 こんばんは こんにちは 今日 獰悪 頸筋 抛る 学習データに含まれる単語 ニューラル のモデルで 扱う ニューラル のモデルで 扱わない ＼(^o^)／ 学習データに 含まれない 単語＝語彙数 (vocabulary size) • ハイパーパラメータ • モデル作成時に決定 Chainer の言語モデルの場合…
- 9. なぜBPEが必要か 未知語 すべての単語 ＝ ∞ 首都大学東京 私 あなた 小町研究室 こんばんは こんにちは 今日 獰悪 頸筋 抛る 学習データに含まれる単語 ニューラル のモデルで 扱う ニューラル のモデルで 扱わない ＼(^o^)／ 学習データに 含まれない 単語 OOV (out-of-vocabulary) ＝ 未定義語 ≒ 未知語
- 13. なぜBPEが必要か 未知語処理 １．未知語を特殊トークンに置き換える ２．サブワード化 を行い未知語を無くす （あるいは減らす） I entered TMU . ↓ I entered <unk> . 私は <unk> に入った。 ↓ (Pointer Networks とか) 私はTMUに入った。
- 17. と、ここまでが BPE が必要な 理由でした。 次からは実際の BPE のお話です
- 18. 歴史（1分で）
- 19. 歴史（1分で） • Byte Pair Encoding（バイト対符号化）は、 元は可逆圧縮のデータ圧縮法のひとつ “A New Algorithm for Data Compression” (1994) • これをニューラル機械翻訳に応用 “Neural Machine Translation of Rare Words with Subword Units” (Sennrich, 2015) • 2019年現在も多くのモデルで使われている GPT-2 (OpenAI), MT-DNNKD (Microsoft), GMNMT (Google)
- 21. BPEの気持ち 適当に分割するのではなくて、頻度とかを 見て賢く分割したいよね。 文字単位だと分割しすぎだし。 “unkingly” という語を ”un” と”king” と”ly” に分割できたら、元の意味を復元できそう。 （王様らしくない） （ない） （王様） （らしい）
- 22. BPEの実装
- 23. BPEの実装
- 26. https://github.com/google/sentencepiece BPEの実装 Q. BPEを使いたいときは？ A. pip install sentencepiece
- 28. まとめ BPEは未知語処理の手法の一つ BPEのハイパーパラメータ ∽ 語彙数 pip install sentencepiece おしまい