ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day
2 likes851 views
ディープラーニング開発組織のつくり方と運営ノウハウ
ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day
- 1. テクノスデータサイエンス・エンジニアリング株式会社 〒163-1427 東京都新宿区西新宿3-20-2東京オペラシティタワー27階 TEL：03(6383)3261 FAX:03(6383)3262 DLLAB Case Study Day 機械学習・深層学習の最新事例を一挙に知る日 ディープラーニング開発組織の つくり方と運営ノウハウ 2018年9月21日
- 2. Page 2Tecnos Data Science Engineering All Rights Reserved 会社紹介 名称 テクノスデータサイエンス・エンジニアリング 株式会社 所在地 東京都新宿区西新宿3-20-2 東京オペラシティタワー27階 設立 2013年10月17日 代表者 代表取締役 城谷直彦 資本金 5億5,350万円 従業員数 110名（2018年4月時点） 主要株主 株式会社テクノスジャパン 株式会社エヌ・ティ・ティ・データ あいおいニッセイ同和損害保険株式会社 データ活用 サービス AIサービス 共同開発 プロダクト 提供 事業内容 組織組成支援科学研究の経験があるメンバーを中心に構成 データサイエンティスト在籍数（2018年4月現在） 総勢 67名 修士以上 63名 うち博士 28名
- 3. Page 3Tecnos Data Science Engineering All Rights Reserved 1. Deep Learningを活用するために知っておくこと 2. Deep Learningプロジェクトの考え方 3. Deep Learningプロジェクトのマネジメント 4. データサイエンティストの声 目次
- 4. Page 4Tecnos Data Science Engineering All Rights Reserved 1. Deep Learningを活用するために知っておくこと
- 5. Page 5Tecnos Data Science Engineering All Rights Reserved ⚫Deep Learningは、特徴量抽出で汎用的なアルゴリズムである ➢ (大抵の)機械学習アルゴリズムは、モデリング時にデータの特徴量(例： 画像データでの色、形、質)を明示的に与える ✓ 特徴量の設計は、機械学習アルゴリズムに合わせて行われる ✓ 特徴量の設計は、分析者／開発者の経験と勘によっている ➢ Deep Learningは、特徴量を自発的に獲得することが出来る ⚫Deep Learningは、高い汎化性能を持つモデルを実現する ➢ 汎化性能とは、モデリング時の学習データ以外でも精緻に推論できるか ➢ Deep Learningは、学習データから本質的な特徴を獲得することを実現 している Deep Learningの性格
- 6. Page 6Tecnos Data Science Engineering All Rights Reserved ⚫Deep Learningはなぜ、「汎用的なアルゴリズム」であり、 「高い汎化性能を実現する」ことが可能なのか？ ⚫複雑な深いネットワークを学習出来ることで、それらを可能 にしている ➢ 数多くのパラメータによって、データの特徴量を最大限表現する ➢ 各パラメータが複雑に結びつき、特徴量の表現が多彩になる Deep Learningの性格 ○と○の間にある→すべ てがパラメータであり、 Deep Learningによって それらを学習している
- 7. Page 7Tecnos Data Science Engineering All Rights Reserved ⚫Deep Learningはなぜ、「汎用的なアルゴリズム」であり、 「高い汎化性能を実現する」ことが可能なのか？ ⚫複雑な深いネットワークを学習出来ることで、それらを可能 にしている ➢ 数多くのパラメータによって、データの特徴量を最大限表現する ➢ 各パラメータが複雑に結びつき、特徴量の表現が多彩になる Deep Learningの性格 ○と○の間にある→すべ てがパラメータであり、 Deep Learningによって それらを学習している 一方で、その複雑な深いネットワークのため、 ➢ 多くのパラメータを学習する必要があり、その分やはり多くの学習デー タが必要になる ➡ これはすなわち、計算処理の増加にもつながる ➢ 各パラメータが複雑に結びついているため、モデルの解釈性がない ➡ ブラックボックスと言われる所以
- 8. Page 8Tecnos Data Science Engineering All Rights Reserved ⚫Deep Learningをビジネスで活用する際のポイントは、 Deep Learningの活用ポイント ①学習データの有無 ②モデル解釈性の必要性 ③計算速度の許容レベル ④DL技術者の存在
- 9. Page 9Tecnos Data Science Engineering All Rights Reserved ⚫Deep Learningをビジネスで活用する際のポイントは、 Deep Learningの活用ポイント ✓ 実用化には大量のデータが必要 ✓ 画像診断では、数万件以上 ①学習データの有無 ②モデル解釈性の必要性 ③計算速度の許容レベル ④DL技術者の存在 ✓ 予測結果を理解する必要がなく、予測 精度の良さがビジネス価値になる ✓ 視覚や聴覚のような感覚を用いて行わ れている業務には適している ➡ 例えば、画像判断や異音検知 ✓ GPUを使えるプラットフォームがある ✓ 推論だけであればFPGAも視野に ✓ モデル構成(ネットワーク)への制約に なる ✓ モデルの効率的なチューニングには知 見や経験が必要 ✓ データサイエンティストはいますか？
- 10. Page 10Tecnos Data Science Engineering All Rights Reserved ⚫AIを活用した架空送電線診断システム Deep Leaning活用事例紹介 https://customers.microsoft.com/en-us/story/tepco-azure-machine-learning-jp-japan
- 11. Page 11Tecnos Data Science Engineering All Rights Reserved AI活用によるコスト削減 AIが送電線の異常を自動で 検知し、報告書を作成する
- 12. Page 12Tecnos Data Science Engineering All Rights Reserved Deep Learningによる異常検知 https://www.youtube.com/watch?v=YE07PzWECuM
- 13. Page 13Tecnos Data Science Engineering All Rights Reserved 2. Deep Learningプロジェクトの考え方
- 14. Page 14Tecnos Data Science Engineering All Rights Reserved Deep Learning活用の目的は何？ データに基づく科学的アプローチによって、 企業の活動や 顧客の行動を変化 させ、 お互いにとっての 新たな価値を創り出す こと
- 15. Page 15Tecnos Data Science Engineering All Rights Reserved AI導入事例：顧客離反分析 事例概要 【業種】 通信 【分析サービス】 クラス予測 【お客様の課題とニーズ】 クライアントの企業では、解約を実施して、競合他社への契約変更をす る顧客が続出していた。他方、解約を防止するための割引キャンペーン により、本来解約しない顧客に対しても施策を実施してしまうことによ る「施策の無駄うち」によるロスが発生してしまっていた。そのため、 効率的にキャンペーンを実施するニーズがあった。 AIによる解決策 1～2ヶ月後の解約を予測する統計モデルを開発し、解約確率の高い顧客に 対してキャンペーンを実施して効果を挙げた。 Before After 解約抑止効果 もアップ！ 既存顧客から性別と年代などの属性 情報のみを切り出して施策を実施。 解約可能性のない人にまで割引キャ ンペーンを実施してしまうといった 問題があった。 生み出された価値（効果） 解約しない層に対しては、キャンペーンを実施しないことでコストの削減 に成功した。また、テストマーケティングの結果、解約しそうな層に対す る解約抑止効果は通常の抑止効果に比べて３倍程度の効果があった。 「無駄うち」 コストの削減！ 顧客DB 予測モデル構 築 分析用 データ 解約率を予測 • 顧客のデモグラ属性 • 顧客の利用履歴 • 利用端末 など 分析実施 解約率が高い順に 顧客をリスト化 キャンペーン ターゲット リスト キャンペーン ターゲット リスト 予測に基づき解約 確率の高い上位 ○％にキャンペー ン実施 機 械 統 計
- 16. Page 16Tecnos Data Science Engineering All Rights Reserved 変化と新たな価値は何か？ ⚫ 契約者個人における変化： ➢ 「解約する」という行動ではなく、契約を「継続する」と いう行動をとるに変わった。 ➢ 契約更新時期のたびに行われる乗り換えキャンペーンで悩 んだりする必要がなくなる。 ➢ 継続することで安価にサービスの提供が受けられる。 ➢ 契約変更したさいの煩わしい手続きから解放される。 ⚫ 通信会社における変化： ➢ 営業企画部門が属人的に施策ターゲットを選定していたが、 可能性の高い人を自動選定できるようになる。 ➢ マスでの施策から、人をそれぞれ選んで（OneToOne）の 施策を実施できるようになった。 ➢ 離反する可能性の高い人たちをターゲットにして、施策を 打てる。⇒施策コストの減少。 ➢ 解約者を減少することができる。 ⇒売り上げの向上
- 17. Page 17Tecnos Data Science Engineering All Rights Reserved 変化と新たな価値は何か？ ⚫ 契約者個人における変化： ➢ 「解約する」という行動ではなく、契約を「継続する」と いう行動をとるに変わった。 ➢ 契約更新時期のたびに行われる乗り換えキャンペーンで悩 んだりする必要がなくなる。 ➢ 継続することで安価にサービスの提供が受けられる。 ➢ 契約変更したさいの煩わしい手続きから解放される。 ⚫ 通信会社における変化： ➢ 営業企画部門が属人的に施策ターゲットを選定していたが、 可能性の高い人を自動選定できるようになる。 ➢ マスでの施策から、人をそれぞれ選んで（OneToOne）の 施策を実施できるようになった。 ➢ 離反する可能性の高い人たちをターゲットにして、施策を 打てる。⇒施策コストの減少。 ➢ 解約者を減少することができる。 ⇒売り上げの向上 AI導入によって 生み出された 行動の変化 AI導入によって 生み出された 新たな価値 AI導入によって 生み出された 行動の変化 AI導入によって 生み出された 新たな価値 顧客 企業
- 18. Page 18Tecnos Data Science Engineering All Rights Reserved 変化のまとめ ① データに基づ く科学的アプ ローチ （AI導入） ② 企業の活動の 変化 ③ 顧客の行動の 変化 ④ 企業における 新たな価値 ⑤ 顧客における 新たな価値 • 顧客の利用 データに基づ く離反可能性 の予測。 • 営業企画部門 が属人的に施 策ターゲット を選定してい たが、可能性 の高い人を自 動選定できる ようになる。 • マスでの施策 から、人をそ れぞれ選んで （OneToOne） の施策を実施 できるように なった。 • 「解約する」 という行動で はなく、契約 を「継続す る」という行 動をとるに変 わった。 • 契約更新時期 のたびに行わ れる乗り換え キャンペーン で悩んだりす る必要がなく なる。 • 離反する可能 性の高い人た ちをターゲッ トにして、施 策を打てる。 ⇒施策コスト の減少。 • 解約者を減少 することがで きる。 ⇒売り上げの 向上。 • 継続すること で安価にサー ビスの提供が 受けられる。 • 契約変更した さいの煩わし い手続きから 解放される。
- 19. Page 19Tecnos Data Science Engineering All Rights Reserved AI導入での成功のために ① データに基 づく科学的 アプローチ （AI導入） ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 AI導入を成功させるためには、以下の５つが考慮されている必要があり ます。
- 20. Page 20Tecnos Data Science Engineering All Rights Reserved 成功事例からわかること ① データに基 づく科学的 アプローチ （AI導入） ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 変化 価値 企業と顧客の両方単なる 手段 以下の５つのうち、価値や行動の変化は導入する企業および、顧客の双方を考 慮しなければなりません。ＡＩ導入は単なる手段にほかなりません。
- 21. Page 21Tecnos Data Science Engineering All Rights Reserved ① データに基 づく科学的 アプローチ （AI導入） ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 「③顧客の行動の変化」を引き起こすには？（1／3） 誘導可能？ 新たに生み出される「価値」とは何かを先に考えることが重要です。こ の価値によって、顧客の行動は誘導可能なものになります。
- 22. Page 22Tecnos Data Science Engineering All Rights Reserved ① データに基づ く科学的アプ ローチ （AI導入） ② 企業の活動の 変化 ③ 顧客の行動の 変化 ④ 企業における 新たな価値 ⑤ 顧客における 新たな価値 • 顧客の利用 データに基づ く離反可能性 の予測。 • 営業企画部門 が属人的に施 策ターゲット を選定してい たが、可能性 の高い人を自 動選定できる ようになる。 • マスでの施策 から、人をそ れぞれ選んで （OneToOne） の施策を実施 できるように なった。 • 「解約する」 という行動で はなく、契約 を「継続す る」という行 動をとるに変 わった。 • 契約更新時期 のたびに行わ れる乗り換え キャンペーン で悩んだりす る必要がなく なる。 • 離反する可能 性の高い人た ちをターゲッ トにして、施 策を打てる。 ⇒施策コスト の減少。 • 解約者を減少 することがで きる。 ⇒売り上げの 向上。 • 継続すること で安価にサー ビスの提供が 受けられる。 • 契約変更した さいの煩わし い手続きから 解放される。 「③顧客の行動の変化」を引き起こすには？（2／3） 誘導可能単なる 手段
- 23. Page 23Tecnos Data Science Engineering All Rights Reserved 「③顧客の行動の変化」を引き起こすには？（3／3） • 顧客にとってすぐに価値があることが分かること • 顧客にとって変化へのコストが極めて低いこと 離反防止事例の場合：継続するだけで、割引サービスを 受けられる。 離反防止事例の場合：継続するという判断のみ ＵＩ／ＵＸの知識や、わかってもらえる、 変わってもらえるための工夫も必要 （＝契約者） （＝契約者） 顧客の行動の変化を引き起こすには、顧客にとって「すぐに価値がある ことが分かる事」と、「変化へのコストが極めて低い事」が重要です。
- 24. Page 24Tecnos Data Science Engineering All Rights Reserved ① データに 基づく科 学的アプ ローチ ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 「②企業活動の変化」を引き起こすには？（1／3） 誘導可能?????? 顧客と同様に、企業活動の変化に対しても、新たに生み出される「価値」とは 何かを先に考えることが重要です。この価値によって、企業活動の変化は誘導 可能なものになります。
- 25. Page 25Tecnos Data Science Engineering All Rights Reserved ① データに基づ く科学的アプ ローチ （AI導入） ② 企業の活動の 変化 ③ 顧客の行動の 変化 ④ 企業における 新たな価値 ⑤ 顧客における 新たな価値 • 顧客の利用 データに基づ く離反可能性 の予測。 • 営業企画部門 が属人的に施 策ターゲット を選定してい たが、可能性 の高い人を自 動選定できる ようになる。 • マスでの施策 から、人をそ れぞれ選んで （OneToOne） の施策を実施 できるように なった。 • 「解約する」 という行動で はなく、契約 を「継続す る」という行 動をとるに変 わった。 • 契約更新時期 のたびに行わ れる乗り換え キャンペーン で悩んだりす る必要がなく なる。 • 離反する可能 性の高い人た ちをターゲッ トにして、施 策を打てる。 ⇒施策コスト の減少。 • 解約者を減少 することがで きる。 ⇒売り上げの 向上。 • 継続すること で安価にサー ビスの提供が 受けられる。 • 契約変更した さいの煩わし い手続きから 解放される。 「②企業活動の変化」を引き起こすには？（2／3） 誘導可能単なる 手段
- 26. Page 26Tecnos Data Science Engineering All Rights Reserved 「②企業活動の変化」を引き起こすには？（3／3） なぜ価値の共有が必要なのか？ • 企業内での予算執行権のある人から予算を獲得するため • 企業内での全体の理解を得るため • 企業内での影響する部門の業務調整を実施するため • 企業内の実務担当者（施策担当者）に協力を得るため ・・・ 顧客の行動の変化とは異なり企業の活動の変化は、企業における「新たな 価値」と、企業社内における「新たな価値の共有」によって起こります。 AIプロジェクトで難易度がもっとも高いのはこの社内での価値の共有部分 です。 離反防止事例の場合： ➢ 離反する可能性の高い人たちをターゲットにして、施策を打てる。 ⇒【新たな価値】施策コストの減少 ➢ 解約者を減少することができる。 ⇒【新たな価値】売り上げの向上 ⚫ 必要条件：企業における新たな価値 ⚫ 十分条件：社内での価値の共有 企業の担当者で あったり、皆さん が実施しないとい けない場合もあり ます。
- 27. Page 27Tecnos Data Science Engineering All Rights Reserved 企業や顧客の新たな価値や行動の変化を考えるとは？ ① データに基 づく科学的 アプローチ （AI導入） ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 変化 価値 企業と顧客の両方単なる 手段 要するに、誰の新たな価値を生み出すのか？＝ 誰の何を改善したいの か？を明確にすることが大切であるということです。
- 28. Page 28Tecnos Data Science Engineering All Rights Reserved ① データに基 づく科学的 アプローチ （AI導入） ② 企業の活 動の変化 ③ 顧客の行 動の変化 ④ 企業にお ける新た な価値 ⑤ 顧客にお ける新た な価値 「④⑤新たな価値」を創り出すためには？ 創出可能 新たな価値はＡＩの導入によっ て、創出可能となる！ ＡＩの導入が可能となれば、それまでにできていなかったことが改善さ れ、新たな価値を生み出すことも可能となります。
- 29. Page 29Tecnos Data Science Engineering All Rights Reserved • 「ＡＩ導入」を実施するためには、数理的な スキルも当然必要だが・・ • 企業と顧客の両方に対して新たな「価値」の創出 を目的とした「ＡＩ導入」でなければ意味がない ＡＩの知識も必要だが、それだけでは不十分 「④⑤新たな価値」を創り出すためには？
- 30. Page 30Tecnos Data Science Engineering All Rights Reserved AI活用の成功に必要な活動とは AI戦略策定 AIプロジェクト全体のマネジメント 「①データに基づく科学的アプローチ」のための活動 「②自らの企業活動の変化」のための活動 「③顧客の行動の変化」のための活動
- 31. Page 31Tecnos Data Science Engineering All Rights Reserved 役割分担と連携が必須 AI戦略策定 AIプロジェクト全体のマネジメント 「①データに基づく科学的アプローチ」のための活動 「②自らの企業活動の変化」のための活動 「③顧客の行動の変化」のための活動 AI戦略 ディレクター AIプロジェクト マネージャー シニアデータ サイエンティスト データ サイエンティスト 社内業務部門 お客様部門
- 32. Page 32Tecnos Data Science Engineering All Rights Reserved 各役割に必要とされるスキル 役割 ビジネスへの 洞察 ＩＴシステム 化計画の知識 分析手法の 知識 データ加工 などの プログラミング AI戦略 ディレクター ◎◎ AIプロジェクト マネージャー ◎ ○ ○ シニアデータ サイエンティスト ○ ○ ◎ ○ データ サイエンティスト △ △ ○ ◎
- 33. Page 33Tecnos Data Science Engineering All Rights Reserved 役割が果たせないと何が起きるのか？ 役割 機能が不足する場合のトラブル AI戦略 ディレクター ビジネスとして具体的に何に活用するかがわからない AIプロジェクト マネージャー ビジネス・データ分析・ＩＴシステム化等の複数の視点 で戦略を具体化することができない シニアデータ サイエンティスト データから自社・顧客の両方における価値を生み出すた めの具体的な分析方法が分からない データ サイエンティスト データを分析できる形まで整えることが出来ない
- 34. Page 34Tecnos Data Science Engineering All Rights Reserved AI活用組織への人材選出
- 35. Page 35Tecnos Data Science Engineering All Rights Reserved 3. Deep Learningプロジェクトのマネジメント
- 36. Page 36Tecnos Data Science Engineering All Rights Reserved ⚫AIプロジェクトマネージャーのマネジメントのポイントは、 マネジメントのポイント ①分析は標準プロセスモデル(CRISP-DM)に 基づいて行う ②外部の関係部門との調整が重要である ③データサイエンティストと共にビジネス課題 を適切に数理課題に翻訳する
- 37. Page 37Tecnos Data Science Engineering All Rights Reserved ⚫必要なステップを踏まないと結果は出ない ①分析は標準プロセスモデル(CRISP-DM)に 基づいて行う AI企画の すりあわせ 現場環境へ 展開！ CRISP-DM 1999年に発表 Data ビジネス理解 データ理解 実装展開 データ準備 データ処理 プログラム を作る データは あるの？ モデリング 結果評価 AI・数学を 使い課題 を解くビジネス 価値を評価
- 38. Page 38Tecnos Data Science Engineering All Rights Reserved ⚫ウォーターフォール式の厳密管理は適さない ①分析は標準プロセスモデル(CRISP-DM)に 基づいて行う 試行錯誤による 「手戻り」が 標準プロセスに 内在化 一本道で 管理できない ビジネス理解 データ理解 データ準備 モデリング 結果評価 実装展開
- 39. Page 39Tecnos Data Science Engineering All Rights Reserved ⚫管理よりもビジネス企画と外部調整 ②外部の関係部門との調整が重要である ビジネス理解 データ理解 データ準備 モデリング 結果評価 実装展開 ビジネス理解や 実装展開では 他部門との調整 が必要になる。
- 40. Page 40Tecnos Data Science Engineering All Rights Reserved ⚫問題を正しく翻訳できないとＰＪは失敗する ③データサイエンティストと共にビジネス課題 を適切に数理課題に翻訳する
- 41. Page 41Tecnos Data Science Engineering All Rights Reserved ⚫問題を正しく翻訳できないとＰＪは失敗する ③データサイエンティストと共にビジネス課題 を適切に数理課題に翻訳する AIプロジェクト マネージャー シニアデータ サイエンティスト
- 42. Page 42Tecnos Data Science Engineering All Rights Reserved 4. データサイエンティストの声
- 43. Tecnos Data Science Engineering All Rights Reserved Page 43 背景 • 送電線の異常検知 – ヘリコプターから撮影した送電線の点検動画から、送電線の異 常部位を検知するAIを作成する。
- 44. Tecnos Data Science Engineering All Rights Reserved Page 44 送電線の異常検知 • 送電線の異常検知 – ヘリコプターによる送電線の点検動画から、送電線の異常部位を検出するAIの開 発。 – 過去の点検動画を用いて学習・検証を実施。 – 目標 ✓ 失報率5 %、誤報率10 %を達成 ※失報率：異常を見逃す割合 誤報率：正常を誤検知する割合 送電線の異常の例
- 45. Tecnos Data Science Engineering All Rights Reserved Page 45 分析利用データ • 過去数年分の点検動画が利用可能 – 動画はフルHDサイズ(1920 x 1080) – 撮影条件は多様 ✓ 背景（木々・民家・アスファルトなど）、送電線との距離・角度、光の当 たり方、送電線の本数 – 異常のタグ情報などは未付与 ✓ AI構築のために、タグ付け作業が必要
- 46. Tecnos Data Science Engineering All Rights Reserved Page 46 分析利用データ • 過去数年分の点検動画が利用可能 – 動画はフルHDサイズ(1920 x 1080) – 撮影条件は多様 ✓ 背景（木々・民家・アスファルトなど）、送電線との距離・角度、光の当 たり方、送電線の本数 – 異常のタグ情報などは未付与 ✓ AI構築のために、タグ付け作業が必要 人手によるタグ付け
- 47. Tecnos Data Science Engineering All Rights Reserved Page 47 人手によるタグ付け作業 • 各画像の対象部位を囲むように矩形を付与 • 画像を1枚1枚見て、GUIツールを用いて作業を実施 • 単純作業のためBPに依頼 – タグ付けマニュアルを作成して依頼 – 結果をレビューしてAIの構築に利用 異常のタグ付けの例
- 48. Tecnos Data Science Engineering All Rights Reserved Page 48 タグ付け作業での苦労 • 送電線の異常 – 過去の点検時の情報を元に、異常部位が写っている可能性が高 い部分を抽出してタグ付け作業を実施した。 – 膨大な数の画像を見てタグ付け作業をおこなうことが必要。
- 49. Tecnos Data Science Engineering All Rights Reserved Page 49 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 • 結果 – 切り出し後の画像で評価⇒誤報率・失報率ともに1 ％前後 – フルHD画像で評価⇒失報率5 ％のときの誤報率が20 ％以上 架線部分の面積が小さいので使用しない フルHD画像(1920 x 1080)
- 50. Tecnos Data Science Engineering All Rights Reserved Page 50 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 • 結果 – 切り出し後の画像で評価⇒失報率・誤報率ともに1 ％前後 – フルHD画像で評価⇒失報率5 ％、誤報率20 ％以上 架線部分の面積が小さいので使用しない フルHD画像(1920 x 1080)
- 51. Tecnos Data Science Engineering All Rights Reserved Page 51 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 • 結果 – 切り出し後の画像で評価⇒失報率・誤報率ともに1 ％前後 – フルHD画像で評価⇒失報率5 ％、誤報率20 ％以上 架線部分の面積が小さいので使用しない フルHD画像(1920 x 1080) パフォーマンスに乖離 正常データと 異常データの 切り出し方の違いを学習 目標の失報率5 %、誤報率10 %に届かない。
- 52. Tecnos Data Science Engineering All Rights Reserved Page 52 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 ✓ 架線のピクセルが中心にくるように切り出して使用 • 結果 – 切り出し後の画像で評価⇒失報率5 ％のときの誤報率が9 %程度 – フルHD画像で評価⇒失報率5 ％のときの誤報率が5 %程度 フルHD画像(1920 x 1080) 異常データと正常データの切り 出し方が近くなるように変更
- 53. Tecnos Data Science Engineering All Rights Reserved Page 53 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 ✓ 架線のピクセルが中心にくるように切り出して使用 • 結果 – 切り出し後の画像で評価⇒失報率5 ％、誤報率9 % – フルHD画像で評価⇒失報率5 ％、誤報率5 % フルHD画像(1920 x 1080) 異常データと正常データの切り 出し方が近くなるように変更
- 54. Tecnos Data Science Engineering All Rights Reserved Page 54 異常検知分析作業での失敗 • AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成 – 異常データ ✓ 異常タグの矩形を含むように切り出して使用 – 正常データ ✓ ランダムに切り出し ✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用 ✓ 架線のピクセルが中心にくるように切り出して使用 • 結果 – 切り出し後の画像で評価⇒失報率5 ％、誤報率9 % – フルHD画像で評価⇒失報率5 ％、誤報率5 % フルHD画像(1920 x 1080) 異常データと正常データの切り 出し方が近くなるように変更 妥当な結果 目標の失報率5 %、誤報率10 %以下を達成
- 55. Tecnos Data Science Engineering All Rights Reserved Page 55 反省点 • （可能ならば）撮影条件の均一化 – 撮影条件が多様だと、膨大な数のデータが必要になる。 – 今回の事例では撮り直しが不可だったが、データ収集の段階か らAI構築を見据えるべき。
- 56. Page 56Tecnos Data Science Engineering All Rights Reserved 最後に
- 57. Page 57Tecnos Data Science Engineering All Rights Reserved TDSEが提供するAIビジネス実践講座シリーズ AIビジネスを 推進する方 AIプロジェクトを マネージ・牽引する方 エクゼクティブ (意思決定者) AIプロジェクト マネージャー AI実装する方/ 分析基盤を利用/ 販売している方 エクゼクティブ向けAI講座 （講師派遣型） 管理者向けAI講座 Cognitive Toolkit、Azure ML、 Azure IoT ハンズオントレーニング （講師派遣型） （集合研修/講師派遣型） シニア データサイエンティスト データサイエンティスト (候補含む)
- 58. ●お問い合わせ この文書は、著作権法及び不正競争防止法上の保護を受けております。 文書の一部或いは全てについて、テクノスデータサイエンス・エンジ ニアリング株式会社から許諾を得ずに、いかなる方法においても無断 で複写、複製、転記、転載、ノウハウの使用、企業秘密の開示等を行 うことは禁じられております。 本文記載の社名・製品名・ロゴは各社の商標または登録商標です。 テクノスデータサイエンス・エンジニアリング株式会社 TEL：03-6383-3261 FAX：03-6383-3262 Page 58Tecnos Data Science Engineering All Rights Reserved