AI活用の要件定義から運用をスムーズに

株式会社キスモ 代表取締役 三野稜太

10個近いAIプロジェクトの失敗

名古屋大学発AIベンチャー（株）キスモ 代表取締役 三野稜太

AIプロジェクトをリードする立場の方に失敗談を知ってほしい. 同じ失敗をしてほしくない.

本セッションのアジェンダ

機械学習タスク設計POCのアンチパターン

機械学習の周辺環境とポテンシャル

本セッションのアジェンダ

機械学習タスク設計POCのアンチパターン

機械学習の周辺環境とポテンシャル

AIプロジェクトの一例

プラントの機器の故障予知

• 大手プラントメーカー – 石油産業プラントを提供

• 故障すると人力でエラー対応して復旧する

• 故障を予知して事前に復旧準備をしたい

何で何を予測するのか

前日までの検温データなどのセンサーデータ

前日までのバッチ処理の ログデータ

当日中起こることが予測されるエラーの推定

とりあえずPoC

Training Data Validation Data

8 2:

ResultPrecision rate - 55%

時系列分析手法で特徴量を生成し、テーブルデータの分類問題として予測

※Precision rateエラーだと予測したタイミングのうち実際にエラーだった確率

評価

ベンダー「結構予測できました」

Pリーダー「もっと改善しないと」

現場担当者「う〜ん」

喜んでもらえず、微妙な反応

次のステップ

ベンダー「次はこのデータとこのデータを追加して…」

Pリーダー「皆ちゃんと指示通り動いてね」

次のステップ

ベンダー「次はこのデータとこのデータを追加して…」

Pリーダー「皆ちゃんと指示通り動いてね」

現場担当者「う〜ん(何も得られない気がして面倒くさい)」

結果

プロジェクトは社内ではうやむやに

Pリーダーは配置換えで交代

ベンダーは居づらくなって辞退

現場は疲弊、AIへの期待を失う

炎上プロジェクトの

原因タスク設計が適切でない

01使用するデータやモデルが適切ではない

02プロジェクトが提供する価値が不明瞭

03

炎上プロジェクトの

原因タスク設計が適切でない

01使用するデータやモデルが適切ではない

02プロジェクトが提供する価値が不明瞭

03

本セッションのメインテーマ

提供価値が曖昧なプロジェクトでは

我が社でも頑張って、先進的なAIを導入していくぞ！

こんなことやって何の意味があるのかな…

提供価値が曖昧なプロジェクトでは

我が社でも頑張って、先進的なAIを導入していくぞ！

こんなことやって何の意味があるのかな…

失敗の最大の原因は現場の人からの不信感

発展してきたAI関連技術が提供する価値

Explainable AI (XAI)による人間とAIの協調

随時アップデートされる成長構造

の一部

Explainable AI - XAI

• 2018/11、AIに関する政府7原則が発表されて「説明責任の確保」が企業に要求される事となった.• 内閣府の「人工知能技術戦略実行計画」のAIの研究開発の３本柱の一つが「信頼できるAI」• XAI(AIの説明性向上)の潮流 - 『AI白書2019』より

• AIの判断根拠をわかりやすく提示する事で、ユーザーが納得しながら協調作業ができる.特に、医療やリアルタイム制御などリスクが大きい現場で重要

• AIが誤った判断をした場合に、判断根拠が分かる事により、AIのメンテナンス(アルゴリズムの改善、修正)が行いやすくなる.

• 説明によって専門家の気づきを促し、新しい知識の発見につながる.

AIの判断根拠の明示は、AI導入における必須事項になっていく

XAIを構成する技術 の一部

SHAP VALUES PDP PERMUTATION IMPORTANCE

XAIを構成する技術 -SHAP values-

個々の予測結果に対して、どの変数がどの程度プラス（もしくはマイナス）

に影響しているのか示す

SHAP VALUES

SHAP values ： 既存技術との差異

売上予測に対して何の要素がどれくらいの影響があるかを示すXAIのSHAP values

線形回帰では、係数の重要度を可視化するのみで、個々の予測に踏み込んだ説明はできなかった

XAIを構成する技術 の一部

SHAP VALUES PDP PERMUTATION IMPORTANCE

XAIを構成する技術 -PDP-

変数の変動による予測値の変動を可視化する.

PDP

PDP：既存技術との差異例：気温の変化に従って変化するアイスクリームの販売量予測

線形回帰での予測非線形モデルの予測

XAIを構成する技術 の一部

SHAP VALUES PDP PERMUTATION IMPORTANCE

XAIを構成する技術 -Permutation Importance-

• ある変数が全く使えなくなった時に予測値がどのずれるか、と言う視点からの変数重要度

PERMUTATIONIMPORTANCE

https://christophm.github.io/interpretable-ml-book/feature-importance.html

Permutation Importance : 既存技術との差異

https://christophm.github.io/interpretable-ml-book/feature-importance.htmlhttps://bellcurve.jp/statistics/glossary/1915.html

発展してきたAI関連技術が提供する価値

Explainable AI (XAI)による人間とAIの協調

随時アップデートできる成長構造

の一部

随時アップデートできる成長構造

AIの自己学習とは何か？

強化学習？ 敵対的生成ネットワーク?

単なる学習結果の

更新？

随時の学習とデプロイが必須

データ蓄積 学習 デプロイ（実装）

新しいデータ

随時の学習とデプロイが必須

データ蓄積 学習 デプロイ（実装）

新しいデータが蓄積されるたびに、学習とデプロイを行うための機構が必要

いずれの場合でもデプロイの更新は必須

強化学習

https://www.engadget.com/2016/03/12/watch-alphago-vs-lee-sedol-round-3-live-right-now/

敵対的生成ネットワーク

引用：ISMagazine

…ABEJA Platform標準機能で既に自動化済み

…追加の開発によって自動化することが可能

敵対的生成ネットワーク

強化学習

その他の学習モデルやXAI

ABEJA Platform? DataRobot?

（DataRobot社様ロゴ引用：https://www.datarobot.com/jp/data-science-superheroes-softbank/）

自動的な学習とデプロイの構造を備える

テーブルデータの学習のみに対応

値段は高価で制約が大きいが便利

ABEJA Platform? DataRobot?

学習部分について追加の開発を行うことで、自動的な学習とデプロイの構造が実現できる

テーブルデータのみならず多様なデータに対応

社内もしくは社外にデータ技術者が必要だが柔軟性が高い

行き着く先は、現場との連携

AIと現場が直接連携する世界を実現することができる

AIプロジェクトの失敗を避けるために

プロジェクトの提供価値と運用時の具体的に明確にすることで、現場を疲弊させてしまうような失敗は避けることができる.

AIではない新規事業と同じ.

AI活用の要件定義から運用をスムーズに。

要件定義段階での運用の見立てはマストであり、現場との連携は提供価値そのもの.

現場で使われなければ意味がない.現場の人が乗り気にならない理由を少しでも改善できる先端技術.

PoCでの精度で全て決めるのはAIの自己学習の観点を持っていない、ただし今後取れるデータがどれくらい広いのかは見立てを立てておく.

運用はABEJA Platformが非常に便利.

AIプロジェクトの失敗のほとんどの原因は同じ.適切な技術で、スムーズなAI活用を.