[Japan Tech summit 2017] MAI 003
-
Upload
microsoft-tech-summit-2017 -
Category
Technology
-
view
297 -
download
3
Transcript of [Japan Tech summit 2017] MAI 003
Microsoft Tech Summit 2017本情報の内容(添付文書、リンク先などを含む)は、Microsoft Tech Summit 2017 開催日(2017 年 11 月 8日 - 9 日)時点のものであり、予告なく変更される場合があります。
まずはじめに
Azure Machine Learning Studio
もっと早いマシンを使いたい
Web Serviceにしかデプロイできない
もっと早いマシンを使いたい
Web Serviceにしかデプロイできない
どの環境でも学習
どこでもデプロイ
コードでごりごり全フレームワーク
どの環境でも学習
どこでもデプロイ
コードでごりごり全フレームワーク
Azure Machine Learning
Workbench
A Z U R E M A C H I N E L E A R N I N G S E R V I C E S
VM (CPU/GPU)
Spark
Container Services
SQL Server
ML Server
ON-PREMISES
EDGEAzure IoT Edge
学習とデプロイの選択肢
AZURE学習履歴 &モデル管理サービス
どの環境でも学習
どこでもデプロイ
コードでごりごり全フレームワーク
言語
任意のフレームワークまたはライブラリに対応
使い慣れたツール
St George Island
学習ごとの履歴を管理学習履歴管理サービス
デプロイ&運用データの準備 モデルの学習
デプロイ&運用データの準備 モデルの学習
Experimentation
Service
Model Management
Service
Azure Machine Learning Workbench
デプロイ&運用データの準備 モデルの学習
Experimentation
Service
Model Management
Service
Azure Machine Learning Workbench
デプロイ&運用データの準備 モデルの学習
データの準備
192.128.138.20 - - [16/Oct/2016 16:22:33 -0200] "GET /images/picture.gif HTTP/1.1" 234
343 www.yahoo.com "http://www.example.com/" "Mozilla/4.0 (compatible; MSIE 4)" "-"
log1 log2 log3 log4 log5 log6 log7
192.128.138.20 16/Oct/2016 16:22:33 -0200 GET images/picture.gif HTTP
IIS ログ
デプロイ&運用データの準備 モデルの学習
モデルの学習
Local machine
Data Science VM
(CPU / GPU)
Spark on HDInsight
Azure Batch AI (Coming Soon)
ML Server
学習用の環境を自由に選べます
Workbench DOCKER
学習履歴管理サービス
学習履歴管理サービス
# Import Azure ML Logger libraryfrom azureml.logging import get_azureml_logger
# Create a new instance of the loggerrun_logger = get_azureml_logger()
# log a valuerun_logger.log("key", value)
デプロイ&運用データの準備 モデルの学習
デプロイ&運用
DOCKER
VM (CPU/GPU)
Azure Container Service
Azure IoT Edge
(Coming Soon)
Microsoft ML Server
Spark clusters
どこでもデプロイ
AZURE ML
Services
モデル管理サービス
Model Manifest
Image Service
バージョン管理をサポート
ロールバックが可能
GUI でのドラッグ & ドロップ コードファースト
どの環境でも学習
どこでもデプロイ
コードでごりごり全フレームワーク
デプロイ&運用データの準備 モデルの学習
Microsoft Tech Summit 2017本情報の内容(添付文書、リンク先などを含む)は、Microsoft Tech Summit 2017 開催日(2017 年 11 月 8日 - 9 日)時点のものであり、予告なく変更される場合があります。
Session
IDTitle Time
HOL007 Azure Machine Learning で始めるデータ分析の第一歩 Day2 15:10 – 16:00
MAI004 AI ディープラーニング入門 Day2 09:00 – 09:50
MAI001 ディープラーニングの産業応用とそれを支える技術 Day1 13:55 – 14:45
Session
IDTitle Time
HOL007 Azure Machine Learning で始めるデータ分析の第一歩 Day2 15:10 – 16:00
MAI004 AI ディープラーニング入門 Day2 09:00 – 09:50
MAI001 ディープラーニングの産業応用とそれを支える技術 Day1 13:55 – 14:45
■ http://aka.ms/mina-ai
■ http://aka.ms/psdc-ai
https://azure.microsoft.com/en-us/overview/machine-learning/
http://aka.ms/aml_deep_dive
➢ Data store
- File system - Azure Blob
- SQL Database
➢ File Types
- Delimited Files (CSV, TSV, TXT)
- Fixed Width - Plain Text
- Excel - Json
- Parquet
➢ Sampling Strategy
- Top N - Random N
- Full file - Random %
Ingest and sample
Understanding Data
Inspectors
➢ Column statistics : Numeric
➢ Histogram
➢ Value Counts
➢ Box Plot
➢ Scatter Plot
➢ Time Series
➢ Map
AI Powered Spreadsheets
Transparent compute
コラボレーションと Git
➢再現性 = 各実験提出時の git コミット
➢ 各実験の実施はコミットであるため、特定の時点のプロジェクトに復元できる
VSTS アカウント AML の実験アカウント
VSTS プロジェクト ワーク
Git リポジトリ
Git リポジトリ
Git リポジトリ
AML プロジェク
ト
AML プロジェク
ト
AML プロジェク
ト
ユーザーが両方の場所でアクセス許可を必要とする
Microsoft ML Spark
CNTK Java Bindings OpenCV Java Bindings Spark core
Scala API
PySpark wrappers
Wrapper
generation
Pre-trained DNN models
Notebook integration
Promote & download # setup environment
az ml env setup
-l <location>
-n <environment name>
# set environment
az ml env set
-g <resource-group>
-n <environment name>
# Create modelmanagement account
az ml account modelmanagement create
--name <modelmanagement name>
--resource-group <resource-group>
--location <region>
# deploy model
az ml service create realtime
-m <path to .link file>
-f <scoring script>
-r <runtime (spark-py|python)>
–n <webservice name>