Build 2017 更新情報 Cognitive Services 編

Build 2017 更新情報

Cognitive Services 編

Build 2017 と de:code 2017 の更新情報

ABOUT ME

@BEACH_SIDE

横浜篤よこはまあつし

http://beachside.hatenablog.com/

株式会社アイティーブレーン

Edge Technology and Projects 部

部長

Using…

C#, ASP.NET, Azure, Machine Learning, Xamarin ….

開発者募集しています♪

C#er ♪

Cogbot

コミュニティ

BEACHSIDE BLOG

2017年6月16日時点の情報となります。

本セッションでお伝えしたいこと

•Cognitive Services の最新情報を共有

•お試し利用したいというモチベーション

アジェンダ

Cognitive Servicesとは？をおさらい

1. Cognitive Services の概要

最新情報その1

2. Custom Vision Service

最新情報その2

3. Video Indexer

最新情報その3

4. その他の更新情報

super super Easy !

Flexible !

Tested !

2017-05 最新情報の前に..

Cognitive Services の概要

Microsoft

Cognitive

Services

Give your apps a human side

• 人工知能アルゴリズムのコレクション

• Easy

– REST API が公開されているので、利用が容易

– SDKもあり数行のコーディングから利用可能

• Flexible

– あらゆるプログラミング言語、プラットフォームから呼び出せる

• Tested

– Microsoft Research や Bing や Azure Machine Learning の

エキスパートによって構築

– ドキュメントやサンプルコードも豊富に用意

microsoft.com/cognitive

Visual Intelligence Made Easy

2017-05 最新情報 – その１

Custom Vision Service

Custom Vision Service - 概要

• 独自に画像の分類器を ”Super Easy” に構築するためのサービス• 画像のアップロード、タグ付け→トレーニング→評価を繰り返して分類器を構築する

• 分類するタグ1つにつき、30枚程度あればプロトタイプの作成が可能

• ポータルサイト（https://customvision.ai/）から作業可能

• REST APIを使って、プログラミングで各種作業が可能

公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

https://customvision.ai/

DemoCustom Vision Service

• プロジェクトの作成

• 画像アップロード、トレーニング

• 分類器の評価

Custom Vision Service - 解説 1

• 分類器を作成する際にドメインを選択することで、最適なトレーニング• 選択できるドメインは、Generic（汎用）、Food（フード）、Landmarks（ランドマーク）、Retail（リテー

ル）、Adult（アダルト）

• 分類器の品質の指標として、以下の2つ• k-fold cross validation (K-分割交差検証) を利用

• Precision（精度）

• 画像を分類したとき、どれくらい正しく分類されたか。例として、犬の猫を分類する分類器をトレーニングするために使用されたすべ

ての画像のうち、何パーセントが正しいか。100枚の画像のうち99枚を正しいタグ付けした場合、精度は99％になる。

• Recall（リコール）

• 正しく分類されるはずのすべての画像のうち、正しく識別した画像の数。リコールが100％というのは、分類器をトレーニングするため

に使用された画像のうち犬の画像が38枚で、分類器で犬の画像が38枚を検出した場合。



• トレーニングするごとに分類器のイテレーションが作成される• トレーニングした結果、評価が思った通りに行かなければ、以前の状態に戻せる

• 誤って評価した画像の一部が赤い枠付きで表示• 誤って評価した画像で特定の閾値を超えた画像が赤枠付きで表示されるため、それをもとに品質を向上す

るために必要な画像の傾向がわかる（かもしれない）



• 「オブジェクトの検出」ではなく「画像分類」をするもの• 「オブジェクトが画像内のどこにあるか」ではなく、「画像が特定のオブジェクトであるかどうか」を識別する

• 必ずしも想定している分類をするとは限らない• 猫と犬を分類したいときに、白い猫と黒い犬の画像しかアップロードしないと、白いものか黒いもので識別する

かも？

• タグ付けした分類しかしない• 犬と猫を分類したいとき、犬と猫の画像でトレーニングを行うと、結果は2択（犬 or 猫）になる。ウサギの画

像を「その他」にしたい場合は、そのトレーニングが必要（つまりトレーニング用の画像も必要）。


DemoCustom Vision Service

• テストした画像を使って再トレーニング

• 新たな画像を追加して再トレーニング

• 分類器の評価

Visual Intelligence Made Easy

2017-05 最新情報 – その2

Video Indexer

Video Indexer - 概要

• 動画をアップロードすることで、さまざまなInsightsが得れるサービス

• PC内の動画ファイル、もしくは動画のURLからアップロードできる

• ポータルサイト（https://vi.microsoft.com/）から作業可能

• REST API を使って、プログラミングで各種作業が可能

公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/video-indexer/video-indexer-overview

DemoVideo Indexer

• 動画のアップロード～分析結果の確認


Video Indexer - 解説 1

• Insights を得る ! とは…• 音声をテキスト化し、8言語に翻訳、字幕を付けることが可能

• 話している音声とバックグラウンドのノイズを分離

• 会話（のテキスト）からセンチメント（ノーマル/ネガティブ/ポジティブ）を識別

• 動画内のテキスト（スライドとか）をOCRによってテキスト化

• 顔の識別

• 音声の識別（誰が話しているかを判別）

• キーフレームの検出

• キーワードの検出

• 事前に用意されている2000のオブジェクトをもとに注釈をつけてくれる

など。

Video Indexer - 解説 2

• 動画は、「Player」と「Cognitive Insights」というWidget で外部サイ

トに張り付けることが可能• 自身のブログにて：「Azure の Video Indexer が凄いので試してみました♪」

http://beachside.hatenablog.com/entry/2017/05/16/190000

• Insightsを検索してヒットしたところを再生することができる

• 音声から生成されたテキストは、編集することが可能


DemoVideo Indexer

• 動画を外部サイトで公開

Bing Custom Search

Custom Decision Service

Cognitive Services Labs

2017-05 最新情報 – その3

その他…

Bing Custom Search - 概要

• Web検索のカスタマイズサービス• 検索対象として特定のドメインを追加、ブロック、Pinned（特定のクエリに対して常に最上位にランクする）

• 特定の検索結果をブースト（ランキングを上位にする）、Demote（ランキングを降格させる）、Pin to Top

（常に最上位にする）、ブロックする

• ポータルサイト（https://customsearch.ai/）から作業可能

• REST API で結果を取得

公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/bing-custom-search/overview

https://customsearch.ai/

Custom Decision Service - 概要

• 強化学習を使い、レコメンドのエンジンを構築• ユーザーのレスポンスを動的に学習し、より好まれるコンテンツを表示する

• REST API でアクセス可能

公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-decision-service/custom-decision-service-overview

Cognitive Services Lab - 概要

• 開発中のCognitive Services を公開• 6つのプロジェクトを公開中

• Microsoft アカウント（またはGitHub, LinkedInのアカウント）で Sign up して利用

公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-decision-service/custom-decision-service-overview

DemoCognitive Services Labs

• Project Prague の動画紹介（ https://www.youtube.com/watch?v=Jwk4iwpeVRU ）

https://www.youtube.com/watch?v=Jwk4iwpeVRU

その他

• Bing APIs の次期バージョンv5 → v7へ。機能やパフォーマンスの改善。

• Presentation Translatorde:code 2017 のKeynote(40:30あたり)でPowerPointでプレゼンしているのを

リアルタイムに翻訳するデモ。

https://channel9.msdn.com/Events/de-code/2017/keynote-jp

• LUISの機能改善

https://channel9.msdn.com/Events/de-code/2017/keynote-jp

super super Easy !

Flexible !

Tested !

おわりに

関連リソース

Preview Pricing• https://www.microsoft.com/cognitive-services/en-us/pricing

Documentation• https://blogs.msdn.microsoft.com/bluesky/2017/05/11/build-

2017-cognitive-services-update-ja/

• https://channel9.msdn.com/Events/Build/2017

• microsoft.com/cognitive

Join Community• https://www.facebook.com/groups/cogbot/

• https://stackoverflow.com/questions/tagged/microsoft-cognitive

• https://social.msdn.microsoft.com/forums/azure/en-US/home?forum=mlapi

• https://cognitive.uservoice.com/

https://www.microsoft.com/cognitive-services/en-us/pricing

https://blogs.msdn.microsoft.com/bluesky/2017/05/11/build-2017-cognitive-services-update-ja/

https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

https://microsoft.com/cognitive

https://www.facebook.com/groups/cogbot/

https://stackoverflow.com/questions/tagged/microsoft-cognitive

https://social.msdn.microsoft.com/forums/azure/en-US/home?forum=mlapi

https://cognitive.uservoice.com/

Thank you.2017-6-16

Cogbot #6

Give your solutions a human side.

Build 2017 更新情報 Cognitive Services 編

Technology

Transcript of Build 2017 更新情報 Cognitive Services 編