增强人类智慧download.anruichina.com/arc/techsummit/AI202.pdf · 2017. 11. 30. ·...
44
Transcript of 增强人类智慧download.anruichina.com/arc/techsummit/AI202.pdf · 2017. 11. 30. ·...
增强人类智慧-
利用AI技术实现智能媒体分析AI202
Microsoft Tech Summit 2017
微软技术暨生态大会
梁健 Leon Liang 资深技术顾问微软大中华区创新技术合作事业部 - [email protected]
杨滔资深项目经理微软大中华区创新技术合作事业部 - CSE
28.2
25.8
16.4
11.7
7.3 6.75.1
3.5
ILSVRC 2010
NEC America
ILSVRC 2011
Xerox
ILSVRC 2012
AlexNet
ILSVRC 2013
Clarifi
ILSVRC 2014
VGG
ILSVRC 2014
GoogleNet
Human
Performance
ILSVRC 2015
ResNet
ImageNet Classification top-5 error (%)
8 layers
19 layers22 layers
152 layers
8 layers
Fish or
stone???
Media Analytic 在实际生产场景中的应用
Data Scientist
Data Scientist / Developer
Developer
Cognitive Services
Bot Framework
Cortana
Azure Machine Learning
HDInsight
Stream Analytics
Microsoft Cognitive Toolkit
Data Science VM (DSVM)
TensorFlow & Caffe
Media AI is the key to solving these challenges….
▪ 让内容更容易被找到▪ 提升内容的价值和吸引力▪ 个性化的观看体验▪ Uncover Hidden Content Insights
▪ 降低人工成本▪ 创造利润 / 提高收视率
▪ 定向的广告投放
▪ 预测模型和智能推荐
Yes
Similar image
Queryimage
图像分析基于所输入图像的视觉内容分析出图像的视觉特征
光学字符识别在图像中检测并识别文本
生成缩略图生成高品质和高存储效率的缩略图
计算机视觉 API
图片分析图片类型:
Clip Art Type 0 Non-clipart
Line Drawing Type 0 Non-Line Drawing
Black & White Image False
图片内容:
Adult Content False
Adult Score 0.18533889949321747
Faces [{ “age”: 27, “gender”: “Male”, “faceRectangle”: {“left”: 472, “top”: 258, “width”: 199, “height”: 199}}]
Tags [ { "name": "water", "confidence": 0.9996442794799805 },
{ "name": "sport", "confidence": 0.9504992365837097 },
{ "name": "swimming", "confidence": 0.9062818288803101, "hint": "sport" },
{ "name": "pool", "confidence": 0.8787588477134705 },
{ "name": "water sport", "confidence": 0.631849467754364, "hint": "sport" } ]
图片色值:
Dominant Color Background White
Dominant Color Foreground Grey
Dominant Colors White
Accent Color
光学字符识别LIFE IS LIKERIDING A BICYCLETO KEEP YOUR BALANCEYOU MUST KEEP MOVING
JSON:{"language": "en","orientation": "Up","regions": [{"boundingBox": "41,77,918,440","lines": [{"boundingBox": "41,77,723,89","words": [{"boundingBox": "41,102,225,64","text": "LIFE"},{"boundingBox": "356,89,94,62","text": "IS"},{"boundingBox": "539,77,225,64","text": "LIKE"}
. . .
已支持功能:• 扫描图片• 含有文本的图片• 纹理致密的位置信息
Demos实时视频标签
DemosIntelligent Kiosk
人脸检测检测图片中的人脸并识别丰富的属性，同时支持64张脸
人脸验证核对两张人脸是否属于同一个人
相似人脸搜索从多张人脸中找出与所查人脸相似的人脸
人脸识别 API
人脸分组根据识别的人脸进行分组 Max 64 组，每组10K person，248 训练图片/Person
人脸辨识查询某张人脸，与提供的数据中的何人相匹配
https://www.customvision.ai
Custom Vision
Service
Demos智能垃圾分类
视频 API
稳定处理使抖动的视频变得平滑和稳定
人脸检测和追踪检测并追踪视频中的人脸
运动检测检测视频中发生的运动变化
稳定处理提供自动处理，让抖动的视频变得平滑和稳定
使用了许多和微软Hyperlapse相同的技术
适用于:
小幅度的相机移动，无论是否有滚动快门效果（例如，手持静态相机，缓慢行走）
人脸检测及追踪高精度的人脸位置检测和追踪
能够检测出视频中64个人脸（不小于24x24像素 )
返回整个视频中被检测和追踪的人脸坐标和Face ID
Time (sec) Face ID x, y Width, Height
0 0 0.59, 0.23 0.09, 0.16
0 1 0.38, 0.15 0.07, 0.12
1 0 0.54, 0.25 0.09, 0.15
1 1 0.23, 0.18 0.07, 0.12
运动检测当检测视频中以静态背景为参照发生运动变化时发出指示（例如监控视频）
训练模型以减少错误警报，例如光线和阴影变化
当前限制：• 暂不支持夜间视频检测• 半透明和小型物体检测效果不佳
Start Time End Time In Region
1.9 3.6 0
5.2 15.1 0
用交互的特征来减少贴标签的工作
使用可视化来测量和提升性能
与语音识别服务的无缝集成
几个样例就足以搭建自己的应用，并自主学习
语言理解智能服务
Demos翻译服务
Microsoft Translator
Live & On Demand
Streaming
with Azure CDN
Content Protection
Encoding Cloud Upload & Storage
Azure Media Services is an extensible, multi-tenant platform that enables end-to-end video workflows in the Azure public cloud.
.
Azure Media Services (媒体服务)
Player
Clients
Video AI
Azure Media Scenarios
• Websites
• Mobile Apps
• Advertising
• Digital Marketing
• Global Software updates
• Firmware
• Software
• Gaming
Video On-Demand Portals
• Sports • Entertainment• Education• News
Live Broadcast & Events
• Sports Broadcasters• News Channels• Music Concerts• Awards Ceremonies• Town Halls / Conferences
Digital Marketing / Advertising• Retail• Finance / Banking• Brand Awareness• Sales Support
Corporate
• Training
• Product Marketing
• Employee Sharing
Education
• Remote Learning
• Lectures
Cloud based Video Streaming Enterprise / Collaborative CDN Use Cases
Microsoft Stream
DemosMedia Analytic and Video Indexer
Use cases:
1. Index only
2. Index and Translate
3. Search
4. Visualize Insights
5. Streaming
简单地使用REST APIs 就可使用
很少的代码量，即可在应用中增加智能场景
你可以使用你熟悉的开发语言，同时轻松跨越各种平台
灵活地通过不同的API使用不同的服务和技术，多种服务也可方便地混合使用
由来自微软Microsoft Research, Bing, 和Azure Machine Learning各领域里的专家精心打造
高质量的文档，示例代码，和社区的支持
Easy Flexible Tested
GET AKEY
Classified as Microsoft Confidential
Data Science VM ?
Comprehensive cloud based Data Science Environment to empower Data Scientists
End-to-End Data Science Workflow using Data Science Virtual Machines
资料Link 参考
Azure Media Service Explorer
https://github.com/Azure/Azure-Media-Services-Explorer
Azure Media Service
https://azuremedialabs.azurewebsites.net
Azure 认知服务技术文档Azure 认知服务为开发者提供了一组 API 和 SDK。通过认知服务技术文档结构化导航，快速开始你的学习之旅：
• 计算机视觉 API https://docs.azure.cn/zh-cn/cognitive-services/computer-vision/home
• 情感 API https://docs.azure.cn/zh-cn/cognitive-services/emotion/home
• 人脸 API https://docs.azure.cn/zh-cn/cognitive-services/face/overview
更多信息和资源
Azure 中国官网站: https://www.azure.cn 最新产品与解决方案信息
中国区 Azure 官方文档: https://docs.azure.cn 提供产品服务文档，开发人员指南，代码样例和 SDK 下载
Azure 在线培训: https://school.azure.cn 提供面向场景的项目搭建教程，Azure 专家大咖专栏，和网络直播课程
Microsoft 云科技公众号 (ID: MS_CEChina) - 最新行业资讯、产品介绍、案例分享
Azure 云技术支持公众号 (ID: VNET_AzureSupport) - 由世纪互联运营的 Microsoft Azure 公有云平台技术支持
Microsoft 云科技公众号 Azure 云技术支持公众号
中国区 Azure 官方文档 Azure 在线培训
微软人工智能公开课中文版
微软虚拟学院观看https://aka.ms/MicrosoftAIMOOC
扫码学习
