会话服务与物联网

武帅 | Jacky Wu

微软中国资深技术顾问

让想象成为现实

《 星 际 穿 越 》— T a r s

《 钢 铁 侠 》— 管 家 J a r v i s

《 超 能 陆 战 队 》— 大 白

《 超 体 》— L u c y

《 星 球 大 战 》— B B 8

让机器人具有某种人类化感情 知识和信息的随时获得与读取 真实而温暖的感情陪伴 预测可能的发生 无所不知的人工智能助理

优质体验 开放可扩展 数据驱动 持续创新

提高用户体验

下一个时代已经到来：对话即平台Conversation As Platform (CaaP)

小冰 小娜

IQ

感性化 理性化

EQ

微软“人工智能姐妹花”

Windows

iOS

Android

智能提醒

完成任务

信赖有加

多维拓展

人工智能个人助理-小娜

文字

图像

声音

6000万用户

200亿次对话

34CPS

4.38语音自然度

人工智能聊天机器人-小冰

• 执行一个或多个自动化任务

• 使用对话作为面向内部 (员工) 和面向外部 (客户) 方案的接口

• 对话服务是基于人工智能解决方案的应用程序

什么是对话服务

简单的客户机器人未经身份验证的服务

先进的机器人经过身份验证的服务

内部机器人实验和学习

一般查询处理传统上隐藏在常见问题解答中的基本

客户查询。

综合查询对于 bot 无法完成的任务，结合人类代理

完成。

预约服务通过聊天处理简单的 “匿名” 任务 (例如预

约)

账户查询处理需要客户身份的查询

(即账户余额查询)

付款方式执行要求用户进行身份验证和授权的操作,

例如向预定义的收款人付款。

内部知识以现有的常见问题解答为例, 授权员工通

过 bot 提供自助知识。

Help Desk报告 IT问题并检查状态。 如果需要, bot

可以为工程师提供自助和升级。

零售机器人协助零售业务。

智能文档代理根据用户的需要搜索相关文档。

会话服务场景

Core aspects of the Internet of Things

数据

分析

物体

连接

会话服务在物联网的应用场景

Alexa + Cortana

客户服务

Bot Controls

LUIS

Query over database via

Azure Search

Form

FillingQnA

C#

Customer’s

Business Logic

& DataBot Connector

Direct Line

目标

• 从简入手

• 根据上下文适应用户

• 可组合的智能控制, 以管理上下文复杂性

什么

• 用于构建 Restful服务工具

• 功能丰富

• 接收事件的机制

• 能够调试和分析

为什么

• 实现标准协议

• 用工具模拟对话

• 用多种UI模拟对话

• 提供常见且易于理解的模式

Bot Framework SDK V3

Bot Framework SDK V4 架构图

使用Bot Framework SDK V4

简化

• 简化的框架结构，易上手

统一

• 在多种编程语言下保持统一编程模型

• 命名一致

模块化

• 模块化，易插拔

• 良好的扩展性

覆盖面

• C#

• Java

• Node

• Python

Author Dialogs

Design Cards

Visualize

Bot Builder SDK

Getting Started

Templates

Emulator

Application Insights

Emulator

DevOps Tools

Azure

BYO Web Host

Application

InsightsWebChat

Cortana

Skype

Facebook

…

会话服务开发周期

基于Bot Framework的开发流程

Your Channel

Bot

Dev

Facebook

Channel

Skype Channel

Cortana

Channel

Azure Management Portal

Cortana Client

Facebook

messenger

Skype

Consumable for testing,

hosting in custom client

Direct Line

Websockets API

REST API

Bot Emulator

Create bot with Bot Services

Create bot with Bot Builder SDK

1.下载bot代码到本地添加

业务逻辑

2.重新发布到Azure的

Hosting 服务上

3.配置bot消息渠道

Bot

1. 添加Bot的

逻辑代码

2.创建Web app 服务，

把Bot发布到web上;

3.配置Authentication

参数

4.创建bot 注册服务，

注册Bot信息

5.配置bot消息渠道

Bot的测试

https://github.com/Azure/ibex-dashboard

Analytics dashboard

for Microsoft Bot Framework

Bot监控与分析

Bot web service

Your bot code

Entity

ExtractionSpeech

Vision/FaceNatural

LanguageTranslation

+ Microsoft Cognitive Services

Search

Emotion

Knowledge

API

…

Message input <> output

State Management

Bot Connector Service

Conversation Canvas/Channels

………

Other services, APIs,

Databases, Azure Machine

Learning, Azure Search,

etc…

Bot Builder SDK

Web Chat

Direct Line…

Email

Facebook

GroupMe

Kik

Skype

Slack

Telegram

Twilio (SMS)

Bot Builder SDK

Your bot code goes here

Bot 开发框架 + 认知服务

从人脸，物体到感情, 让应用程序了解图像和视频

Computer Vision | Video Indexer | Custom Vision |

Face | Content Moderator

视觉

语音

过滤噪音、实现语音转换

Unified Speech service | Speech to Text | Text to Speech | Speech Translation | Speaker Recognition

语言

处理文本并识别用户意图

Text Analytics | Bing Spell Check | Language Understanding |Translator Text

知识

映射复杂的信息和数据, 解决特定的任务

QnA Maker | Custom Decision

搜索

借助必应, 提供搜索数十亿网页、图像、视频和新闻的结果

Bing Web Search | Bing Custom Search | Bing Video Search |

Bing Image Search | Bing Visual Search | Bing Entity Search |

Bing News Search | Bing Autosuggest | Bing Statistics add-in

Application InsightsTelemetry collects bot

effectiveness dataCreate/Update

Knowledge

AzureSearch

Spell CheckLUIS

Case Workers

Case Management/Admin

Live Agents

QnAMaker

Text AnalyticsTranslationSentiment

Other CS

Knowledge Sources (ex)API/Data Integration

Web Services

Customer

Custom App

Dashboard

Auth

智能客服解决方案

语言理解服务

(LUIS)在HTTP端点上部署并激活应用设备

轻松维护模型

创建个人语言理解模型

通过实例训练

LUIS的优势

专业:充分利用微软研究院专业技术

LUIS充分利用微软研究院最前沿的人工智能技术。

为您的APP建立模型去更好的理解用户意图，如“开灯”；或者实例如“开始慢跑、散步、远足、骑行”。以深入的性能可视化来调整你自己的模型

简单:使用简单UX编辑器创建语言理解模型

灵活:可以在任何设备上激活模型

无论是您的手机，平板电脑或是其他任何可接入互联网的设备，语言理解模型都可以在其APP上激活。

快捷: 只用几秒钟即可在你的APP上添加会话智能

LUIS拥有强大的会话引擎，使您只需短短几步，即可在任何会话中维护上下文关系，并编辑和执行。

LUIS核心功能

LUIS提供了一组易用的工具可以完整提取出复杂的技术，让您仅用简单几步就可启动

运行。

这一突破性的功能使LUIS可以根据发送给它的话语进行自检并修正以提高精准度。

LUIS可以实施由各类渠道引发的行为。(例如HTTP, 新闻,

股票等）

如果用户提出了缺失必要参数的查询，LUIS会根据情况

发起相关补充提问。

主动学习轻松创建语言理解模型 行为实施 会话支持

在LUIS中创建意图和实体

知识库服务

(QnA Maker)在HTTP端点上部署并激活应用设备

轻松维护模型

创建知识库模型

通过实例训练

提取问题和解答QnA Maker 从用户提供的内容（包括常见问题解答 URL、文档和编辑内容）中提取所有可能存在的问答对

测试，训练和发布通过 QnA Maker 提供的易用 GUI，可以在测试和训练知识库并将其作为 API 终结点发布前，编辑、删除或添加问答对

与其他 API 和解决方案集成可以大规模地与其他 API 无缝集成。将 QnA Maker 与语言理解智能服务等认知服务搭配使用，可以创建像回答常见问题的聊天机器人这样简单的内容，也可以创建像交互式虚拟指南这样复杂的内容

基于问题为知识库服务

在知识库中添加源数据

智能你的设备

• 自然语言命令• 听话的打印机

• 随时在线的语音助手• ‘活的’说明书

• 基于Azure IoT Hub + SA + Azure SQL + Power BI，实现自贩机状态监控• 基于Bot Framework 集成甘来自贩机微信管理平台实现甘来自贩机状态（健康状况&补货信息）AI管理

• 基于微软认知服务的表情大咖秀，实现更加有趣的商品促销体验

© Microsoft Corporation

相关资料

Bot Builder V4

Get started today: aka.ms/BotBuilderOverview

• Local: aka.ms/BotBuilderLocalDev

• AZ CLI: aka.ms/BotBuilderAZCLI

• Give us feedback, report issues: aka.ms/BotBuilderIssues

Language understanding

Get started today: aka.ms/LUIS

Bot partners

Join AI Partner Inner Circle Program: http://aipartner.microsoft.com

AI labs

Conversation Learner: aka.ms/TBD

Personality Chat: aka.ms/TBD

Azure Bot Service

Get started today: aka.ms/botservice

Ask anything on Stack Overflow: aka.ms/botframeworkSOF

Report issues and feature asks: aka.ms/ABSUserVoice

Cognitive Services

Get started today: aka.ms/AIServices

© 2018 Microsoft Corporation. All rights reserved.

Thank you