王小捷

智能科学与技术中智能科学与技术中心

北京邮电大学北京邮电大学

背景背景

问题问题

关注点关注点

应用背景---网络

网络数据的多模态化产生的跨模态信息检索需求例如 以文检图◦例如：以文检图

◦需要在语言与图像之间建立关联需要在语言与图像之间建立关联

应用背景---机器人

真实情景中的服务机器人需要同时处理视觉 听觉 语言 行为等信息理视觉、听觉、语言、行为等信息◦机器人要完整理解“你好，我是Tom”“把要完 解 ，我是桌上的红铅笔给我吧”之类的语句需要感知行为信息的参与。行为信息的参与。

共性科学问题：◦如何建立基于感知信息的语言意义？

也即Lang age Gro nding问题也即Language Grounding问题

“红铅笔”的释义是该对象各种感知信息的综合

◦Grounded Language可能为上述问题提供一种解决途径

人类存在解决这一问题的途径人类存在解决这一问题的途径◦一些基础的语言意义根植于感知体验

红色 铅笔 (视觉)红色、铅笔 (视觉)打、跑 (运动)粗糙 柔软 (触觉)粗糙、柔软 (触觉)香、臭 (嗅觉)静 嘈杂 (听觉)静、嘈杂 (听觉)

◦连续感知运动输入 模式 词(命名)◦人类的NLP不是NL自足的 只有具备这◦人类的NLP不是NL自足的，只有具备这些基础才能进行更多的NLP

计算机器能否做到？如何能？计算机器能否做到？如何能？◦面向整个AI的大问题

基于Agent的AI定义

此刻关注点：此刻关注点：◦该问题的研究能给NLP带来什么？

◦该问题的研究里NLP能做什么？

传统语言意义基于符号进行解释离散符号之间的互释 例如 词典释词◦离散符号之间的互释。例如：词典释词

一般NLP也不关注Grounding问题在 中进行◦在NL中进行NLP◦这种方式不能满足上述应用需求这种方式不能满足 述应用需求

Language Grounding相关研究

ViTra系统 (Herzog 1994 )ViTra系统 (Herzog 1994 )

Language Grounding相关研究

ViTra系统 (Herzog 1994 )ViTra系统 (Herzog 1994 )Cell (D.Roy 2000 )

Language Grounding相关研究

ViTra系统 (Herzog 1994 )ViTra系统 (Herzog 1994 )Cell (D.Roy 2000 )Leonard系统 (Siskind 2000 )

更多相关研究更多相关研究：◦D. Roy, E. Reiter. Connecting Language to y, g g g

the World. Artificial Intelligence. 167:1–12, 20052005.

R M G d d L L i◦ Ray Mooney. Grounded Language Learning. AAAI2013 Keynote Speech.

该问题的研究能给NLP带来什么启发？◦NLP beyond NL

利用其它模态的信息来为NLP服务利用其它模态的信息来为NLP服务

一些研究示例d 利用图片进行◦Barnard2005利用图片进行WSD

◦ Chen2010基于情景信息进行多语言学习基于情景信息进行多语言学习

◦ Bruni2012利用图像+文本来构建词意义表示◦◦…

要用视觉信息需要什么基础要用视觉信息需要什么基础◦ Bruni. Visual Features for Linguists: Basic

image analysis techniques for multimodally-curious NLPers. ACL2013 tutorial

该问题的研究里NLP能做什么？？◦？

做图像处理\机器人\机器学习的人干了什么？什么？◦ ImageNet 用WordNet标注\属性学习来克服语义鸿沟语义鸿沟

◦ Embodied机器人语言

◦文-图多模态深度学习

◦◦…

该问题的研究里NLP能做什么？该问题的研究里NLP能做什么？◦扩展NLP的边界，加入感知信息，完成更复杂的任务 (网络跨模态检索)◦深挖NL的基础：Perception oriented◦深挖NL的基础：Perception oriented NLP (机器人语言习得)

NLP b d NLNLP beyond NL◦NLP是自足的吗？NLP是自足的吗？

否，如同√5不能在整数域得到精确解，NLP任务不能在NL内得到彻底解决NLP任务不能在NL内得到彻底解决，因此，NLP需要超越NL。，

谢谢！谢谢！敬请指正！敬请指正！