译文 第 10 卷  第 11 期  2014 年 11 月

86

机器学习大家迈克尔·乔丹 谈大数据等重大技术探索的迷思*

* 本文摘译自IEEE Spectrum,"Machine-Learning Maestro Michael Jordan on the Delusions of Big Data and Other Huge Engineering Efforts", 2014, 10一文。本译文是原文的第一部分。

1 以下S代指IEEE《科技纵览》(IEEE Spectrum)期刊，M代指迈克尔·乔丹。——译者注

作者：李·戈梅斯(Lee Gomes)译者：徐旻捷　朱　军关键词 ：深度学习　神经科学　计算模型

大数据浪潮与仿脑芯片只是我们产生严重误读的其中两例而已

迈克尔·乔丹 (Michael Jor-

dan) 谈1. 为什么我们谈论计算模型的时

候不该继续用脑作比方

2. 雾里看花的机器视觉

3. 为什么大数据可能只是一场空

欢喜

4. 有 10 亿美元他会干什么

5. 如何避谈“技术奇点”(singularity)6. 比起 P=NP 他更关心什么

7. 图灵测试的意义到底在哪里

1.为什么我们谈论计算模型的时候不该继续用脑作比方1

S ：从您的文章中可以看出，

您认为外界对于深度学习、大数

迈克尔·乔丹，美国加州大学伯克利分校陈丕宏杰出教授(Pehong Chen Distinguished Professor)，美国科学院、美国工程院、美国艺术与科学院的院士，ACM, IEEE, AAAS, AAAI, ASA, IMS等学会会士(Fellow)，机器学习领域国际著名学者

第 10 卷  第 11 期  2014 年 11 月

87

据、计算机视觉凡此种种存在着

诸多误读。

M ：嗯，所有学术问题都有

这样的误读。媒体总是尽力发掘

那些抓人眼球的话题，有时候有

些报道就言过其实了。就拿深度

学习来说，基本上就是把神经网

络重新包装了一下，而神经网络

20 世纪 80 年代就有了，甚至可

以再往前追溯到 60 年代，感觉

每二十年它就会卷土重来一次。

目前在这一拨热潮中，主要的成

功例子是卷积神经网络，可是这

个想法早在上一拨就出现过了。

那时候就有一个问题，并且遗憾

的是目前这个问题仍然存在 ：即

人们总是认为它（指人工神经网

络。——译者注）和神经科学有

着某种联系，并且认为深度学习

是人们对脑如何处理信息、学习、

决策乃至应对大规模数据的认

识。而事实显然不是这样。

S ：作为媒体从业人员，我

对您刚才的话有些异议，原因是

很多时候正是学术圈里的人非常

渴望地想让我们写一些关于他们

的故事。

M ：是的，这算是一种合作

关系吧。

S ：我一直以来都有这样的

印象，当计算机科学领域的人描

述脑是如何工作的时候，他们总

是采用一些极其简化的说法，而

神经科学家们也许永远都不会采

用这样的说法。您称之为脑的“卡

通模型”。

M ：我可不想简单地给人贴

上标签，说计算机科学家们都是

某种样子，神经科学家们又是另

外一种样子。但有一点是对的，

对于神经科学来说，理解一些深

刻的原理可能要耗费数十、甚至

数百年之久。神经科学的最底层

研究的确有一些进展，但是说到

更高级的认知行为——比如我们

如何感知、记忆或行动，我们还

毫无头绪，包括神经元如何存储

信息、如何进行计算、遵循什么

准则和算法、采用哪种表示等。

所以，我们还没有步入可以利用

我们对脑的认识来指导搭建智能

系统的时代。

S ：除了批评那些脑的“卡

通模型”，您其实还进一步批评

了那一整套所谓“神经现实主义

(neural realism)”的思潮——他

们认为一个硬件或者软件系统只

要拥有了某些脑的疑似特征就会

因此变得更加智能。您是如何看

待那些声称比如“我的系统是一

个类脑系统因为它是大规模并行

的”的计算机科学家？

M ：啊，这些只是打个比方

而已，某些时候还挺管用的。流

和流水线就是从各种电路里引申

出来的概念。我记得 20 世纪 80年代早期的时候，计算机科学还

基本都在关注顺序架构——也就

是冯·诺依曼的那种一段存储的

程序被顺序执行的模式。由此便

有了想要突破这种范式的需求，

所以人们寻求高度并行大脑的一

些比喻，那还是有用的。

可是研究内容转变之后，并

不是所谓的神经现实主义引导着

主要的进展。在深度学习中被证

实最为成功的算法是基于一种叫

做反向传播的技术 ：（假设）你

有若干层处理单元，并且从最后

一层获得了输出，然后你把一个

信号反向传播回去以调整所有的

参数。显然脑是不会这样做的，

这绝对是与“神经现实主义”偏

离的，但是它带来了显著的研究

进展。可是人们往往将那些个别

的成功例子与其他所有企图搭建

类脑系统而效果却又不及万一的

尝试混为一谈。

S ：对于神经现实主义的失

败，您还提到了（人工）神经网

络中并不存在哪怕一处比较符合

神经科学的地方。

M ：深度学习系统中并不存

在神经脉冲这样的东西，也没有

神经树突，倒是有双向信号这样

的脑中并不存在的东西。

我们不知道神经元是如何学

习的。它是只在负责学习的突触

的权重中有一个细微的改变吗？

人工神经网络就是这么做的，而

我们对于在脑中到底如何进行学

习的则知之甚少。

S ：我经常读到工程师们在

描述他们新的芯片设计时采用

了一种在我看来是不可思议的

乱用的说法。他们会说芯片上

的“神经元”或“神经突触”。

但那简直是不可能的——神经

元是一个活生生的细胞并且具

译文 第 10 卷  第 11 期  2014 年 11 月

88

作　者：

李·戈梅斯(Lee Gomes)：前《华尔

街日报》记者，报道硅谷超过20年。

朱　军

CCF会员、本刊编委，CCF青年科学家奖、优秀博士学位论文奖获得者。清华大学副教授。主要研究方向为大规模机器学习等。dcszj@mail.tsinghua.edu.cn

译　者：

徐旻捷

清华大学博士生。主 要 研 究 方 向 为非参数化贝叶斯方法、矩阵低秩分解。chokkyvista06@gmail.com

有非凡的复杂性。难道工程师

们不是擅用了生物学的语汇来

描述一些在复杂程度上不及生

物系统万一的结构吗？

M ：呵呵，我想我还是小心

为上。我认为有必要区分两个使

用“神经”这一词汇的不同场合。

一个是深度学习。在那里每

个“神经元”其实是一种简笔画

式的描述。它实际上是一个线性

的加权求和再通过一个非线性

（变换），电子工程领域内随便谁

都熟识这种非线性系统。把那称

作为神经元显然是一个简称，就

像简笔画一样。有一种在统计

学中被称之为逻辑回归的过程，

可以追溯到 20 世纪 50 年代，

它跟神经元毫无关系而又和上

述这种微小单元（指人工神经

网络中的“神经元”。——译者

注）别无二致。

另一个就与你刚才提到的相

关。如果我没理解错的话，他们

试图模拟实际的脑，或者至少是

一个实际的神经元回路的简化模

型。但我发现一个问题，那就是

这种研究没有与对这个系统在算

法层面上究竟可以实现什么功能

的认识相结合，也没有与一个接

收数据并且解决问题的学习系统

相结合，比如视觉系统。它其实

仅是一个架构，指望着哪一天人

们会找到一些让它能派上用场的

算法，可是又没有什么清晰的迹

象表明这种愿景指日可待。我觉

得它是基于这样一种信念，即如

果你造出了像脑一样的东西，有

朝一日它自会找到用武之地。

S ：如果可以，您会宣称禁

止将脑的生物学原理当成计算模

型来使用吗？

M ：我不会。你应该从任何

可能的地方汲取灵感。就像我刚

才提到的，早在 20 世纪 80 年代，

说一些“让我们跳出顺序的冯·诺

依曼架构，来多想想高度并行化

的系统吧”的话事实上是很有益

处的。但是就现在来讲，显然脑

所用的细致的处理方式对于（我

们设计）算法过程没有太大启示，

因此我认为用脑来刻画我们的所

作所为是不合适的。我们并不知

道脑是如何处理视觉信息的。■

CCF会刊负责人座谈会在郑州召开10 月 22 日，中国计算机学会 (CCF) 会刊负责人座谈会在郑州召开。CCF 学术工委主任、北京

大学教授金芝，学术工委副主任、北京理工大学教授黄华和国防科技大学教授肖侬，JCST、《计算

机科学与探索》、《计算机研究与发展》、《计算机辅助设计与图形学学报》、《计算机技术与发展》、《软

件学报》、《计算机科学》、《计算机工程与科学》、《计算机应用》、《计算机学报》、《计算机工程与设计》

和《小型微型计算机系统》等 12 个 CCF 会刊的负责人，以及 20 余名 CCF 学术工委委员参加了本次

会议。

黄华主持座谈会并介绍了今年会刊评估工作的整体情况，会刊负责人对评估工作提出了意见和

建议。在交流阶段，会刊负责人和与会委员就如何提高中文期刊引用率和办刊时遇到的各种问题展

开了深入讨论。