深度学习在2017年的十大发展趋势及预测

摘要：毫无疑问，深度学习将驱动在公司中的应用。在其价值评估和策略评估上使用的就是深度学习。端到端的深度学习是一个令人着迷的研究领域，但是迄今为止混合系统在应用领域会更有效率。目前专注于深度学习模式，方法和战略的研究。

在之前的博客中，我曾预言过未来几年的发展趋势。我记得上一篇博客的内容是《2011年软件开发趋势和相关预言》（Software DevelopmentTrends and Predictions for 2011，http://www.manageability.org/blog/stuff/software-development-trends-2011/view），是很久之前的事情了。现在想来，在那篇博客的十条预言中，有六条是准确的（即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala），但另外四条则并没有完全实现（即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents）。AppStores 和 OAuth 采用的是 Saas  模型，虽然未在大公司一展身手，却在小公司发挥了很大的作用。我会总结先前预言失败的教训，之前没有料到企业革新的速度竟如此缓慢！Semantic Indexing 和 Proactive Agents是其中最主要的两个预测，但是很不幸没能如我最开始设计的那样发展。可能是我当时高估了人工智能技术，当时深度学习还没有被创造出来。

现在，我对于深度学习的预言不会像之前那样，停留在概念水平上。同时，我也不会再预测公司是否会采用我的说法，而是把关注的焦点集中在研究趋势和预言上。毫无疑问，深度学习将驱动 AI 在公司中的应用。虽然形式还不够明朗，但对于 AI 来说，深度学习确实是其最主要的驱动力和方法。但目前我们尚不清楚，2017年中将会出现的哪些新的技术，推动人工智能获得指数式的发展。

所以，对于2017年，让我大胆的预测一下！

1. 硬件将双倍加速摩尔定律（i.e.2xin 2017）

如果你追踪过 Nvidia 和 Intel 的开发进程的话，这一趋势可谓显而易见。凭借着更为丰富多样的深度学习生态系统，2017将是由 Nvidia 主导的一年。在其他平台有足够的生态系统来开发DL之前，我想没有哪个人会选择离开 Nvidia。未来，Intel 的 Xeon Phi 将是所有解决方案中更为较精确的方案，在2017年基于  Nervana 的芯片被推出之时，其性能上将会赶上 Nvidia。

从经济学的角度考虑，云提供商会采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要变量。在2017年，Intel 基于 Neravana 的芯片的计算速度将会达到每秒种30万亿次。这虽然是我估计的数字，但目前 Nvidia 的计算速度已经能够达到每秒20万亿次了，我打赌 Intel 在2018年一定会有对整个市场造成重大的影响的技术创新。由于 Intel 拥有 3D XPoint 技术，将来很可能会成为行业的佼佼者。考虑到使用 HBM2 的 GPU 在其顶部堆栈的性能因素，3DXPoint 技术可能会提高整个硬件栈，但不一定会加速核心能力。

目前，Amazon 已经发布了其基于 FPGA 的云实例（http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/），根据的是 Xilinx UltraScal+e 技术，并在单实例上提供了6800个 DSP 薄片和64G内存。尽管提供的并不是 UltraScale+ 的 HBM  版本，I/O 受到限制，其运行能力仍然令人印象深刻。与 Nvidia 相比，在较低内存宽带的解决方案上，Intel（甚至包括 AMD）可能会暂停开发人员的开发工作，讨论是否投资给一项更复杂的开发流程（i.e.VHDL,Verilogetc）。

在披露的消息中，AMD 公开了其的 AMD 深度学习加速器直觉线，对  Nvidia 的硬件来说极具竞争性。AMD 计划在2017年年初发布该文档。这或许是要给 AMD 的 ROCm 软件开发预留足够的时间，确保其成熟可用。

2. 卷积神经网络（CNN）将占主导地位

CNN 将会成为 DL 系统广泛使用的基本模型。RNN 和 LSTM 与其循环识别和嵌入式记忆结点的使用将越来越少，与基于 CNN 的解决方案相比，不再具有竞争力。就像 GOTO 会从编程界消失一样，我预期 RNN 和 LSTM 也会有同样的宿命。事实上，并行架构的性能是胜过顺序架构的。

可微记忆网络将会更加通用。自然而然地，内存将会从核心节点中提取出来，作为计算机制中多带带的组件。我们需要记住的是，LSTM 的输入和输出门将会被辅助可微记忆取代。先前我们已经看到过关于重构 LSTM 解耦内存的讨论（参见扩充内存 RNN）。

3. 设计者会更依赖 Meta-learning

在我刚开启深度学习之旅时，我曾想过优化算法，尤其是那些二阶会导致大规模改进的算法。现在，显而易见，DL 就能为你学习优化算法。对于那些考虑获取更优版本 SGD 的人来说，这是一个终结。SGD 的更优版本即为机器学习，是当下十分具有针对性的问题。与此同时，Meta-Learning 能够基于它的域自适应优化学习。更具相关性的一个问题是，未来是否会出现反向传播算法的替代性算法。2017年年末，人类手工调整 SGD 算法的目标很有可能成为现实。

4. 强化学习仅会变得更具创造性

对现实的观察永远不尽完美，SGD 在很多问题上也不适用。这就使得，DL 系统的的所有实际应用都必须伴有 RL（强化学习）。除此之外，DL 的训练过程也离不开 RL。其中，Meta-Learning 就是在很大程度上受到 RL 影响的一个例子。事实上，RL 会被用来寻找各种各样的神经网络架构，与在类胆固醇上做超参数优化的过程类似。如果你恰巧忙于 Gaussian Process 事宜，可能要没时间吃饭了吧。

5. 对抗与合作学习将称王

过去，我们有单纯分析目标函数的整体 DL 系统。未来，我们期待看到系统由两个或两个以上的网络相互合作或竞争，从而获得最优的解决方案，这个解决方案很可能不是以解析的形式出现。此处可参见《游戏理论揭示未来深度学习》（Game Theory reveals the future of Deep Learning，http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a）这篇文章。2017年将会涌现出大量的研究，用于尝试管理非平衡环境。我们现在已经看到，研究人员正在努力使用 GANs 去找到可以处理非平衡状态的方法。

6. 预测学习或者无监督学习的进展不会太多

当谈及当下常见的术语“无监督学习”时，Yann LeCun 认为“预测学习”将是新的流行语。现在，我们还不能确定预测学习的应用范围会不会进一步扩大。其中的问题是，预测学习是否能在2017年取得较大的突破。我现在的感觉是这件事情并不简单，因为还不太清除其运行的机制，在概念上依然存在着很大的脱节。

如果你阅读过我之前写的 5 Capabilities of Deep Learning Intelligence 一文（http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be），你就会明白，预测学习是一种完全未知的能力，依然处于非常陌生的状态。预测学习就像是宇宙学家所说的暗物质：我们知道它就在那个地方，但就是不知道怎样才能看到它。我预感，它可能与高的熵或者其他的随机性有关。

7. 从学习到工业化的转化

吴恩达认为这是很重要的，我也这么认为！

8. 深度学习将会成为更多应用的组成部分

在2016年我们就已经看到，深度学习在比以往更大型的搜索算法中用作函数评估。AlphaGo 在其价值评估和策略评估上使用的就是深度学习。而 Google 的  Gmail 自动答复系统也使用了将 DL 与定向搜索想结合的方法。我期待能看到更多的混合算法，而不是新的端到端的训练过的 DL 系统。端到端的深度学习是一个令人着迷的研究领域，但是迄今为止混合系统在应用领域会更有效率。

9. 采用设计模式的频率会越来越高

深度学习是需要概念框架的众多复杂领域中的一个。尽管涵盖了很多高级的数学公式，但依然存在很多的文字描述和模糊的概念，可以从其他复杂领域中经证实十分有效的方法中获得（如软件开发领域），一般不通过正式而又十分严谨的途径获得。就 Deep Learning and Design Patterns 这篇文章而言（http://www.deeplearningpatterns.com/），我预言广大人工智能从业者一定可以获得设计模型。深度学习框架会变得越来越模块化而不是越来越整体化，这也将会进一步促进上述预言的实现过程。

10. 工程化速度将超过理论出现的速度

研究人员的背景和其使用的数学工具，会使他们在研究过程中会产生一些偏见。深度学习系统和无监督学习系统似乎是我们之前从未遇到过的新事物。因此，没有证据表明传统分析工具会对解开 DL 的实际运作机制提供任何帮助。几十年来，物理学上仍有大量动态系统让我感到困惑，这与动态学习系统的情形相似。

尽管我们缺乏对基本原理的理解，但这种情况不会阻止工程化背景下更为先进的应用程序。深度学习更像是生物学或遗传工程，我们能够创造出仿真学习机器，但是并不能较精确地知道其工作的方式。然而，这并不能组织我们创新的脚步。

本文作者 Carlos E. Perez 拥有20年软件开发经验，自2000年以来，他主要担任软件开发中的技术架构师。他是家长控制融合移动电话产品的首席架构师和总监，并且还是一家风险资本资助的初创公司的首席架构师，为 B2B 交易所开发优化解决方案。目前专注于深度学习模式，方法和战略的研究。

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识

QQ群：81035754