摘要：深度学习框架作为热身，我们先看一下深度学习框架。在年有急剧的增长，但在过去几个月被超越。
你是否使用过 Google Trends？相当的酷，你在里面输入关键词，看一下谷歌搜索中这一词条如何随时间变化的。我想，过去 5 年中 arxiv-sanity 数据库中刚好有 28303 篇机器学习论文，为什么不做一些类似的工作，看一下过去 5 年机器学习研究有何进化？结果相当的有趣，所以我把它贴了出来。
arXiv 奇点
首先，让我们看一下在 arxiv-sanity 类别下（cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML）所递交论文的总数。随时间变化，得出以下结果：
是的，2017 年 3 月，该领域有几乎 2000 篇论文被提交。这一峰值可能是由于大会截止日期（例如 NIPS/ICML)。注意，这不是关于该领域自身体量的一个直接说明，因为不是每个人都会把论文提交到 arXiv 上，而且研究人员做研究的分类也会随时间变化。但有一点可以说明，人工智能领域正有大量论文被发现、浏览、阅读。
把论文的总量做为分母，我们现在看一下有多少比例的论文包含确切的关键词。
深度学习框架
作为热身，我们先看一下深度学习框架。为了计算这个关键词，我们记录了在全部文本中的某处提到框架名的论文以及其比例（任何地方，包括 bibiliography 等）。在 2017 年三月份提交的论文中，我们得出了下面的结果：
也就是说，2017 年 3 月提交的论文中 10% 提到了 TensorFlow。当然，不是每篇论文都宣布使用了该框架，如果我们假设那些提到框架的论文都有一定概率使用该框架，那看起来社区中有 40% 的人在使用 TensorFlow（或者更多，如果你把带有 TF 后端的 Keras 也算在内）。下面是更多框架随时间变化的图绘：
我们能看到 Theano 已经出现很长时间了，但其增长趋于停滞。Caffe 在 2014 年有急剧的增长，但在过去几个月被 TensorFlow 超越。Torch（以及最近的 PyTorch）也在攀爬阶段，缓慢却稳定。接下来几个月的发展值得注意，我个人的猜测是 Caffe／Theano 将继续缓慢的衰退，TensorFlow 也会因为 PyTorch 出现，增长速度变的更慢。
ConvNet 模型
接下来看一下常见的 ConvNet 模型。下图中，我们能清楚的看到 ResNet 的涨幅，直到三月份所有论文的 9% 提到了它。
还有，在 InceptionNet 之前谁在讨论「inception」？对此也很好奇。
优化算法
在优化算法方面，看起来 Adam 正在流行，所有论文中 23% 提到了 Adam。实际使用的比例难以估计，但可能要比 23% 高，因为一些论文没有公布用到的优化算法，而且一批论文可能没优化任何神经网络。然后它可能还低了 5%，也就是 Adam「隐藏」在背后，可能与作者的名字冲突，因为 Adam 优化算法到了 2014 年 12 月才发布。
研究人员
我们对深度学习中一些重要人物出现的比例也很好奇，所以进行了绘图。这有点类似于引用量，但它要比论文非零即一的统计更为稳健，而且对所有的论文进行了标准化。
可以注意的：所有提交的论文中 35% 提到了「bengio」，但研究人员中有两个 Bengio：Samy 和 Yoshua，在此图中是合并统计的。特别提到的一点，在所有新论文中有超过 30% 提到了 Geoff Hinton，看起来非常的多。
热词或非关键词
最后，除了手动查阅的关键词类别，让我们看一下一些热词或不热的关键词。
较高级热词
有很多方式可对此进行定义，但该实验中我观察了所有论文中的单字母组合或双子母词组，并记录了相比于去年较大使用量的比例。超越此标准的论文就是一年前还是有潜力的，但在今年就有相当高关联频率的论文。列表如下：
例如，ResNet 的比例是 8.17。因为一年前它在所有提交论文中出现的比率是 1.044%（2016 年 3 月），但今年 3 月它出现的比例是 8.53，所以 8.53 除以 1.044 约等于 8.17。所以得出的结果是，过去一年所有的核心创新领域是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm，在研究中多使用下这些模型。在研究兴趣方面，我们看到 1) 风格迁移，2) 深度强化学习，3) 神经机器翻译，以及 4) 图像生成。在架构上，热于使用 1) 全卷机网络 (FCN)，2) LSTMs/GRUs，3) Siamese 网络，以及 4) 编码器-解码器网络。
较高级但不热
相反的一面呢？过去一年有哪些词有较少的提交，但历史上有更高的比例？下面列出了一些：
我不太确定「fractal」指代什么，但更普遍的可能是贝叶斯非参数在被攻击。
结论
现在提交论文的主题应该围绕把全卷积编码器解码器 BatchNorm ResNet GAN（Fully Convolutional Encoder Decoder BatchNorm ResNet GAN）应用于风格迁移，用 Adam 进行优化。听起来也不那么不靠谱。
原文链接：https://medium.com/@karpathy/a-peek-at-trends-in-machine-learning-ab8a1085a106
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4505.html
摘要：在过去五年里，我碰巧使用了一个收藏了篇机器学习论文的数据库，这些论文都来自于。因此，本文将这五年间机器学习的发展趋势进行了简单的总结。我们得到了如下结果是的，年月份，接受了多篇与机器学习领域有关的论文。 机器学习的趋势概述如果你用过谷歌趋势（Google Trends），你一定会发现它很酷——你输入一些关键词，你就能够看到这些关键词的谷歌搜索量是如何随着时间而变化的。在过去五年里，我碰巧使用...
摘要：简称，是基于聚焦行业应用且提供商业支持的分布式深度学习框架，其宗旨是在合理的时间内解决各类涉及大量数据的问题。是负责开发的用编写，通过引擎加速的深度学习框架，是目前受关注最多的深度学习框架。 作者简介魏秀参，旷视科技 Face++ 南京研究院负责人。南京大学 LAMDA 研究所博士，主要研究领域为计算机视觉和机器学习。在相关领域较高级国际期刊如 IEEE TIP、IEEE TNNLS、Mac...
摘要：下图总结了绝大多数上的开源深度学习框架项目，根据项目在的数量来评级，数据采集于年月初。然而，近期宣布将转向作为其推荐深度学习框架因为它支持移动设备开发。该框架可以出色完成图像识别，欺诈检测和自然语言处理任务。 很多神经网络框架已开源多年，支持机器学习和人工智能的专有解决方案也有很多。多年以来，开发人员在Github上发布了一系列的可以支持图像、手写字、视频、语音识别、自然语言处理、物体检测的...
摘要：作为当下最热门的话题，等巨头都围绕深度学习重点投资了一系列新兴项目，他们也一直在支持一些开源深度学习框架。八来自一个日本的深度学习创业公司，今年月发布的一个框架。 深度学习(Deep Learning)是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用 非 监督式或半监督式 的特征学习、分层特征提取高效算法来替代手工获取特征(feature)。作为当下最热门的话题，Google...
摘要：陈建平说训练是十分重要的，尤其是对关注算法本身的研究者。代码生成其实在中也十分简单，陈建平不仅利用车道线识别模型向我们演示了如何使用生成高效的代码，同时还展示了在脱离环境下运行代码进行推断的效果。 近日，Mathworks 推出了包含 MATLAB 和 Simulink 产品系列的 Release 2017b（R2017b），该版本大大加强了 MATLAB 对深度学习的支持，并简化了工程师、...
阅读 1298·2021-11-15 11:37
阅读 3494·2021-11-11 16:55
阅读 1740·2021-08-25 09:39
阅读 3206·2019-08-30 15:44
阅读 1728·2019-08-29 12:52
阅读 1395·2019-08-29 11:10
阅读 3229·2019-08-26 11:32
阅读 3215·2019-08-26 10:16
