摘要：作为工程师的我们，怎样才能确保在网络训练过程中不存在偏见和种族歧视深度神经网络很难用来解决逻辑问题。深度神经网络在处理大维度的特征数据方面效果不佳。
认脸、翻译、合成语音……深度学习在很多问题上都取得了非常好的成绩。
那么，还有什么问题不能用深度学习来解决呢？
斯坦福大学在读博士Bharath Ramsundar列出了以下15个方面，希望能对今后的算法开发有所帮助。
以下为译文：
1. 众所周知，深度学习方法很难学习到输入样本的微小变化。当样本的颜色交换时，所构建的目标识别系统可能会完全崩溃。
2. 基于梯度的网络训练过程相当缓慢。一般按照固定模式来实现多种梯度下降方法，但是这种方法很难用于高维数据的预测。
3. 深度学习方法在处理条件约束方面的效果也不佳，不能像线性规划方法那样，能快速找到满足约束的解决方案。
4. 在训练复杂模型时，网络相当不稳定。通常不能很好地训练神经图灵机和GAN网络，严重依赖网络的初始化方式。
5. 深层网络能较好地应用于图像处理和自然语言分析中，但是不适合现实世界的实际问题，如提取因果结构等等。
6. 在实际应用中，要考虑关键影响者检测的问题。在参议员投票的数据集中，应该如何检测出关键影响者，深度神经网络DNN还不能应用于此方面。
7. 强化学习（Reinforcement Learning）方法对输入数据非常挑剔，实际性能主要取决于调参技巧，虽然这个特殊问题仅存在于这个方面。
8. 深度学习方法不容易理解未知实体，比如说当棒球击球手在视频中，深度学习不知道如何推断出屏幕外还有个投手。
9. 实时训练深层网络几乎不可能，因此很难进行动态调整，上文已经提到网络训练缓慢的问题。
10. 一般来说，网络需通过离线训练后才能进行智能辨识。
11. 人们经常提出一些对深层网络的理论解释。但这可能不是一个大问题，人们才是一个真正的大问题。
12. 目前很难确定深层网络学习到了什么。作为工程师的我们，怎样才能确保在网络训练过程中不存在偏见和种族歧视？
13. 深度神经网络很难用来解决逻辑问题。3SAT求解器具有很强的能力，但是很难应用到深层网络。
14. 深度神经网络在处理大维度的特征数据方面效果不佳。这种方法与强大的随机森林方法不同，在训练前需要大量的特征调整。
15. 深度网络的超参数优化研究仍然处于起步阶段。研究者需要完成大量的计算或是手动调整许多网络结构。
以上这些并不是一个完整的列表，但是我觉得这些都是值得思考的问题。在这些问题的基础上，要思考：
这些问题是深层神经网络本身存在的问题，还是要被克服的工程挑战？
这些都很难说，其中的一些问题可能会得到解决，比如更多性能优秀的硬件被开发用于超参数自动搜索。有一些早期结构可以用来自动归一化和处理大维度的特征数据，因此处理特征的问题可能有所改善。
然而，逻辑、约束、隐藏结构和网络审查等问题可能会进行更深入的研究。我很愿意看到大家对这些问题提出质疑，深度学习的研究者通常都是很有才华和想象力的。摩尔定律仍然适用于GPU性能曲线，TPU和定制硬件还需要多久才能上市？
所以我对这些挑战持乐观态度。尽管如此，我还是怀疑深度神经网络不足以实现通用人工智能，当然，这可能只是我的偏见，事件上的专家可能是预测上的菜鸟，我们花了太多时间钻研技术。
千万不要只知其然，而不知其所以然！
我不想把这个随笔写成一篇文章，不确定是否有未知的主题还未被列出。
最后，作者还说，把这篇随笔送给聪明的读者。
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4587.html
摘要：值得一提的是每篇文章都是我用心整理的，编者一贯坚持使用通俗形象的语言给我的读者朋友们讲解机器学习深度学习的各个知识点。今天，红色石头特此将以前所有的原创文章整理出来，组成一个比较合理完整的机器学习深度学习的学习路线图，希望能够帮助到大家。 一年多来，公众号【AI有道】已经发布了 140+ 的原创文章了。内容涉及林轩田机器学习课程笔记、吴恩达 deeplearning.ai 课程笔记、机...
摘要：年基于云平台的需求，和排他数据库的利润增长，破天荒的推出了版本，并补丁从到到版本。破局阿里云，快速布置装备了最最新版服务器，能上网就能访问。为您找项目保驾护航支持访问。装了新版本，专门对外开发，给行业内外各兄弟们研究学习使用。各位同行，各位SAP圈内外兄弟姐妹们： SAP从R2 R3版本，演绎到ECC6 版本，并坚持20年不变版本而增发补丁EHP1-EHP8。2016年,基于云平台的需求，...
摘要：由吴恩达领导的斯坦福大学机器学习小组，研发出一种新的深度学习算法，可以诊断种类型的心律失常。吴恩达表示，机器学习模型可以比专家更较精确的诊断心律失常。这项研究可能是机器学习彻底改变医疗行业的标志之一。 由吴恩达领导的斯坦福大学机器学习小组，研发出一种新的深度学习算法，可以诊断14种类型的心律失常。吴恩达表示，机器学习模型可以比专家更较精确的诊断心律失常。这项研究可能是机器学习彻底改变医疗行业...
摘要：生成你的明星脸介绍，叫做生成对抗网络。改进损失函数为了训练过程稳定，生成高质量的图像，论文中采用自定义梯度惩罚来代替对抗误差损失其中表示真实和生成图像之间均匀采样的直线，试验时。 StarGAN——生成你的明星脸 1 GAN 介绍 GAN，叫做生成对抗网络 (Generative Adversarial Network) 。其基本原理是生成器网络 G(Generator) 和判别器网...
阅读 2206·2021-11-17 09:33
阅读 2753·2021-11-12 10:36
阅读 3366·2021-09-27 13:47
阅读 855·2021-09-22 15:10
阅读 3452·2021-09-09 11:51
阅读 1347·2021-08-25 09:38
阅读 2732·2019-08-30 15:55
阅读 2573·2019-08-30 15:53
