从3类函数中理解机器学习

Arno 发布于2019-07-31 11:02 / 1862人阅读

摘要：类函数凸函数凹函数其他类别函数函数性质凸函数凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。凹函数凹函数的任何极大值也是最大值。

3类函数

凸函数

凹函数

其他类别函数

函数性质

凸函数：凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

凹函数：凹函数的任何极大值也是最大值。严格凹函数最多有一个最大值。

非凹凸函数：有多个极大极小值，只有局部最优解

机器学习的任务

机器学习的任务可以理解成下图：从一堆输入，经过处理，得到想要的输出

这个机器学习任务流程，可以抽象成函数：y=f(x)，x为输入，y为理想的输出

于是乎，机器学习就可以看作是求函数y=f(x)的最优解了

损失函数（ loss）的引入

所谓的损失函数，就是用来衡量预测值和实际值之间的误差

我们的目标就是，找到使损失函数达到最小值时候的参数

过拟合和欠拟合问题

判断机器学习是否执行得好，有以下2个目标：

-- 使训练错误率尽可能低（可以通过神经网络，函数逼近的方法）
-- 使训练错误率与测试错误率的差距尽可能小（可以用正则化的方法）

欠拟合：训练错误率比较高

过拟合：测试错误率与训练错误率差距比较大

训练

我们的目标是，找到使损失函数达到最小值时候的参数

此时，我们可以对损失函数进行求导（导数也成为梯度），寻找极值，常用的方法有：随机梯度下降（SGD）

训练就是不断寻找使损失函数达到最小值时候的参数的过程，因为一般的函数具有多个局部最优解

云服务器 GPU云服务器机器学习中机器学习在企业中的应用这个函数怎么理解深度学习理解

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44548.html

从3类函数中理解机器学习

摘要：类函数凸函数凹函数其他类别函数函数性质凸函数凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。凹函数凹函数的任何极大值也是最大值。 3类函数凸函数 showImg(https://segmentfault.com/img/remote/1460000013389230?w=650&h=400); 凹函数 showImg(https://segmentfault.com/img...

BenCHou 2019-08-22 14:51 评论0 收藏0
王飞跃等：生成式对抗网络 GAN 的研究进展与展望

摘要：引用格式王坤峰，苟超，段艳杰，林懿伦，郑心湖，王飞跃生成对抗网络的研究与展望自动化学报，论文作者王坤峰，苟超，段艳杰，林懿伦，郑心湖，王飞跃摘要生成式对抗网络目前已经成为人工智能学界一个热门的研究方向。本文概括了的研究进展并进行展望。 3月27日的新智元 2017 年技术峰会上，王飞跃教授作为特邀嘉宾将参加本次峰会的 Panel 环节，就如何看待中国 AI学术界论文数量多，但大师级人物少的现...

xiaokai 2019-04-25 18:10 评论0 收藏0
机器学习算法基础（使用Python代码）

摘要：机器学习算法类型从广义上讲，有种类型的机器学习算法。强化学习的例子马尔可夫决策过程常用机器学习算法列表以下是常用机器学习算法的列表。我提供了对各种机器学习算法的高级理解以及运行它们的代码。决策树是一种监督学习算法，主要用于分类问题。 showImg(https://segmentfault.com/img/remote/1460000019086462); 介绍谷歌的自动驾驶汽车和机...

BenCHou 2019-07-31 10:22 评论0 收藏0
机器学习

摘要：用离散信一文清晰讲解机器学习中梯度下降算法包括其变式算法无论是要解决现实生活中的难题，还是要创建一款新的软件产品，我们最终的目标都是使其达到最优状态。提高驾驶技术：用GAN去除(爱情)动作片中的马赛克和衣服作为一名久经片场的老司机，早就想写一些探讨驾驶技术的文章。这篇就介绍利用生成式对抗网络（GAN）的两个基本驾驶技能： 1) 去除(爱情)动作片中的马赛克 2) 给(爱情)动作片中...

wums 2019-06-26 18:19 评论0 收藏0