机器学习-斯坦福大学 -Andrew Ng: 前两周课程小结

zgbgx 发布于2019-08-15 11:09 / 3538人阅读

摘要：前两周的课程主要数学知识点为矩阵乘法如若可以相乘必然有，最后的结果为的在线性回归中矩阵用处在于数据量有数据有实际值向量预测值向量监督学习与非监督学习监督学习我们的目标是从输入到输出的一种映射关系。

1、前两周的课程主要数学知识点为矩阵乘法

A m*n B k*y
如若 A*B 可以相乘 必然有 n=k，最后的结果为 m*y的matrix
在线性回归中矩阵用处在于：
 x10 x11 x12 x13  y1          &1
 x20 x21 x22 x23  y2          &2
  .   .   .   .    .          &3
  .   .   .   .    .      

 数据量有 m  &数据有 n                         
 X = m n
 Y=m 1(实际值向量)
 &=n 1
 Final =X*Y
 Final=m 1 (预测值向量)

2、监督学习与非监督学习

监督学习：我们的目标是从输入到输出的一种映射关系。其中输出的值已经有了，其指导我们输出的数据了。我们根据已经有的输出值，对输入值进行学习，寻找输入值与输出值之间的关系。例：一堆（x,y），数据学习其中x（输入值）与y（输出值）之间的关系。
非监督学习：与监督学习最大的区别在于，非监督没有已知的输出值给予训练，完全依靠模型寻找输入值之间内在的关系。例：新闻聚类，给新闻分类
总：有输出值得数据为监督学习，没有输出值为非监督学习。

3.1、线性回归-代价函数(cost function)

y拟合=θ0x0+θ1x1
选择合适θ0和θ1来使直线最好的拟合图中的数据点。
所以这里有一个最小化的概念就是使假设函数与训练样本之间的误差最小。
最小化：就是直线最佳拟合图中数据点。
求法：(y拟合(x)-y(x))^2, 其实就是求预测函数取x值是y预测到y真实的距离的平方，这是一个点，最后将每一个点都加和起来，求平均值

3.2、线性回归-梯度下降（gradient descent）

梯度下降：重复计算直到收敛

图中的 := 代表赋值符号,而且需要注意的是每次更新都是同时赋值。
alpha 代表的是学习速率，它控制我们以多大的的幅度更新这个参数代表θj。也就是上面说的大步流星下山或是小碎步下山。
alpha大小取值过大会导致最终不能收敛。
             过小会导致收敛次数对多，耗费时间长。

3.2、线性回归-特征缩放（Feature Scaling）

特征缩放：是梯度下降快速收敛到终止位置（阈值点）。

    μi：所有特征(i)的平均值。
    si：特征(i)的(max - min)或者标准偏差。

3.3、线性回归-正常方程求解（Normal Equation）

梯度下降与正常方程求解优缺点：
梯度下降                               正常求解
需要选择alpha大小                      不需要考虑alpha大小
需要很多次迭代                         不需要迭代
O(Kn^2)                               O(n^3),并且需要计算X"X
在特征比较多的时候使用                  特征数量较小时使用

GPU云服务器云服务器大学机器学习机器学习大学机器学习学习课程学习机器学习课程

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/67568.html

我是如何在1天内构建一个深度学习模型并进击Kaggle比赛的

摘要：是为结果导向型人群开设的深度学习在线课程。但是最关键的是，我想通过构建简单的深度学习解决方案来实现理论和实践的相结合。我的目标是在一天结束前进入排名的前。我的时间都用于学习库组织数据和评估结果都是一些与深度学习无关的简单流程。 Fast.ai是Jeremy Howard为结果导向型人群开设的深度学习在线课程。我读过很多关于机器学习的书，也参加过不少这方面的课程，但我认为Fast.ai是迄今为...

shinezejian 2019-04-25 18:14 评论0 收藏0
机器学习Ng课程笔记——线性回归算法

摘要：在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析如果回归分析中包括两个及以上个自变量，且因变量和自变量直接是线性关系，则称之为多元线性回归分析。参考斯坦福大学机器学习公开课定义假设函数与代价函数(损失函数) 特征量放缩最小化代价函数收敛判定 1.什么是线性回归在统计学中，线性回归是利用被称为线性回归方程的最小平...

Chaz 2019-07-30 15:42 评论0 收藏0
6张图像vs13000张图像，超越2013 Kaggle猫狗识别竞赛领先水平

摘要：年，举办过一个很受欢迎的猫狗识别竞赛。当时，正如比赛官网宣布的，在使用张猫和狗的图像进行训练后，较先进的算法分辨猫狗的准确率是。医学诊断异常检测图像识别的工业应用，等等。小结结果令人吃惊。 2013年，Kaggle举办过一个很受欢迎的猫狗识别竞赛（Dogs vs. Cats）。比赛的目标是训练一种能够检测图像中是否包含猫或者狗的算法。当时，正如比赛官网宣布的，在使用13000张猫和狗的图像进...

RdouTyping 2019-04-25 18:18 评论0 收藏0
PyTorch一周年战绩总结：是否比TensorFlow来势凶猛？

摘要：截止到今天，已公开发行一周年。一年以来，社区中的用户不断做出贡献和优化，在此深表感谢。所以与衡量它的指标包括在机器学习研究论文中的使用。来自香港科技大学的在上推出了面向普通观众的在线课程。 Yann LeCun Twitter截止到今天，PyTorch 已公开发行一周年。一年以来，我们致力于打造一个灵活的深度学习研究平台。一年以来，PyTorch 社区中的用户不断做出贡献和优化，在此深表感谢...

ymyang 2019-04-25 18:23 评论0 收藏0
重磅 | 完备的 AI 学习路线，最详细的资源整理！

摘要：是你学习从入门到专家必备的学习路线和优质学习资源。的数学基础最主要是高等数学线性代数概率论与数理统计三门课程，这三门课程是本科必修的。其作为机器学习的入门和进阶资料非常适合。书籍介绍深度学习通常又被称为花书，深度学习领域最经典的畅销书。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【导读】本文由知名开源平...

荆兆峰 2019-06-26 18:54 评论0 收藏0