sklearn中的gbdt源码分析

hiYoHoo 发布于2019-07-25 10:35 / 1773人阅读

摘要：简单看了一下中的源码在这里记录一下，目前来说还不能把的所有理论都搞清楚有两个类似于的实现一个用于分类，另一个用于回归这两个类其实区别只在于上，下面是类继承关系继承了继承了和的区别使用的是准确率来计算误差而回归的是使用来计算误差实际上这两个模

简单看了一下sklearn中的gbdt源码
在这里记录一下，目前来说还不能把gbdt的所有理论都搞清楚
sklearn有两个类似于gbdt的实现

GradientBoostingClassifier
GradientBoostingRegressor

一个用于分类，另一个用于回归
这两个类其实区别只在于mixin上，下面是类继承关系

GradientBoostingRegressor继承了
    BaseGradientBoosting
    RegressorMixin
GradientBoostingClassifier继承了
    BaseGradientBoosting
    ClassifierMixin
ClassifierMixin和RgressorMixin的区别：
    classifierMixin使用的是准确率来计算误差
    而回归的是使用r_square来计算误差
实际上这两个模型的差距是很小的，就是计算一下拟合度

然后是整个训练的过程
训练的过程会先设置一些参数
设置n_estimators是要训练的分类器数据
如果损失函数是loss的话，那么就比较简单了
每次训练弱分类器都会根据上一次的结果来
上次生成的y - y_pred会作为新的y传进去
这样来训练直到n_estimators足够

不过在predict结果的时候有点看不懂代码
后面看了再补充

云服务器 GPU云服务器 GBDT Sklearn webrtc 源码中的demo sklearn图像识别

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38049.html

【学习摘录】机器学习特征选择

摘要：应用过机器学习进行数据挖掘的同学应该都知道特征选择对模型表现的重要性。本文基于网上经典特征选择相关文章整理出干货常用方法分类以及调包侠该如何用快速上手，供大家参考。应用过机器学习进行数据挖掘的同学应该都知道特征选择对模型表现的重要性。本文基于网上经典特征选择相关文章整理出干货：常用方法分类以及调包侠该如何用sklearn快速上手，供大家参考。（一）预处理： 1 无量纲化： 1.1 ...

lyning 2019-07-25 11:36 评论0 收藏0
sklearn做交叉验证

摘要：交叉验证是经常用到的验证方法使用可以很大程度上简化交叉验证的过程使用过程见下方这里以模型为例训练集标签交叉验证的倍数返回结果的类型，可以自定义，也有很多默认选项例如就是返回准确率都是可以的这就是简单的用法，只有比较复杂，其他都比较简单交叉验证是经常用到的验证方法使用sklearn可以很大程度上简化交叉验证的过程使用过程见下方： from sklearn import cross_va...

KitorinZero 2019-07-25 10:22 评论0 收藏0
⭐openGauss数据库源码解析系列文章—— DeepSQL⭐

❤️‍大家好，我是Gauss松鼠会，欢迎进来学习啦~❤️‍ 上一篇介绍了 8.6 AI查询时间预测的相关内容，本篇我们介绍8.7 DeepSQL、8.8 小结的相关精彩内容介绍。 8.7 DeepSQL 前面提到的功能均为AI4DB领域，AI与数据库结合还有另外一个大方向，即DB4AI。在本章中，我们将介绍openGauss的DB4AI能力，探索通过数据库来高效驱动AI任务的新途径。使用场景 ...

Atom 2021-09-29 09:35 评论0 收藏0
第7期 Datawhale 组队学习计划

马上就要开始啦这次共组织15个组队学习涵盖了AI领域从理论知识到动手实践的内容按照下面给出的最完备学习路线分类难度系数分为低、中、高三档可以按照需要参加 - 学习路线 - showImg(https://segmentfault.com/img/remote/1460000019082128); showImg(https://segmentfault.com/img/remote/...

dinfer 2019-06-26 18:55 评论0 收藏0