摘要:应用过机器学习进行数据挖掘的同学应该都知道特征选择对模型表现的重要性。本文基于网上经典特征选择相关文章整理出干货常用方法分类以及调包侠该如何用快速上手,供大家参考。
应用过机器学习进行数据挖掘的同学应该都知道特征选择对模型表现的重要性。本文基于网上经典特征选择相关文章整理出干货:常用方法分类以及调包侠该如何用sklearn快速上手,供大家参考。 (一)预处理: 1 无量纲化:
from sklearn.preprocessing import MinMaxScaler #区间缩放,返回值为缩放到[0, 1]区间的数据 MinMaxScaler().fit_transform(iris.data)
from sklearn.preprocessing import StandardScaler #标准化,返回值为标准化后的数据 StandardScaler().fit_transform(iris.data)2 特征二值化:定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0 3 特征哑变量 4 缺失值计算:一般以均值填充 5 数据变换:常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的 (二)特征选择 1 过滤
from sklearn.feature_selection import VarianceThreshold #方差选择法,返回值为特征选择后的数据 #参数threshold为方差的阈值 VarianceThreshold(threshold=3).fit_transform(iris.data)
from sklearn.feature_selection import SelectKBest from scipy.stats import pearsonr SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2#选择K个最好的特征,返回选择特征后的数据 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
from sklearn.feature_selection import SelectFromModel from sklearn.ensemble import GradientBoostingClassifier SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)(四)降维 1 主成分分析
from sklearn.decomposition import PCA2 3 #主成分分析法,返回降维后的数据 #参数n_components为主成分数目 PCA(n_components=2).fit_transform(iris.data)2 线性判别分析
from sklearn.lda import LDA2 3 #线性判别分析法,返回降维后的数据 #参数n_components为降维后的维数 LDA(n_components=2).fit_transform(iris.data, iris.target)
参考:
http://note.youdao.com/notesh...(收藏自公众号数据挖掘入门与实战)
https://www.zhihu.com/questio...
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/38502.html
摘要:自从年深秋,他开始在上撰写并公开分享他感兴趣的机器学习论文。本文选取了上篇阅读注释的机器学习论文笔记。希望知名专家注释的深度学习论文能使一些很复杂的概念更易于理解。主要讲述的是奥德赛因为激怒了海神波赛多而招致灾祸。 Hugo Larochelle博士是一名谢布克大学机器学习的教授,社交媒体研究科学家、知名的神经网络研究人员以及深度学习狂热爱好者。自从2015年深秋,他开始在arXiv上撰写并...
摘要:这是机器学习课程中的一个典型例子,他把演讲者的声音和背景音乐分开。虽然用于启动检测的技术主要依赖于音频特征工程和机器学习,但在这里可以很容易地使用深度学习来优化结果。 介绍 想象一个能理解你想要什么,且当你打电话给客户服务中心时能理解你的感受的机器--如果你对某件事感到不高兴,你可以很快地和一个人交谈。如果您正在寻找特定的信息,您可能不需要与某人交谈(除非您愿意!)。 ...
阅读 1699·2021-10-28 09:32
阅读 607·2021-09-24 09:47
阅读 2922·2021-09-02 15:11
阅读 2734·2021-08-09 13:46
阅读 2887·2019-08-30 15:55
阅读 1072·2019-08-30 15:54
阅读 3302·2019-08-29 14:12
阅读 806·2019-08-26 13:40