资讯专栏INFORMATION COLUMN

【物联网】30.物联网数据分析的基础 - 机器学习

xialong / 3478人阅读

摘要:机器学习可以说是高级分析的典型代表。机器学习领域汇集了众多技术,这些技术用于让计算机基于大量数据来学习数据的倾向并作出某些判断。机器学习的算法可以根据输入的数据类型分为监督学习和非监督学习两种。

机器学习可以说是高级分析的典型代表。机器学习领域汇集了众多技术,这些技术用于让计算机基于大量数据来学习数据的倾向并作出某些判断。机器学习的算法可以根据输入的数据类型分为“监督学习”和“非监督学习”两种。

监督学习和非监督学习

当用机器学习的算法让计算机学习数据倾向时,算法会根据用于学习的数据中是否含有“正确答案”的数据而有所不同。打个比方,假设现在要从传感器数据来判断分析设备的故障情况和建筑物的损坏情况等异常状况。如果采用监督学习的算法,就需要输入过去实际发生异常状况时的数据,即需要明确地输入“异常”的数据。说白了,算法要学习“正确答案”和“不正确答案”之间存在的差异。
相对而言,非监督学习不区分输入的数据是否存在异常,也就是说,非监督学习算法会学习数据整体的倾向,在整体中找出倾向不同的数据,将其判断为“异常值”。

 对于想要还原场景的情况,需要基于是否有当时的数据这一点来判断是采用监督学习还是非监督学习。特别是对于那些极少发生的异常情况,如果不能准备正确答案,就需要考虑采用非监督学习。另外,如果无法预测以后会发生什么异常状况,那么使用非监督学习来建立平常状态的模型,就能检测出和平常状态不同的状态(即异常)。

如果确定了想要发现的异常的种类,也采集到了足够的数据,那么采用监督学习会更加精确地检测出异常情况。

分析方法的种类

那么在理解了监督学习和非监督学习的基础上,接下来就以聚类和类别分类等为切入点来了解一下这些分析方法。根据其用法,分析方法可以分为几种。其中,图所示的3 种方法的使用频率特别高,接下来将详细讲解这3 种方法。

聚类分析 

聚类分析,其目的是基于样本(样本数据)具有的特征,把相似的样本分成多个组(聚类)。具体的聚类算法包括K-means 算法、自组织映射、层次聚类等。这些方法能够根据数据的特征找到并整合具有同样特征的数据。

K-means 算法就是针对数据的分布来事先指定要把数据分成多少个块,即分成多少个聚类,由此来机械性地生成数据块的一种算法。

类别分类

类别分类分析的目的在于把数据分成两组或者更多组。虽然有人可能会感觉它跟聚类分析很相似,但类别分析用在已经明确想好了要分类的对象,基于过去的数据来分出对象组和非对象组的场合。类别分类算法包括线性判别式分析、决策树分析、支持向量机(SVM)等。特别是支持向量机还被用于图像识别算法,即识别某张图像上都拍摄了什么内容。

维度压缩

维度压缩也叫“维度约简”或“降维”,即对于大型数据中的大量数据,尽全力留下其中的重要信息并压缩冗余的信息,借此来缩小数据量的分析方法。维度压缩包括主成分分析、因子分析、多维尺度法等。很多时候设备发来的传感器信息太多,或是要分析从无数台设备发来的海量信息时,还会出现很多不需要的信息,即对于获取结果来说没有什么用的信息。此时,通过进行维度压缩,就能切去不需要的信息,把数据转化成一种更易于分析的形式。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/123905.html

相关文章

  • 亚马逊新时代:云服务独领风骚,AI助手无处不在

    摘要:亚马逊人工智能语音助手技能超过万个,全球各主要硬件厂商纷纷搭载或兼容,使得其亚马逊助手无处不在。物联网设备透过云端实现跨行业和跨设备互联互通,所收集数据除了在边缘侧处理,还需要上传至云端,云端作为数据集散地,各种数据经过云端AI处理后,对这些数据利用将会带来新的商业模式。在物联网资深专家杨剑勇看来,云计算是全球物联网重要基础设施,作为物联网产业发展基石,聚集了亚马逊、微软、谷歌和BAT等重量...

    Bmob 评论0 收藏0
  • 云计算/雾计算/边缘计算/MIST计算算法详细解析

    摘要:物联网的计算可以做以下事情来促进物联网的数据处理和智能化基于云计算的模型基于雾的计算模型边缘计算模型这里有一种计算机类型,它补充了雾和边缘计算,使它们变得更好,而不需要再等上年。从物联网从业者的角度来看,经常看到对计算更加可用和分布式的需求。当开始将物联网与OT和IT系统整合时,面临的第一个问题是设备发送到服务器的庞大数据量。在一个工厂自动化的场景中,可能有数百个集成的传感器,这些传感器每1...

    canopus4u 评论0 收藏0
  • 基于云计算上人工智能服务

    摘要:全球主要的云计算提供商现在提供基于云计算的人工智能产品。显然,由于从头开始构建这样一个系统的费用高昂,人工智能作为一项服务仍然一直位于行业巨头所在的领域。在用于人工智能服务的品牌下,公司提供不少于项服务。如今,采用人工智能的企业遇到了一个主要障碍,那就是在内部开发人工智能产品成本高昂,因此有了外包人工智能产品的需求。而对于从中小企业到预算受限的大型企业来说,通过云计算来采用人工智能的成本要低...

    Leo_chen 评论0 收藏0
  • 技术趋势:联网、云计算和区块链发展

    摘要:从云计算的投资到区块链的发展,通过在能源行业中的应用,可以跨行业地学习和应用这些技术时出现的机会和经验教训。投资云计算可以转变为更加动态的商业模式,大多数数字物联网平台都依赖于云计算技术。然而,新生的边缘计算技术可能会颠覆云计算的主导地位。新兴技术的发展趋势有可能颠覆和彻底改变行业。这些技术将会推动创新,迫使企业迅速采取行动以避免自满。能源行业就提供了一个很好的例子,发展成熟的公用事业公司和...

    Anonymous1 评论0 收藏0
  • 大话:人工智能、大数据联网、云计算

    摘要:半个多世纪的某个夏天,麦卡锡明斯基等众科学家们举办了一次,共同研究用机器模拟智能的问题,也是在那时,人工智能的理念正式被提出人工智能简称,能根据大量的历史资料和实时观察找出对于未来预测性的洞察。 半个多世纪的某个夏天,麦卡锡、明斯基等众科学家们举办了一次Party,共同研究用机器模拟智能的问题,也是在那时,人工智能(AI)的理念正式被提出!showImg(https://segment...

    Rocture 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<