摘要:核心优势实时性可以实时进行数据质量检测,能够及时发现问题。可伸缩性工作在大数据量的环境中,目前运行的数据量约环境。自助服务提供了一个简单的用户界面,可以创建数据集以及相应规则同时用户可以查看数据质量控制面板和自定义显示内容欢迎,多多益善
Bark是eBay开发的一种应用于分布式数据系统中的开源数据质量解决方案,例如在Hadoop, Spark, Storm等分布式系统中,Bark提供了一整套统一的流程来定义、测量数据集的质量并及时报告问题。
主要特性:
1.精确度检测:验证结果集数据是否与源数据是一致的
2.数据剖析:利用数据集的一致性、独特性和逻辑性,来进行统计分析和数值评估。
3.异常监测:利用预先设定的算法,检测出不符合预期的数据
4.可视化监测:利用控制面板来展现数据质量的状态。
核心优势:
1.实时性:可以实时进行数据质量检测,能够及时发现问题。
2.可扩展性:可以用于多个数据系统。
3.可伸缩性:工作在大数据量的环境中,目前运行的数据量约1.2PB (eBay环境)。
4.自助服务:Bark提供了一个简单的用户界面,可以创建数据集以及相应规则;同时用户可以查看数据质量控制面板和自定义显示内容
GitHub: https://github.com/eBay/griffin 欢迎fork,多多益善!
Contact us: lzhixing@ebay.com
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/65113.html
摘要:如今年已过大半,虽然没有大理想抱负,但是却有自己的小计划。项目案例项目一支付服务简介支付服务支付宝微信银联详细代码案例,目前已经。这个是自月以来最上心的一个项目,尽管只是一个案例,但是从中也学到了不少知识。 showImg(https://blog.52itstyle.vip/usr/uploads/2018/08/2263751128.jpg); 前言 2017年,曾在自己的博客中写...
摘要:项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图 项目GitHub地址:https://github.com/heibaiying... 前 言 大数据技术栈思维导图 大数据常用软件安装指...
摘要:项目是什么是对的接口使用的最新标准进行而面向对象的封装,从而屏蔽了底层的接口复杂性,加快开发扩展的效率。国内同类型的项目推荐目前国内有一个跟比较类似的项目,这个项目是项目作者开发,值得推荐。项目名字项目的地址是大家有兴趣可以研究。 项目Logo showImg(https://segmentfault.com/img/bVVtW8?w=716&h=218); zendAPI 是什么? ...
摘要:简介这是一个的排版显示引擎和跨平台的应用程序开发框架,基于,这也是第一个在移动端融合的前端项目,至此成为了真正意义上前后端通吃的语言。的目标在此基础上开发应用程序可拥有开发应用般简单与速度同时兼顾应用程序的性能与体验。 Ngui简介 这是一个GUI的排版显示引擎和跨平台的GUI应用程序开发框架,基于NodeJS/OpenGL,这也是第一个在移动端Android/iOS融合NodeJS的...
阅读 5189·2021-09-22 15:50
阅读 1846·2021-09-02 15:15
阅读 1148·2019-08-29 12:49
阅读 2520·2019-08-26 13:31
阅读 3445·2019-08-26 12:09
阅读 1191·2019-08-23 18:17
阅读 2685·2019-08-23 17:56
阅读 2913·2019-08-23 16:02