数据迁移工具辅助向云端迁移

scq000 发布于2019-04-25 16:45 / 3088人阅读

摘要：如果我们可以克服一些数据迁移的挑战，将一个数据仓库以及其数据分析工具从数据中心中的专用服务器转移到基于云的文件系统和数据库就可以解决这个问题。数据迁移工具辅助向云端迁移从数据库抽取数据很容易，从数据库中有效挖掘大容量数据确是一项挑战。

云计算和数据仓库是合理的一对。云存储可以按需扩展，云可以将大量服务器贡献于某一具体任务。数据仓库通用功能是本地数据分析工具，受到计算和存储资源的限制，同时也受到设计者考虑新数据源集成的能力的限制。如果我们可以克服一些数据迁移的挑战，将一个数据仓库以及其数据分析工具从数据中心中的专用服务器转移到基于云的文件系统和数据库就可以解决这个问题。

云端数据管理通常牵扯到在分布式文件系统中加载和维护文件，像Hadoop分布式文件系统（HDFS），随后用类似MapReduce这样的工具处理数据。对于数据仓库和其他的分析人物，像Hive这样的数据库工具在分布式文件系统之上提供了类SQL的功能。

尽管传统关系型数据库管理系统和云端非关系型数据库之间可以并行描述，但是在两个片段之间转移数据时，不同的运行方式会导致问题。抽取转换和加载流程甚至会造成更多挑战。

数据迁移工具辅助向云端迁移

从数据库抽取数据很容易，从数据库中有效挖掘大容量数据确是一项挑战。如果由于数据量的增长，数据仓库面临性能或者存储问题，可能就是时候考虑使用运资源了。下面提供了一些工具来协助从关系型数据库加载数据到云文件系统和数据库。

专业工具，像Sqoop（SQL-to-Hadoop）生成代码从关系型数据库抽取数据，并将其拷贝到HDFS或者Hive。Sqoop使用JDBC驱动，同多种类型的关系型数据库工作，但是通过JDBC推出大量数据导致了性能成本。

为了迁移到云端，从关系型数据库抽取数据时，你可能需要进行数据转换。如果你所工作的所有数据来自于单一数据库，就可以在源数据库中进行转换。如果从两个分离的系统合并数据，在抽取之后再转移数据源更有效。然而，你应该在加载数据到最终数据存储库之前做这些。Cascading数据处理API可以协助这项任务的进行。

Cascading提供了运行在Hadoop之上的功能，像工作流处理计划和调度。就比如说，它同管道过滤器工作；数据应用过滤器通过管道从一个源流到目的源。其他功能像grouping可以应用于数据流。Cascading用Java实现，在MapReduce工作中调用转换API。

如果你正在同MySQL共事，Sqoop介意使用MySQL转储功能绕离JDBC并更加有效地抽取数据。Sqoop也可以生成Java类，这个类可以用于操纵加载数据并将其直接导入Hive。HIHO （Hadoop Input and Output）从关系型表抽取数据并提供一些基本的转换服务，像去重以及合并输入流。

当生成文件在将其加载到HDFS文件系统或者Hive数据仓库之前，要求最小化转换，你就能直接加载文件了。在确定目标表和分割规格后，Hive有一个命令来加载数据。Pig是数据分析程序的一种高水平语言，尤其是和Java中的MapReduce编码对比的时候。它提供了一种基本的统计函数，你可以在关系型数据库中找到（像minmaxcount），在数学和字符串处理功能中也能找到。Pig支持架构化和非结构化文本文件的压缩。

云计算资源补充了数据仓库基础架构。然而，为将数据仓库转移到云端的利益较大化，适当结构化数据并使用正确的数据分析工具很重要。

TechTarget中国原创内容，原文链接：http://www.searchcloudcomputing.com.cn/showcontent_58751.htm

GPU云服务器云服务器数据迁移工具大数据迁移工具 dts数据迁移工具 DTS 数据库迁移工具

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3562.html

如何克服云端数据仓库数据迁移问题？

摘要：如果我们可以克服一些数据迁移的挑战，将一个数据仓库以及其数据分析工具从数据中心中的专用服务器转移到基于云的文件系统和数据库就可以解决这个问题。数据迁移工具辅助向云端迁移从数据库抽取数据很容易，从数据库中有效挖掘大容量数据确是一项挑战。云计算和数据仓库是合理的一对。云存储可以按需扩展，云可以将大量服务器贡献于某一具体任务。数据仓库通用功能是本地数据分析工具，受到计算和存储资源的限制，同时也...

sumory 2019-04-25 16:45 评论0 收藏0
一文看懂：云爆发的定义与应用

摘要：这种情况并非完全是一个云爆发的场景，因为根据定义，爆发意味着工作负载在一段时间内被移动到云端，然后最终返回到内部部署。在这种情况下，云爆发将是其设计的固有特征。如今，公共云已迅速成为构建IT基础设施的一种简单而无障碍的方式。如果企业已经拥有内部部署系统，那么在某些时候，可能就会希望将内部部署和外部部署整合在一起。而实现这一目标的一种方法是采用云爆发，但云爆发究竟是什么？以及爆发在云端意味着什...

LeanCloud 2019-04-30 14:40 评论0 收藏0
成功进行云迁移的12个关键步骤

摘要：以下概述了成功的云迁移所涉及的主要步骤。是大多数云迁移的典型模型。企业对云迁移的优先级要特别小心谨慎。云计算架构师必须考虑整个部署范围，并在执行实际工作负载迁移之前安装和验证任何所需的依赖项。企业为将内部部署应用程序迁移到云端做好准备了吗?从重新托管与重新设计到测试和监控，企业需要遵循一些关键步骤才能成功实现云迁移。很多企业出于各种原因将工作负载迁移到了云端。公有云比大多数内部部署数...

不知名网友 2021-11-26 13:17 评论0 收藏0
2018年最紧俏的5大云计算技能

摘要：随着机器学习等技术不断冲击就业市场，整个行业的技能差距将会越来越大。机器学习和机器学习人工智能和大数据正在逐渐成为项目的核心，预测机器学习和的将会出现爆炸性增长，未来三年的支出将增长。 2018年，随着各种规模的企业开始推进云计算项目，预计公有云采用量将会增加，IDC预测在三年内公有云支出将达到1970亿美元...

Godtoy 2019-04-25 16:22 评论0 收藏0
2018年最紧俏的5大云计算技能

摘要：随着机器学习等技术不断冲击就业市场，整个行业的技能差距将会越来越大。机器学习和机器学习人工智能和大数据正在逐渐成为项目的核心，预测机器学习和的将会出现爆炸性增长，未来三年的支出将增长。 2018年，随着各种规模的企业开始推进云计算项目，预计公有云采用量将会增加，IDC预测在三年内公有云支出将达到1970亿美元，因此对云计算相关技能的需求越来越高。随着机器学习等技术不断冲击就业市场，整个行业的...

stackfing 2019-04-25 17:50 评论0 收藏0