摘要：快速上手快速上手快速上手本篇目录视频教学视频教学界面说明界面说明使用说明使用说明缓存说明缓存说明迁移类型说明迁移类型说明视频教学界面说明登录界面说明任务管理界面说明创建任务界面说明创建迁移源界面说明节点管理界面说明创建节点界面说
观看以下视频，快速上手部署与使用US3SYNC
服务启动后，通过浏览器打开页面https://
- 任务操作：
开始迁移：开始文件迁移
开始校验：基于大小校验源端与目录端文件，会从源端与目的端全量拉取文件列表对比
管理-重试：迁移文件后有失败记录，通过该按钮将失败文件重新迁移
管理-导出：迁移文件后有失败记录，通过该按钮将失败文件列表导出到目的端bucket的.US3SYNC/details/[jobid]/error.log 位置
管理-删除：删除任务，会清理任务缓存记录
管理-克隆：打开创建任务界面，并填写当前任务信息
- 统计信息如下：
=================================
迁移总数: 此次迁移文件总数
等待迁移: 处于待迁移队列的文件个数
正在迁移: 正在执行迁移的文件个数
迁移成功: 已经迁移成功的文件个数
迁移失败: 已经迁移失败的文件个数
=================================
添加迁移源，参考 创建迁移源界面说明，点击创建Endpoint按钮，在对话框中填写对应信息，点击确定。
创建任务创建任务，参考 创建任务界面说明，点击创建任务按钮，在对话框中填写对应信息，点击确定。如果您想要创建fetch任务，请您点击界面上的Fetch任务选项。 另外JobId请您参考 获取任务Id
说明：
迁移过程会将指定的源端前缀下的文件迁移到指定的目的端前缀下面，例如：
1. 源端前缀指定了：A/ 目的端前缀指定了 B/
此时会将源端 A/ 下的所有文件迁移到目的端 B/ 下
如果源端有一个文件A/a.txt 迁移后在目录端会有 B/a.txt
2. 源端前缀指定了：A/ 目的端前缀指定了空路径
此时会将源端 A/ 下的所有文件迁移到目的端根目录下
如果源端有一个文件A/a.txt 迁移后在目录端根目录下会有 a.txt覆盖条件选项说明，目前支持三种方式：
> 全覆盖：源端存在的文件全部强制上传到US3
> 条件覆盖：根据指定字段判断是否需要迁移文件
> > 条件覆盖目前支持三个字段：文件类型，文件时间戳，文件大小
> > 文件类型和文件大小通过判断 源端文件与目的端文件对应属性是否一致
> > 文件时间戳通过判断 源端文件比目的端文件更新则重新迁移该文件
> 不覆盖：发现目的端已经存在同名文件，跳过该文件 定期任务配置说明：
> 如果需要定期执行迁移，配置每隔几天，什么时间进行迁移 增量过滤条件说明，根据配置过滤待迁移文件，支持两种规则：
1. 根据绝对时间过滤，用户指定起始时间。
2. 根据最近时间过滤，用户指定迁移最近几个小时的文件。如果配置定期任务执行，则每次定期任务启动，都会根据当时时间进行计算。参考 任务管理界面说明，点击开启迁移按钮。
暂停迁移参考 任务管理界面说明，点击暂停按钮。
重试如果迁移后有失败记录，可以对迁移失败的文件进行重试，参考 任务管理界面说明，点击管理-重试按钮。
导出失败文件列表如果迁移后有失败记录，可以对迁移失败的文件列表导出，参考 任务管理界面说明，点击管理-导出按钮。
US3SYNC 使用 pika 提供缓存服务。主要缓存以下信息：
任务详细信息迁移统计信息迁移记录AWS S3源需要额外提供待迁移空间的 region 字段，参考：https://docs.aws.amazon.com/zh_cn/general/latest/gr/s3.html 。
第三方实现S3协议参考对应厂商S3文档说明。
locallocal 源需要提供待迁移目录的路径
httphttp 源需要提供待迁移文件列表的 url 地址。
每行代表一个待迁移资源，待迁移文件列表格式如下：
文件url地址文件url地址
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/127021.html
摘要：概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...
摘要：更多归档存储类型的使用说明请参考数据归档方案。控制台快速上手注产品已作为归档存储类型合并至对象存储，目前不再向新用户提供独立的归档存储服务。创建归档存储空间登录控制台，选择右侧归档存储后进入归档存储列表页，选择创建归档存储空间按钮。使用场景注：UArchive 产品已作为归档存储类型合并至 US3 对象存储，目前不再向新用户提供独立的归档存储服务。如需使用更低成本的对象存储服务，请至 US3...
摘要：安装适配器安装适配器安装适配器配置各个节点的参数项，参数项参考快速上手参数说明将拷贝到下接入方式具有侵入性，适用于小规模计算分析场景，大数据备份需求场景请参考快速上手场景示例。 下载与环境准备本篇目录下载与安装安装适配器下载与安装获取适配器 US3大数据适配器通过jar包形式提供其功能，US3大数据适配器jar包格式为us3-bigdata-adaptor-${hadoop version}...
摘要：文件管理控制台文件管理大于工具分片上传工具使用之前请配置内外网不同地区域名不同，详情参考文档上传工具可以配置相关客户端密钥填写公私钥注固定域名不加后缀目前仅中国北京二，中国香港，越南胡志明，韩国首尔，巴西圣US3文件管理1、控制台文件管理（大于500M 工具分片上传） 2、filemgr工具https://docs.ucloud.cn/ufile/tools/tools/tools_file...
摘要：本次大会上，优刻得基于自研的全新存储底层架构推出新一代对象存储产品。推出新一代自研存储引擎，持续降低存储成本优刻得在今年月推出了元月的归档存储产品，打破了存储领域降本的边界。伴随着5G、大数据的广泛应用,带来了数据量的爆炸式增长。根据IDC预测，2025年全球数据总量将达到惊人的175ZB。数据存储在未来的数字化时代将面临更多挑战：每秒钟存储数据写入性能、数据云端存储可靠性、数据存储成本增高...
摘要：用户可通过数据迁移的方式，将第三方的存储集群数据迁移至的存储空间中，充分利用对象存储按需收费，无须购买额外硬件资源的优势，对数据进行归档，以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势，面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式，将第三方的存储集群数据迁移至 US3 的...
阅读 117·2024-11-07 18:25
阅读 130165·2024-02-01 10:43
阅读 790·2024-01-31 14:58
阅读 765·2024-01-31 14:54
阅读 82583·2024-01-29 17:11
阅读 2891·2024-01-25 14:55
阅读 1929·2023-06-02 13:36
阅读 2871·2023-05-23 10:26
