摘要:工具简介工具简介工具简介本篇目录概述概述主要功能主要功能文件结构文件结构与原迁移工具对比与原迁移工具对比版本和运行环境版本和运行环境概述概述概述是一款将不同源的数据同步到的迁移工具。支持从存储或者本地目录将数据迁移到中。
US3SYNC 是一款将不同源的数据同步到 US3 的迁移工具。通过将 US3SYNC 部署在本地或者云主机中,可以便捷地从本地或者其他云环境中将数据迁移到 US3 存储空间。US3SYNC工具可以创建两种模式的任务:
普通模式: 普通同步任务可以将源端某个指定前缀或文件夹的文件批量的同步到US3上。
fetch模式: fetch模式的同步任务是通过POST请求(描述需要同步的文件URL和目的位置)将文件同步到指定的位置上。可以指明文件同步成功和失败后的回调接口,US3SYNC会在同步任务完成后,发送相应的通知。
普通任务工作原理图中master节点与worker节点功能:
master节点:
单点部署,负责迁移任务的管理。其主要逻辑是从源端拉取文件列表,然后将需要迁移的文件派发给worker进程迁移。
worker节点:
支持节点扩展,负责迁移文件。其主要逻辑是从源端下载文件,然后将文件上传到目的端。
master节点与worker节点可以部署在同一台机器,也可以部署在多台机器上,用户可以根据需要自行扩展worker节点,下面分别介绍:
部署在同一台机器:
master节点和worker节点通过启动时配置的内部通信监听地址进行通信。用户需要确保配置给worker节点的路径是多带带的路径,不可与master路径以及其他worker路径重复。
部署在不同机器:
Fetch任务工作原理master节点和worker节点通过启动时配置的内部通信监听地址进行通信,确保该地址在worker机器上可以访问。用户需要确保配置给worker节点的路径是多带带的路径,不可与master路径以及其他worker路径重复。
Fetch类型的任务跟普通任务工作原理大致类似,不同的是同步任务的源端需要发送POST请求来指定,而不是根据配置的源端的位置自动拉取。
POST请求语法POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/json
请求头部Authorization为必选项,content-type, date等都是可选项
例如: Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 计算方法伪码如下:
method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature
请求内容
名称描述类型必选Url源站资源地址,需要urlencodeString是Key桶内文件路径,不需要urlencodeString是Bucket桶名String是JobIdFetch任务IdString是SuccessCallbackUrl回源拉取成功的回调地址String否FailureCallbackUrl回源拉取失败的回调地址String否
此处的JobId可以在界面中获取
返回内容 名称描述类型RetCode请求状态码IntErrMsg请求信息StringTaskId任务的唯一idString{
"RetCode":,
"ErrMsg":,
"TaskId":
}
示例请求POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
"Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
"Key":"movie.mp4",
"JobId": "xxxxxxxxxxxxxxxxxxxx"
"SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
"FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}
返回HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
"RetCode":0,
"ErrMsg":"success",
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}
回调内容您可以在请求中指定任务完成后的回调地址,US3SYNC会依照任务执行结果给相应的地址放松POST请求,请求内容示例如下:
Failure callback{
"Code":1,
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
"Message":"We encountered an internal error.",
"Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}
Success callback{
"Code": 0,
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
"ETag":"xxxxxxxx",
"Key":"xxxxxxxxxxxxxxx.mp4",
"SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
"Size":638304718
}
注:暂不支持源端为归档类型的文件迁移到 US3。
US3SYNC
├── bin
│ |── master # master 可执行程序
│ └── worker # worker 可执行程序
├── conf
│ └── config.toml # 配置文件
├── cert # https证书
├── log # master日志文件存放路径
├── pika # 依赖pika
└── console.sh # 启动脚本
原迁移工具使用请参照:原迁移工具
US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合为单个多个配置文件数据不落盘,提高迁移效率数据落盘,需要根据需要提供磁盘资源使用pika缓存使用redis缓存按分片粒度并发,带宽稳定按文件粒度并发,对大文件迁移不友好支持按照大小进行数据校验不支持校验当前版本:1.4.0
运行环境Linux:CentOS 7.0 及以上 (可通过cat /etc/redhat-release
查看)Ubuntu 16.04 及以上 (可通过cat /etc/issue
查看)
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/126749.html
摘要:概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...
摘要:工具简介工具简介工具简介本篇目录概述概述版本和运行环境版本和运行环境主要功能主要功能使用限制使用限制概述概述概述是一个在系统环境中,将的存储空间挂载到本地挂载点的工具,挂载成功后,您可以像操作本地文件一样操作存储空间中的文件。 工具简介本篇目录概述版本和运行环境主要功能使用限制概述US3FS是一个在Linux/Windows系统环境中,将US3的存储空间(Bucket)挂载到本地挂载点的工具...
摘要:工具简介工具简介工具简介本篇目录概述概述介绍介绍概述概述概述为了解决写入对象存储的问题,基于官方版本开发,增加了中类型为对象存储的支持,支持前缀挂载。介绍介绍介绍是一个用于的开源列式数据库,开发。具体介绍可参见官网 工具简介本篇目录概述ClickHouse介绍概述为了解决clickhouse写入UCloud对象存储US3的问题,US3基于官方clickhouse版本v20.8.7.15-lt...
摘要:产品底层升级后,推出工具,便于用户对存储空间文件进行管理操作,操作方式更灵活。文件挂载工具文件系统挂载工具可帮助用户在环境下以协议方式挂载文件目录,对文件对象进行操作。一致性比对工具一致性比对工具用于比对用户本地与存储空间中的文件是否一致。 常用工具本篇目录管理工具其他工具除使用 US3 管理控制台之外,您还可以通过 US3 提供的各类常用工具对 US3 存储空间及空间内的文件对象进行管理,...
摘要:用户可通过数据迁移的方式,将第三方的存储集群数据迁移至的存储空间中,充分利用对象存储按需收费,无须购买额外硬件资源的优势,对数据进行归档,以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势,面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式,将第三方的存储集群数据迁移至 US3 的...
摘要:迁移工具历史版本迁移工具历史版本迁移工具历史版本本篇目录介绍介绍安装步骤安装步骤介绍介绍介绍是对象存储提供的一款将数据迁移至存储空间的工具。 迁移工具(历史版本)本篇目录介绍安装步骤介绍ufile-import 是对象存储 US3 提供的一款将数据迁移至 US3 存储空间(Bucket) 的工具。您可以将 ufile-import 部署在本地服务或者云主机上,轻松将您其他云存储的数据迁移到 ...
阅读 326·2024-11-07 18:25
阅读 130514·2024-02-01 10:43
阅读 893·2024-01-31 14:58
阅读 856·2024-01-31 14:54
阅读 82839·2024-01-29 17:11
阅读 3130·2024-01-25 14:55
阅读 2013·2023-06-02 13:36
阅读 3073·2023-05-23 10:26