资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/工具简介 对象存储 US3

工具简介 对象存储 US3

ernest.wang / 1972人阅读

摘要：工具简介工具简介工具简介本篇目录概述概述主要功能主要功能文件结构文件结构与原迁移工具对比与原迁移工具对比版本和运行环境版本和运行环境概述概述概述是一款将不同源的数据同步到的迁移工具。支持从存储或者本地目录将数据迁移到中。

工具简介

本篇目录

概述主要功能文件结构与原迁移工具对比版本和运行环境

概述

US3SYNC 是一款将不同源的数据同步到 US3 的迁移工具。通过将 US3SYNC 部署在本地或者云主机中，可以便捷地从本地或者其他云环境中将数据迁移到 US3 存储空间。US3SYNC工具可以创建两种模式的任务：

普通模式： 普通同步任务可以将源端某个指定前缀或文件夹的文件批量的同步到US3上。

fetch模式： fetch模式的同步任务是通过POST请求（描述需要同步的文件URL和目的位置）将文件同步到指定的位置上。可以指明文件同步成功和失败后的回调接口，US3SYNC会在同步任务完成后，发送相应的通知。

普通任务工作原理

图中master节点与worker节点功能：

master节点：

单点部署，负责迁移任务的管理。其主要逻辑是从源端拉取文件列表，然后将需要迁移的文件派发给worker进程迁移。

worker节点：

支持节点扩展，负责迁移文件。其主要逻辑是从源端下载文件，然后将文件上传到目的端。

master节点与worker节点可以部署在同一台机器，也可以部署在多台机器上，用户可以根据需要自行扩展worker节点，下面分别介绍：

部署在同一台机器：

master节点和worker节点通过启动时配置的内部通信监听地址进行通信。用户需要确保配置给worker节点的路径是多带带的路径，不可与master路径以及其他worker路径重复。

部署在不同机器：

master节点和worker节点通过启动时配置的内部通信监听地址进行通信，确保该地址在worker机器上可以访问。用户需要确保配置给worker节点的路径是多带带的路径，不可与master路径以及其他worker路径重复。

Fetch任务工作原理

Fetch类型的任务跟普通任务工作原理大致类似，不同的是同步任务的源端需要发送POST请求来指定，而不是根据配置的源端的位置自动拉取。

POST请求语法
POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/json
请求头部

Authorization为必选项，content-type, date等都是可选项

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 计算方法伪码如下：

method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature
请求内容 名称描述类型必选Url源站资源地址,需要urlencodeString是Key桶内文件路径，不需要urlencodeString是Bucket桶名String是JobIdFetch任务IdString是SuccessCallbackUrl回源拉取成功的回调地址String否FailureCallbackUrl回源拉取失败的回调地址String否

此处的JobId可以在界面中获取

返回内容 名称描述类型RetCode请求状态码IntErrMsg请求信息StringTaskId任务的唯一idString 
{
    "RetCode":,
    "ErrMsg":,
    "TaskId":
    }
示例请求
POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
    "Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
    "Key":"movie.mp4",
    "JobId": "xxxxxxxxxxxxxxxxxxxx"
    "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
    "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}
返回
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
    "RetCode":0,
    "ErrMsg":"success",
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}
回调内容

您可以在请求中指定任务完成后的回调地址，US3SYNC会依照任务执行结果给相应的地址放松POST请求，请求内容示例如下：

Failure callback
{
    "Code":1,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "Message":"We encountered an internal error.",
    "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}
Success callback
{    
    "Code": 0,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "ETag":"xxxxxxxx",
    "Key":"xxxxxxxxxxxxxxx.mp4",
    "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
    "Size":638304718
}

主要功能

支持从 s3，oss，qiniu，youpai，US3 云存储迁移数据到 US3 中。支持从 NAS 存储或者本地目录将数据迁移到 US3 中。支持指定 URL 资源列表将数据迁移到 US3 中。支持 web 管理，通过 web 管理迁移任务，迁移节点。支持源端管理支持配置任务定期执行支持失败文件列表导出

注：暂不支持源端为归档类型的文件迁移到 US3。

文件结构

US3SYNC
├── bin
│ |── master            # master 可执行程序
│ └── worker            # worker 可执行程序
├── conf
│ └── config.toml       # 配置文件
├── cert                # https证书
├── log                 # master日志文件存放路径
├── pika                # 依赖pika
└── console.sh          # 启动脚本

与原迁移工具对比

原迁移工具使用请参照：原迁移工具

US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合为单个多个配置文件数据不落盘，提高迁移效率数据落盘，需要根据需要提供磁盘资源使用pika缓存使用redis缓存按分片粒度并发，带宽稳定按文件粒度并发，对大文件迁移不友好支持按照大小进行数据校验不支持校验

版本和运行环境

软件版本

当前版本：1.4.0

运行环境Linux：CentOS 7.0 及以上 (可通过cat /etc/redhat-release查看)Ubuntu 16.04 及以上 (可通过cat /etc/issue查看)

云服务器 GPU云服务器 ucloud对象存储产品us3 对象存储 简介 对象存储 迁移 开源 工具 php开发工具简介

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/126749.html

相关文章

  • 概览 对象存储 US3

    摘要：概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...

    ernest.wang 评论0 收藏2651

  • 工具简介 对象存储 US3

    摘要：工具简介工具简介工具简介本篇目录概述概述版本和运行环境版本和运行环境主要功能主要功能使用限制使用限制概述概述概述是一个在系统环境中，将的存储空间挂载到本地挂载点的工具，挂载成功后，您可以像操作本地文件一样操作存储空间中的文件。 工具简介本篇目录概述版本和运行环境主要功能使用限制概述US3FS是一个在Linux/Windows系统环境中，将US3的存储空间（Bucket）挂载到本地挂载点的工具...

    ernest.wang 评论0 收藏892

  • 工具简介 对象存储 US3

    摘要：工具简介工具简介工具简介本篇目录概述概述介绍介绍概述概述概述为了解决写入对象存储的问题，基于官方版本开发，增加了中类型为对象存储的支持，支持前缀挂载。介绍介绍介绍是一个用于的开源列式数据库，开发。具体介绍可参见官网 工具简介本篇目录概述ClickHouse介绍概述为了解决clickhouse写入UCloud对象存储US3的问题，US3基于官方clickhouse版本v20.8.7.15-lt...

    ernest.wang 评论0 收藏193

  • 常用工具 对象存储 US3

    摘要：产品底层升级后，推出工具，便于用户对存储空间文件进行管理操作，操作方式更灵活。文件挂载工具文件系统挂载工具可帮助用户在环境下以协议方式挂载文件目录，对文件对象进行操作。一致性比对工具一致性比对工具用于比对用户本地与存储空间中的文件是否一致。 常用工具本篇目录管理工具其他工具除使用 US3 管理控制台之外，您还可以通过 US3 提供的各类常用工具对 US3 存储空间及空间内的文件对象进行管理，...

    ernest.wang 评论0 收藏196

  • 数据迁移方案 对象存储 US3

    摘要：用户可通过数据迁移的方式，将第三方的存储集群数据迁移至的存储空间中，充分利用对象存储按需收费，无须购买额外硬件资源的优势，对数据进行归档，以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势，面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式，将第三方的存储集群数据迁移至 US3 的...

    ernest.wang 评论0 收藏3105

  • 迁移工具（历史版本） 对象存储 US3

    摘要：迁移工具历史版本迁移工具历史版本迁移工具历史版本本篇目录介绍介绍安装步骤安装步骤介绍介绍介绍是对象存储提供的一款将数据迁移至存储空间的工具。 迁移工具（历史版本）本篇目录介绍安装步骤介绍ufile-import 是对象存储 US3 提供的一款将数据迁移至 US3 存储空间（Bucket） 的工具。您可以将 ufile-import 部署在本地服务或者云主机上，轻松将您其他云存储的数据迁移到 ...

    ernest.wang 评论0 收藏2718

发表评论

登陆后可评论

0条评论

ernest.wang

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<