资讯专栏INFORMATION COLUMN

快速上手 对象存储 US3

ernest.wang / 1175人阅读

快速上手

本篇目录

视频教学配置管理创建存储空间上传文件或文件夹下载文件或文件夹拷贝文件或文件夹删除文件或文件夹查询文件基本信息获取文件列表文件基本信息修改视频教学配置管理创建存储空间上传文件或文件夹下载文件或文件夹拷贝文件或文件夹删除文件或文件夹查询文件基本信息文件基本信息修改

视频教学

观看以下视频,快速上手使用US3CLI

配置管理

此处主要介绍us3cli工具配置方式以及常见的使用场景,us3cli工具支持多种配置生成方式,对于不同配置项,支持配置项之间的切换、配置项删除、更新、查看。对于单个配置项,支持配置内容加密(公私钥)、HTTPS、代理。

配置项:一个配置项代表一个不同权限的配置文件,便于不同操作权限区分管理

常用配置配置项创建配置项管理临时配置

配置方式根据是否保存配置文件做区分,分为常用配置和临时配置,常用配置可进行更新、切换、查看等操作,临时配置作为参数在其他命令运行时输入,表示当前配置参数只在当前命令运行时生效。

常用配置

命令格式:

us3cli config  [--ls][--su <配置名>][--rm <配置名>][--cat <配置名>][--encrypt][--ssl][--proxy [代理地址]]
               [--accesskey ][--secretkey ][--endpoint <访问域名>]

常用配置创建方式分为两种:交互式配置和一键配置,命令格式相同,使用方式不同

配置项创建交互式配置

使用示例:

#./us3cli config
请输入当前配置项名称: config1
开始创建新配置项:[ config1 ]
是否启用配置加密(y or n) ? n
请输入API/Token公钥[当前:]: xxxxxxxxxxxxxxxxxxxxxx
请输入API/Token私钥[当前:]: xxxxxxxxxxxxxxxxxxxxxx
地区列表:
No.     RegionName      Region      
0       北京        cn-bj       
1       上海二        cn-sh2      
2       广州        cn-gd       
3       香港        hk          
4       洛杉矶        us-ca       
5       新加坡        sg          
6       雅加达        idn-jakarta 
7       台北        tw-tp       
8       拉各斯        afr-nigeria 
9       圣保罗        bra-saopaulo
10      迪拜        uae-dubai   
11      法兰克福        ge-fra      
12      胡志明市        vn-sng      
13      华盛顿        us-ws       
14      孟买        ind-mumbai  
15      首尔        kr-seoul    
请输入region编号: 0
内外网列表:
No.     Network
0       外网   
1       内网   
请选择或输入内外网编号:0
您选择的endpoint是:[cn-bj.ufileos.com],[当前:],请输入回车确认或自定义endponit:
当前最终配置:
ConfigName: config1
AccessKey: xxxxxxxxxxxxxxxxxxxxxx
SecretKey: xxxxxxxxxxxxxxxxxxxxxx
Endpoint: cn-bj.ufileos.com
请检查后输入回车确认:
是否启用HTTPS (y or n) ? n
是否启用代理(y or n):n
配置文件 [ config1 ] 已修改
是否使用该配置作为默认配置(当前默认配置为:< config >)(y or n)?
一键配置

使用示例:

./us3cli config config1 --accesskey TOKEN_13be86********* --secretkey BAtrQO8LYdgve1HS_benbK-MXNTl3********** --endpoint cn-bj.ufileos.com
配置项管理
#切换默认配置
./us3cli config --su config1
#删除指定配置(只支持指定配置项名称删除,不支持指定路径)
./us3cli config --rm config1
#配置项内容查看,包含accesskey、secretkey、endpoint
./us3cli config --cat config1
#查看当前所有配置项列表,默认配置会标明 "(default)",Authority表示当前配置是Token密钥类型还是API密钥类型(只判断类型,不进行权限验证)
./us3cli config --ls
临时配置

临时配置可以通过配置名、配置文件路径、配置项内容使用,具体示例如下:

#1.通过配置名指定临时配置
./us3cli ls us3://bucket1 --config config2
#2.通过配置文件路径指定临时配置
./us3cli ls us3://bucket1 --config ~/go/src/userconfig.yaml
#3.通过配置项内容直接指定临时配置
./us3cli ls us3://bucket1 --accesskey "xxxxxx" --secretkey "xxxxxx" --endpoint "xxxxxx"

注:当前版本支持自定义配置文件,但只支持与工具自动生成配置文件内容相同的配置文件

自定义配置文件内容如下,具体填写说明见常用命令页config命令介绍

accesskey: "user accesskey"
secretkey: "user secretkey"
endpoint: "ufile.cn-north-02.ucloud.cn"
encrypt: "false"
enablessl: "false"
proxy: "http://ip:port or https://ip:port"

创建存储空间

交互式创建
命令格式:
us3cli mb us3://<bucketname>
使用示例:
# ./us3cli mb us3://bucketTest
请输入要创建bucket的权限类型acl(private/public,默认为private):private  
地区列表:
No.     RegionName      Region      
0       北京        cn-bj       
1       上海二        cn-sh2      
2       广州        cn-gd       
3       香港        hk          
4       洛杉矶        us-ca       
5       新加坡        sg          
6       雅加达        idn-jakarta 
7       台北        tw-tp       
8       拉各斯        afr-nigeria 
9       圣保罗        bra-saopaulo
10      迪拜        uae-dubai   
11      法兰克福        ge-fra      
12      胡志明市        vn-sng      
13      华盛顿        us-ws       
14      孟买        ind-mumbai  
15      首尔        kr-seoul     
请输入要创建bucket地区编号或地区代码(默认为北京:cn-bj):0
Region: cn-bj
当前账号下项目信息如下:
No.     ProjectName     ProjectId 
1       Default         org-orcwsj
请输入要创建bucket的项目编号:1
Number: 1
ProjectID: org-orcwsj
2020-11-24 17:52:56.973 INFO Make bucket [ bucketTest ] success
一键创建
#命令格式:
us3cli mb us3://<bucketname> --projectid <projectid> --region <region> --acl <acl>
#使用示例:
./us3cli mb us3://buckettest --projectid org-test --region cn-bj --acl public

上传文件或文件夹

上传单个文件
#命令格式:
#普通文件
us3cli cp <local filename> us3://<bucketname>/<us3key>
#流式文件
us3cli rcat us3://<bucketname>/<us3key>
#使用示例:
#普通上传文件,不指定任何参数
./us3cli cp ./test.txt us3://buckettest/test.txt
#指定存储类型为IA上传 (不区分大小写)
./us3cli cp ./test.txt us3://buckettest/test.txt --storageclass IA
#指定并发数,设置并发数为10(文件大于64MB时才会有效果,因为64MB以上大文件才会使用分片上传)
./us3cli cp ./test.txt us3://buckettest/test.txt --parallel 10
#将本地文件test.txt cat到标准输入,再上传至us3存储空间内
cat test.txt | ./us3cli rcat us3://buckettest/test.txt
#流式上传并指定失败重试次数为10,设置并发数为10
cat test.txt | ./us3cli rcat us3://buckettest/test.txt --retrycount 10 --parallel 10
上传文件夹
#命令格式:
us3cli cp -r <localdir> us3://<bucketname>/<us3key>
#使用示例:
#普通上传文件夹
./us3cli cp -r ./testdir us3://buckettest/us3dir
#上传后缀名为“.txt"的文件
./us3cli cp -r ./testdir us3://buckettest/us3dir --include "*txt"
#上传文件名不包含test的文件
./us3cli cp -r ./testdir us3://buckettest/us3dir --exclude "*test*"
#上传文件夹并进行完整性校验
./us3cli cp -r ./testdir us3://buckettest/us3dir --check
增量上传文件夹

增量上传文件夹:对比本地文件夹和us3对应的文件夹,忽略已上传的文件,将未上传过的文件上传到us3文件夹内

#命令格式:
us3cli sync <localdir> us3://<bucketname>/<us3key>
#使用示例:
#遍历本地文件夹,以本地缓存为标准进行同步,如果文件修改时间晚于本地缓存保存的时间,或者未保存过,则上传文件,否则跳过
./us3cli sync ./testdir us3://buckettest/us3dir
#遍历本地文件夹,以本地缓存为标准进行同步,如果文件etag和本地缓存保存的etag不同,则上传文件,否则跳过
./us3cli sync ./testdir us3://buckettest/us3dir --ruler etag
#遍历本地文件夹,对比本地和us3所有文件,如果文件修改时间晚于us3文件的修改时间,则上传文件,否则跳过
#如果存在文件在us3的目录下存在,但在本地不存在,则删除us3中的该文件(该删除操作会默认询问,目前不提供强制删除功能)
./us3cli sync ./testdir us3://buckettest/us3dir --mode local
#遍历本地文件夹,对比本地和us3所有文件,如果文件etag和us3同一文件的etag不同,则上传文件,否则跳过
./us3cli sync ./testdir us3://buckettest/us3dir --mode local --ruler etag
#增量上传并指定存储类型为低频类型
./us3cli sync ./testdir us3://buckettest/us3dir --storageclass ”IA“
#增量上传并指定mimetype
./us3cli sync ./testdir us3://buckettest/us3dir --mimetype "mimetype1"

下载文件或文件夹

下载单个文件
#命令格式:
#普通下载
us3cli cp  us3://<bucketname>/<us3key> <local filename>
#流式下载
us3cli cat us3://<bucketname>/<us3key>
#使用示例:
#普通下载单个文件
./us3cli cp us3://buckettest/test.txt ./test.txt
#下载文件,每个分片大小指定为8M(不区分大小写,并且默认大小为4M,最小值为4M)
./us3cli cp us3://buckettest/test.txt ./test.txt --partsize 4M
#流式文件下载(文件会写入到标准输入)
./us3cli cat us3://buckettest/test.txt
#流式下载并指定并发数,重试次数为10
./us3cli cat us3://buckettest/test.txt --parallel 10 --retrycount 10
下载文件夹
#命令格式:
us3cli cp -r  us3://<bucketname>/<us3key> <localdir>
#使用示例:
#普通下载文件夹
./us3cli cp -r  us3://buckettest/us3dir ./testdir
#下载文件夹并指定并发数为20
./us3cli cp -r us3://buckettest/us3dir ./testdir --parallel 20
#下载文件夹并限速为100MB/s
./us3cli cp -r us3://buckettest/us3dir ./testdir --speedlimit 100MB

拷贝文件或文件夹

#命令格式
us3cli cp us3://<bucketname>/<us3key>
#使用示例
#将文件从bucket1拷贝至bucket2中(两个bucket必须在同一地域中,如需要不同地域的数据复制,则需要使用跨区域复制功能)
./us3cli cp us3://bucket1/test.txt us3://bucket2/test.txt
#将文件夹从bucket1拷贝到bucket2中
./us3cli cp -r us3://bucket1/test us3://bucket2/test
#将bucket1中test文件夹中以".txt"结尾的文件拷贝到bucket2的test文件夹中
./us3cli cp -r us3://bucket1/test us3://bucket2/test --include "*.txt"

删除文件或文件夹

删除单个文件
#命令格式:
us3cli rm  us3://<bucketname>/<us3key>
#使用示例:
#删除文件
./us3cli rm us3://buckettest/test.txt
#强制删除
./us3cli rm -f us3://buckettest/test.txt
删除文件夹
#命令格式:
us3cli rm  -r us3://<bucketname>/<us3key>
#使用示例:
#删除文件夹
./us3cli rm -r us3://buckettest/test
#强制删除整个test文件夹
./us3cli rm -r -f us3://buckettest/test
#删除test文件夹下不含有test的文件
./us3cli rm -r -f us3://buckettest/test --exclude "*test*"
#设置并发数为10,强制清空当前buckettest存储空间
./us3cli rm -r -f us3://buckettest --parallel 10 
#删除文件夹,限制请求数量为每秒10个
./us3cli rm -r -f us3://buckettest/test --qps 10

查询文件基本信息

#命令格式
us3cli stat us3://<bucketname>/<us3key>
#使用示例
./us3cli stat us3://buckettest/test.txt

获取文件列表

#命令格式
us3cli ls us3://<bucketname>[/us3key]
#使用示例
./us3cli ls us3://buckettest
#拉取buckettest中的文件,只显示10个
./us3cli ls us3://buckettest --limit 10
#拉取buckettest中的文件,并以非目录形式展示
#非目录形式:目录下所有的文件都显示完整路径,子目录下的文件也会列出
./us3cli ls us3://buckettest --flat
#列取buckettest中的文件,并展示是否已取回,以及取回时间
#数据取回:指归档类型的数据短暂激活,可以下载
./us3cli ls us3://buckettest --restore

文件基本信息修改

#命令格式
us3cli modify us3://<bucketname>/us3key
#使用示例
#修改文件mimetype为xxx/yyy
./us3cli modify us3://buckettest/test.txt --mimetype xxx/yyy
#为文件增加metadata  key为 "name"  value为 "us3cli"
./us3cli modify us3://buckettest/test.txt --metadata name=us3cli
#清空当前文件的metadata
./us3cli modify us3://buckettest/test.txt --metadata "" --replace
#修改文件的存储类型为ARCHIVE(归档类型)
./us3cli modify us3://buckettest/test.txt --storageclass ARCHIVE

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126915.html

相关文章

  • 概览 对象存储 US3

    摘要:概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...

    ernest.wang 评论0 收藏2651
  • 【归档存储 UArchive】使用场景、控制台快速上手

    摘要:更多归档存储类型的使用说明请参考数据归档方案。控制台快速上手注产品已作为归档存储类型合并至对象存储,目前不再向新用户提供独立的归档存储服务。创建归档存储空间登录控制台,选择右侧归档存储后进入归档存储列表页,选择创建归档存储空间按钮。使用场景注:UArchive 产品已作为归档存储类型合并至 US3 对象存储,目前不再向新用户提供独立的归档存储服务。如需使用更低成本的对象存储服务,请至 US3...

    Tecode 评论0 收藏0
  • 对象存储下载与环境准备 US3

    摘要:安装适配器安装适配器安装适配器配置各个节点的参数项,参数项参考快速上手参数说明将拷贝到下接入方式具有侵入性,适用于小规模计算分析场景,大数据备份需求场景请参考快速上手场景示例。 下载与环境准备本篇目录下载与安装安装适配器下载与安装获取适配器 US3大数据适配器通过jar包形式提供其功能,US3大数据适配器jar包格式为us3-bigdata-adaptor-${hadoop version}...

    ernest.wang 评论0 收藏390
  • UCloud对象存储us3使用方法

    摘要:文件管理控制台文件管理大于工具分片上传工具使用之前请配置内外网不同地区域名不同,详情参考文档上传工具可以配置相关客户端密钥填写公私钥注固定域名不加后缀目前仅中国北京二,中国香港,越南胡志明,韩国首尔,巴西圣US3文件管理1、控制台文件管理(大于500M 工具分片上传) 2、filemgr工具https://docs.ucloud.cn/ufile/tools/tools/tools_file...

    Tecode 评论0 收藏0
  • UCloud优刻得推出自研存储引擎US3 持续降低用户存储成本

    摘要:本次大会上,优刻得基于自研的全新存储底层架构推出新一代对象存储产品。推出新一代自研存储引擎,持续降低存储成本优刻得在今年月推出了元月的归档存储产品,打破了存储领域降本的边界。伴随着5G、大数据的广泛应用,带来了数据量的爆炸式增长。根据IDC预测,2025年全球数据总量将达到惊人的175ZB。数据存储在未来的数字化时代将面临更多挑战:每秒钟存储数据写入性能、数据云端存储可靠性、数据存储成本增高...

    Tecode 评论0 收藏0
  • 数据迁移方案 对象存储 US3

    摘要:用户可通过数据迁移的方式,将第三方的存储集群数据迁移至的存储空间中,充分利用对象存储按需收费,无须购买额外硬件资源的优势,对数据进行归档,以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势,面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式,将第三方的存储集群数据迁移至 US3 的...

    ernest.wang 评论0 收藏3105

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<