资讯专栏INFORMATION COLUMN

v1.7.0 对象存储 US3

ernest.wang / 2422人阅读

v1.7.0

修复了前缀自动发现式列取时,校验阶段仅校验顶层前缀的bug在不勾选前缀自动发现时,会同步源端的空目录到目的端支持了七牛专有云的endpoint

v1.6.1

修复了在专有云上无法创建endpoint的bug修复了使用前缀自动发现功能时可能会卡住的bug修复了url列表模式的endpoint可能无法创建的bug

v1.6.0

优化了数据的统计方式修复了在使用s3接口拉取列表时,返回结果中nextmarker为空导致的panic修复了重试时由于分段上传请求已经被取消而导致的上传id失效修复了一个list时始终使用同一个marker的bug新增了如果启动时不设置用户名密码,可以在首次登录界面时设置用户名密码的功能

v1.5.0

新增fetch任务模式,可以通过向server的/fetch路径下发送POST请求来增量同步文件现在可以在启动时指定--sentinel-addr参数的方式,让节点使用哨兵模式连接pika数据库支持了在使用aws,us3,oss,七牛以及url列表类型的endpoint时的https下载以及拉列表功能,可以在创建endpoint时进行配置支持了在使用aws,us3,oss,七牛类型的endpoint拉列表时,自动发现新公共前缀的功能,在这个模式下,拉列表会针对各个前缀并发列取支持了在使用us3类型的endpoint时使用prefix-file-list接口进行拉列表,该功能通常用在专有云环境支持了根据初始化分片上传任务时获取的返回结果来选择分片上传的分片大小的功能。现在源端404的任务同样会被认为是失败现在worker在丢失掉master心跳后并不会立刻退出,而是会以指数退避的策略放缓心跳,最大心跳间隔为32秒一次,如果重新捕获到主节点心跳,会恢复心跳间隔现在worker会正确的abort掉无法完成的分片上传任务现在worker在下载文件时遇到404,503,500, 504状态码,会以指数退避的形式重试5次更改了分配任务给worker的流程,现在worker获取的任务可以在worker宕机后快速恢复优化web界面,目前可以在任务列取和审计阶段看到文件列表操作的进度现在可以在创建任务时,使用正则表达式过滤源端对象键,但是此对象键不包括配置在任务中的桶名和前缀

v1.4.0

新增同步删除功能,目前可以在创建任务时勾选此选项,将源端不存在,而目的端存在的文件删除优化web界面,将同步,删除,以及正在执行的指标分隔显示

v1.3.1

忽略迁移中源端不存在的文件优化URL列表拉取源列表文件修复 不覆盖选项导致进程panic

v1.3.0

多DB优化列取方式优化local源列取优化http源列取修复oss FileGroup类型迁移失败修复空文件迁移失败非定时任务支持校验新文件

v1.2.0

定时任务取消立即启动增加MD5校验支持,创建任务指定endpoint支持prefix校验,针对指定prefix的tokenURL列表迁移,支持跳过404链接任务分发优化,迁移速度提升

v1.1.2

修复 NAS,URL 列表类型 endpoint 无法创建修复 uarchive 类型迁移,mime type 校验失败

v1.1.1

修复任务阻塞问题修复任务无法正常结束启动脚本校验预装命令前端支持必填项校验

v1.1.0

支持迁移源管理支持定期任务支持失败文件导出支持文件覆盖选项支持限速,QPS

v1.0.0

支持迁移源:s3,oss,qiniu,youpai,US3,NAS,URL列表。支持 web 管理,通过 web 管理迁移任务,迁移节点。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/127096.html

相关文章

  • 数据迁移方案 对象存储 US3

    摘要:用户可通过数据迁移的方式,将第三方的存储集群数据迁移至的存储空间中,充分利用对象存储按需收费,无须购买额外硬件资源的优势,对数据进行归档,以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势,面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式,将第三方的存储集群数据迁移至 US3 的...

    ernest.wang 评论0 收藏3105
  • 常用工具 对象存储 US3

    摘要:产品底层升级后,推出工具,便于用户对存储空间文件进行管理操作,操作方式更灵活。文件挂载工具文件系统挂载工具可帮助用户在环境下以协议方式挂载文件目录,对文件对象进行操作。一致性比对工具一致性比对工具用于比对用户本地与存储空间中的文件是否一致。 常用工具本篇目录管理工具其他工具除使用 US3 管理控制台之外,您还可以通过 US3 提供的各类常用工具对 US3 存储空间及空间内的文件对象进行管理,...

    ernest.wang 评论0 收藏196
  • 海纳百川·智慧不凡丨UCloud对象存储UFile品牌升级US3

    摘要:对象存储产品正式升级为,采用新一代自研存储引擎,为更多用户提供安全可靠极致性能成本可控便捷易用的对象存储服务。稳定可用性提升倍,带宽提升倍,提升倍,归档存储型对象存储价格降低。UCloud对象存储产品UFile正式升级为US3,采用新一代自研存储引擎,为更多用户提供安全可靠、极致性能、成本可控、便捷易用的对象存储服务。US3稳定可用性提升5倍,带宽提升2倍,IOPS提升10倍,归档存储型对象...

    Tecode 评论0 收藏0
  • 迁移工具(历史版本) 对象存储 US3

    摘要:迁移工具历史版本迁移工具历史版本迁移工具历史版本本篇目录介绍介绍安装步骤安装步骤介绍介绍介绍是对象存储提供的一款将数据迁移至存储空间的工具。 迁移工具(历史版本)本篇目录介绍安装步骤介绍ufile-import 是对象存储 US3 提供的一款将数据迁移至 US3 存储空间(Bucket) 的工具。您可以将 ufile-import 部署在本地服务或者云主机上,轻松将您其他云存储的数据迁移到 ...

    ernest.wang 评论0 收藏2718
  • 开通 US3 服务 对象存储 US3

    摘要:开通服务开通服务开通服务本篇目录使用使用当您注册账号并完成实名认证后,即可使用对象存储服务。对象存储服务为您提供基于网络的数据存取服务。在控制台界面左上角点击全部产品按钮,在产品列表中点击对象存储。 开通 US3 服务本篇目录使用 US3当您注册 UCloud 账号并完成实名认证后,即可使用 US3 对象存储服务。UCloud 对象存储服务 US3 为您提供基于网络的数据存取服务。使用 US...

    ernest.wang 评论0 收藏2044

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<