摘要：因为对分布式文件系统的访问是基于目录树的结构，而对象存储的索引只是简单的结构，所以直接通过来模拟目录树的移动目录，删除目录等操作时时延高。
US3VMDS（全称：US3 Virtual Metadata Service）工具是为了解决Hadoop访问UCloud对象存储US3索引速度较慢的问题而引入的一个服务组件。因为Hadoop对分布式文件系统的访问是基于目录树的结构，而对象存储的索引只是简单的KV结构，所以直接通过US3来模拟目录树的移动目录，删除目录等操作时时延高。US3VMDS在内存中基于US3的存储空间索引构建目录树结构，这样客户端可以通过单次交互来实现复杂的逻辑，并可以利用全内存的索引加速如Hadoop对分布式文件系统的getFileStatus，listStatus等操作。
US3VMDS实现了us3适配器用到的Head、PUT、ListObjects、Delete、Rename、Copy几个API来处理索引请求，并在内存中构建了目录树，其位置类似HDFS实现的NameNode。US3 适配器IO请求则直接发给US3，只是Write IO成功后会通知US3VMDS(时延在150us左右，影响可以忽略不计)。整个架构如下图所示。
大于等于v0.1.0版本的US3VMDS同样支持高可用集群部署，集群中同时存在一个主节点和多个备节点。主节点会如上面描述的那样正常提供缓存服务，备节点则仅会处理索引请求，但是不会将结果在内存中缓存。集群中的各个节点以及US3Hadoop适配器会监听zookeeper中的US3VMDS节点信息变动，一旦发现主节点离线(主节点崩溃，网络不通等问题)，则将一个备用节点晋升为主节点来提供缓存服务。架构如下图:
该架构适合加速加速备份场景和中小规模计算分析场景。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/126830.html
摘要：概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...
摘要：工具简介工具简介工具简介本篇目录概述概述版本和运行环境版本和运行环境主要功能主要功能使用限制使用限制概述概述概述是一个在系统环境中，将的存储空间挂载到本地挂载点的工具，挂载成功后，您可以像操作本地文件一样操作存储空间中的文件。 工具简介本篇目录概述版本和运行环境主要功能使用限制概述US3FS是一个在Linux/Windows系统环境中，将US3的存储空间（Bucket）挂载到本地挂载点的工具...
摘要：工具简介工具简介工具简介本篇目录概述概述介绍介绍概述概述概述为了解决写入对象存储的问题，基于官方版本开发，增加了中类型为对象存储的支持，支持前缀挂载。介绍介绍介绍是一个用于的开源列式数据库，开发。具体介绍可参见官网 工具简介本篇目录概述ClickHouse介绍概述为了解决clickhouse写入UCloud对象存储US3的问题，US3基于官方clickhouse版本v20.8.7.15-lt...
摘要：产品底层升级后，推出工具，便于用户对存储空间文件进行管理操作，操作方式更灵活。文件挂载工具文件系统挂载工具可帮助用户在环境下以协议方式挂载文件目录，对文件对象进行操作。一致性比对工具一致性比对工具用于比对用户本地与存储空间中的文件是否一致。 常用工具本篇目录管理工具其他工具除使用 US3 管理控制台之外，您还可以通过 US3 提供的各类常用工具对 US3 存储空间及空间内的文件对象进行管理，...
摘要：用户可通过数据迁移的方式，将第三方的存储集群数据迁移至的存储空间中，充分利用对象存储按需收费，无须购买额外硬件资源的优势，对数据进行归档，以实现成本最优。 数据迁移方案本篇目录背景US3 镜像回源功能US3 数据迁移工具背景对象存储具有容量大、成本低、高扩展性以及高可靠性等优势，面对增量数据导致的存储容量瓶颈、成本增加等问题。用户可通过数据迁移的方式，将第三方的存储集群数据迁移至 US3 的...
摘要：迁移工具历史版本迁移工具历史版本迁移工具历史版本本篇目录介绍介绍安装步骤安装步骤介绍介绍介绍是对象存储提供的一款将数据迁移至存储空间的工具。 迁移工具（历史版本）本篇目录介绍安装步骤介绍ufile-import 是对象存储 US3 提供的一款将数据迁移至 US3 存储空间（Bucket） 的工具。您可以将 ufile-import 部署在本地服务或者云主机上，轻松将您其他云存储的数据迁移到 ...
阅读 121·2024-11-07 18:25
阅读 130169·2024-02-01 10:43
阅读 792·2024-01-31 14:58
阅读 768·2024-01-31 14:54
阅读 82585·2024-01-29 17:11
阅读 2894·2024-01-25 14:55
阅读 1932·2023-06-02 13:36
阅读 2875·2023-05-23 10:26
