资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/Fastdfs集群迁移及扩容

Fastdfs集群迁移及扩容

IT那活儿 / 1112人阅读
Fastdfs集群迁移及扩容

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

业务场景

  • Fastdfs软件版本

    Fastdfs：5.05

  • 节点架构

    2主机、2nginx、2tracker、2storage

  • 迁移后软件版本

    Fastdfs：6.07

  • 迁移及扩容后架构

    3主机、3nginx、3tracker、3storage


迁移原因描述

1. 老环境版本为5.05通过之前运维情况该版本会出现fastdfs进程占满cpu情况，核实开源社区为该版本的bug，可升级版本解决。

2. 老环境fastdfs为两节点，数据只有两份可靠性不足。

3. 老环境fastdfs的nginx未配置高可用VIP，业务程序也未配置连接fastdfs集群。

结构及详细说明

Fastdfs迁移过程架构图

迁移后解决问题：

  • 迁移同时升级了版本，新环境版本为6.07；
  • 新环境架构为三节点集群，数据三副本，可靠性足；

  • 业务程序整改为连接fastdfs集群及高可用VIP。

迁移过程

1. 在新环境主机26、27、28上安装6.07版fastdfs及nginx（先不启动）。
2. 停掉老环境主机16、17上的nginx、 storage、tracker节点。
3. 拷贝16、17 storage节点的storage/data目录及目录下所有文件到新环境节点26、27对应的storage目录下，修改data目录下隐藏文件.data_init_flag里对应的ip，修改data/sync目录下IP.mark文件名为新环境对应IP.mark。
4. 拷贝16、17 tracker节点的tracker/data目录及目录下所有文件到新环境节点26、27对应的tracker目录下，修改data目录下文件storage_servers_new.dat、storage_sync_timestamp.dat里对应的ip。
5. 启动26、27的nginx、tracker节点、storage节点。

6. 检查集群状态，通过fastdfs自带的monitor工具进行检查。

fdfs_monitor storage.conf
7. 集群状态正常后新增第三个节点28，启动28的storage节点等待同步完成。

8. 同步完成后添加28tracker节点及nginx，需修改26、27、28storage的配置文件里的tracker地址为26、27、28的tracker嗲子并重启26、27、28的storage节点。

迁移总结

1. 通过此次迁移发现fastdfs 6的版本相较于5版本所产生的文件没有太大改动可以直接通过冷拷贝data目录进行升级。
2. 在扩容第3个节点时由于原有数据量很大在同步过程中产生了较高流量，建议扩容节点时在业务闲时进行扩容。

3. fastdfs业务的使用一般是通过业务程序连接tracker地址进行文件的写入，读取是通过nginx进行读取，所以高可用方面需进行两方面的配置：

  • 读取方面进行nginx+keepalived的高可用配置。
  • 写入方面需要业务程序实现连接tracker集群模式。

本文作者：赵 刚（上海新炬王翦团队）

本文来源：“IT那活儿”公众号

云服务器 GPU云服务器 迁移工具及费用 服务器集群扩容 服务器集群自动扩容 集群hbase重构迁移

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129310.html

相关文章

  • java 文件存储

    摘要：优点开发成本低，可以配置加速网络三分布式文件系统方案常见的分布式文件系统有，等。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题，而一般小应用开发会选择服务器本地目录做为存储地址，通过保存文件的相对路径来获取文件，在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时，都需要将文件目录做一次备...

    Alfred 评论0 收藏0

  • java 文件存储

    摘要：优点开发成本低，可以配置加速网络三分布式文件系统方案常见的分布式文件系统有，等。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题，而一般小应用开发会选择服务器本地目录做为存储地址，通过保存文件的相对路径来获取文件，在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时，都需要将文件目录做一次备...

    shery 评论0 收藏0

  • FastDFS+Nginx搭建分布式图片存储

    摘要：可以将称为追踪服务器或调度服务器。实际保存文件分为多个组，每个组之间保存的文件是不同的。虚拟磁盘路径配置的虚拟路径，与磁盘选项对应。数据两级目录服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。1.什么是FastDFS FastDFS是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等...

    CoderDock 评论0 收藏0

  • FastDFS

    摘要：可以将称为追踪服务器或调度服务器。实际保存文件分为多个组，每个组之间保存的文件是不同的。文件索引信息包括组名，虚拟磁盘路径，数据两级目录，文件名。虚拟磁盘路径配置的虚拟路径，与磁盘选项对应。 分布式图片服务器FastDFS 1 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等...

    raoyi 评论0 收藏0

  • 分布式文件存储 FastDFS

    摘要：一概念简述是由淘宝开发平台部资深架构师余庆开发，是一个轻量级高性能的开源分布式文件系统，用纯语言开发，包括文件存储文件同步文件访问上传下载存取负载均衡在线扩容相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。故障恢复后，再次夺回。 一、概念简述 FastDFS 是由淘宝开发平台部资深架构师余庆开发，是一个轻量级、高性能的开源分布式文件系统( Distributed File ...

    AlphaWallet 评论0 收藏0

发表评论

登陆后可评论

0条评论

IT那活儿

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<