记一次文件存储系统升级和迁移

Posted by 呆贝斯 on August 23, 2023

问题场景

公司文件存储目前使用自己搭建的FDFS文件存储系统。FDFS搭建在阿里云服务器上,单机部署,没有做集群高可用。 公司多个业务系统使用该FDFS,各个业务的数据也没有办法区分开,公司还要承担高昂的续费和扩容费用。

原文件存储系统缺点:

  1. 不具备高可用
  2. 存储的数据复杂,不容易区分
  3. 冗余数据很多,年份太久的数据不方便删除
  4. 续费和扩容价格高昂

思考

针对原文件存储系统存在的问题,开始思考相应的解决方案。经过筛选阿里云OSS成本较低,选用归档存储加归档直读可以将成本降的更低, 对于数据有特殊存储要求的业务,选择自建Go-FDFS集群。每个业务单独建Bucket或Group,拆分业务数据,根据需要按日期拆分。

解决方案

  1. 改造各业务系统,将新文件存到阿里云OSS或Go-FDFS,不再向老的FDFS中添加文件。 新文件根据业务和日期存储到服务器不同路径,方便后删除过期数据。
  2. 业务系统原文件url仍指向老的存储系统,新文件指向新的存储系统。
  3. 由于老的存储系统不再接受新数据,存储的文件只需要提供低频次访问,可选择将数据转移到更具性价比服务上。