django中FastDFS客户端与自定义文件存储系统

摘要：客户端请求进行文件上传下载，通过调度最终由完成文件上传和下载。作用是文件存储，客户端上传的文件最终存储在服务器上，没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。如果名为的文件在文件系统中存在，则返回，否则返回。

什么是FastDFS

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。

Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上， Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将 storage 称为存储服务器。

利用docker安装fastDFS

docker image pull delron/fastdfs
执行如下命令开启tracker 服务
ocker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
执行如下命令查看tracker是否运行起来

docker container ls
如果想停止tracker服务，可以执行如下命令

docker container stop tracker
停止后，重新运行tracker，可以执行如下命令

docker container start tracker
执行如下命令开启storage服务
docker run -dti --network=host --name storage -e TRACKER_SERVER=10.211.55.5:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
执行如下命令查看storage是否运行起来

docker container ls
如果想停止storage服务，可以执行如下命令

docker container stop storage
停止后，重新运行storage，可以执行如下命令

docker container start storage、
python版本的FastDFS客户端使用说明参考https://github.com/jefforeill...

使用FastDFS客户端，需要有配置文件。
base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行tracker服务的机器ip:22122
上传文件需要先创建fdfs_client.client.Fdfs_client的对象，并指明配置文件，如

from fdfs_client.client import Fdfs_client
client = Fdfs_client("fastdfs/client.conf")
通过创建的客户端对象执行上传文件的方法

client.upload_by_filename(文件名)
或
client.upload_by_buffer(文件bytes数据)

自定义Django文件存储系统
Django自带文件存储系统，但是默认文件存储在本地，我们需要将文件保存到FastDFS服务器上。
自定义文件存储系统的方法如下：

1）需要继承自django.core.files.storage.Storage，如

from django.core.files.storage import Storage

class FastDFSStorage(Storage):

...

2）支持Django不带任何参数来实例化存储类，也就是说任何设置都应该从django.conf.settings中获取

from django.conf import settings
from django.core.files.storage import Storage

class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

3）存储类中必须实现_open()和_save()方法，以及任何后续使用中可能用到的其他方法。

_open(name, mode="rb")

被Storage.open()调用，在打开文件时被使用。

_save(name, content)

被Storage.save()调用，name是传入的文件名，content是Django接收到的文件内容，该方法需要将content文件内容保存。

Django会将该方法的返回值保存到数据库中对应的文件字段，也就是说该方法应该返回要保存在数据库中的文件名称信息。

exists(name)

如果名为name的文件在文件系统中存在，则返回True，否则返回False。

url(name)

返回文件的完整访问URL

delete(name)

删除name的文件

listdir(path)

列出指定路径的内容

size(name)

返回name文件的总大小

注意，并不是这些方法全部都要实现，可以省略用不到的方法。

4）需要为存储类添加django.utils.deconstruct.deconstructible装饰器

我们在fastdfs目录中创建fdfs_storage.py文件，实现可以使用FastDFS存储文件的存储类如下

from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client

@deconstructible
class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    """
    初始化
    :param base_url: 用于构造图片完整路径使用，图片服务器的域名
    :param client_conf: FastDFS客户端配置文件的路径
    """
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

def _save(self, name, content):
    """
    在FastDFS中保存文件
    :param name: 传入的文件名
    :param content: 文件内容
    :return: 保存到数据库中的FastDFS的文件名
    """
    client = Fdfs_client(self.client_conf)
    ret = client.upload_by_buffer(content.read())
    if ret.get("Status") != "Upload successed.":
        raise Exception("upload file failed")
    file_name = ret.get("Remote file_id")
    return file_name

def url(self, name):
    """
    返回文件的完整URL路径
    :param name: 数据库中保存的文件名
    :return: 完整的URL
    """
    return self.base_url + name

def exists(self, name):
    """
    判断文件是否存在，FastDFS可以自行解决文件的重名问题
    所以此处返回False，告诉Django上传的都是新文件
    :param name:  文件名
    :return: False
    """
    return False

在Django配置中设置自定义文件存储类

在settings/dev.py文件中添加设置

DEFAULT_FILE_STORAGE = "fastdfs.fdfs_storage.FastDFSStorage"

FDFS_URL = "http://xxx:8888/"
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, "fastdfs/client.conf")

添加image域名

在/etc/hosts中添加访问FastDFS storage服务器的域名

127.0.0.1 xxx