分布式文件系统FastDFS详解与实践

分布式文件系统 (Distributed File System) 是一个软件/服务器，这个软件可以用来管理文件；

但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件；

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等；

GFS（Google File System）

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统；

HDFS

Hadoop 实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS；

Lustre

是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的；

Ceph

是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统；

GridFS

GridFS是MongoDB之上的分布式文件系统，其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据；

MogileFS

由memcahed的开发公司danga，开发的一款采用perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等；

mooseFS

相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差；

分布式文件系统与传统文件系统对比：

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源；

FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等；

FastDFS充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务；

2008年4月项目启动，7月发布第一个版本V1.00，两年时间内持续升级到V1.29；

2010年8月推出V2.00；

2011年6月推出V3.00；

2012年10月推出V4.0.0；

2013年12月推出V5.0.0；

截止目前最新版是V5.11；（2017年6月发布）

FastDFS系统架构从第一个版本发布后一直没有大的调整，高版本完全兼容低版本的数据，可以做到平滑升级，推荐更新升级到最新版本；

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端；

客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端；

FastDFS提供专有API访问，目前提供了 C、Java 和 PHP 几种编程语言的API，用来访问FastDFS文件系统；

服务端由两个部分构成：一个是跟踪器（tracker），一个是存储节点（storage）；

跟踪器（tracker）主要做调度工作，在访问上起负载均衡的作用，在内存中记录集群中group和storage server的状态信息，是前端Client和后端Storage server的枢纽。 因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。

存储节点（storage）用于存储文件，文件和文件属性（meta data）都保存到存储服务器上，完成文件管理的所有功能：文件存储、文件同步和提供文件存取接口等；

高薪课程推荐：