摘要: FastDFS简介 ·FastDFS是一个轻量级的开源分布式文件系统 ·FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡 ·FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 ·支持存储服务器在线扩容 ·支持相同内容的文件只保存一份,节约磁盘空间 ·FastDFS只能通过ClientAPI访问,不支持POSIX访问方式 ·FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等) FastDFS简介 ·FastDFS是一个轻量级的开源分布式文件系统 ·FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡 ·FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 ·支持存储服务器在线扩容 ·支持相同内容的文件只保存一份,节约磁盘空间 ·FastDFS只能通过ClientAPI访问,不支持POSIX访问方式 ·FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等) 系统架构-架构图 系统架构-上传文件流程图 · 1. client询问tracker上传到的storage,不需要附加参数; · 2. tracker返回一台可用的storage; · 3. client直接和storage通讯完成文件上传。 系统架构-下载文件流程图 · 1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名); · 2. tracker返回一台可用的storage; · 3. client直接和storage通讯完成文件下载。 相关术语 · Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。 · Storage Server:存储服务器,文件和meta data都保存到存储服务器上 · group:组,也可称为卷。同组内服务器上的文件是完全相同的 · 文件标识:包括两部分:组名和文件名(包含路径) · meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768 同步机制 ·同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行; ·文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器; ·源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了; ·上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。 通信协议 · 协议包由两部分组成:header和body · header共10字节,格式如下: – 8 bytes body length – 1 byte command – 1 byte status · body数据包格式由取决于具体的命令,body可以为空 运行时目录结构-tracker server · ${base_path} |__data | |__storage_groups.dat:存储分组信息 | |__storage_servers.dat:存储服务器列表 |__logs |__trackerd.log:trackerserver日志文件 运行时目录结构-storage server · ${base_path} |__data | |__.data_init_flag:当前storageserver初始化信息 | |__storage_stat.dat:当前storage server统计信息 | |__sync:存放数据同步相关文件 | | |__binlog.index:当前的binlog文件索引号 | | |__binlog.###:存放更新操作记录(日志) | | |__${ip_addr}_${port}.mark:存放同步的完成情况 | | | |__一级目录:256个存放数据文件的目录,如:00, 1F | |__二级目录:256个存放数据文件的目录 |__logs |__storaged.log:storageserver日志文件 安装和运行 ·#step 1. download FastDFS source package and unpack it, ·# if you use HTTP to download file, please downloadlibevent 1.4.x and install it ·tar xzf FastDFS_v1.x.tar.gz ·#for example: ·tar xzf FastDFS_v1.20.tar.gz · ·#step 2. enter the FastDFS dir ·cd FastDFS · ·#step 3. if HTTP supported, modify make.sh, uncommentthe line: ·# WITH_HTTPD=1, then execute: ·./make.sh · ·#step 4. make install ·./make.sh install · ·#step 5. edit/modify the config file of tracker andstorage · ·#step 6. run server programs ·#start the tracker server: ·/usr/local/bin/fdfs_trackerd · ·#start the storage server: ·/usr/local/bin/fdfs_storaged FastDFS和集中存储方式对比
|
|
来自: 开始6m01rwbqw6 > 《IT》