FastDFS分布式文件系统搭配nginx的安装、配置与使用

FastDFS介绍:

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。

FastDFS主要内容:

tracker:追踪者服务器,主要用于协调调度,可以起到负载均衡的作用,记录storage的相关状态信息。
storage:存储服务器,用于保存文件以及文件的元数据信息。
group:组,同组节点提供冗余备份,不同组用于扩容。
mata data:文件的元数据信息,比如长宽信息,图片后缀,视频的帧数等。

FastDFS安装:

第一步:基础环境准备

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget  git

第二步:主体安装,主要安装以下内容

libfatscommon:FastDFS分离出的一些公用函数包
FastDFS:FastDFS本体
fastdfs-nginx-module:FastDFS和nginx的关联模块
nginx:发布访问服务

安装libfatscommon:

unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh
./make.sh install

安装FastDFS:

unzip fastdfs-master.zip 
cd fastdfs-master/
./make.sh 
./make.sh install

安装fastdfs-nginx-module:

unzip fastdfs-nginx-module-master.zip 
cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs

安装nginx,设置安装目录,添加FastDFS和nginx关联模块,并且添加ssl模块方便后期配置HTTPS域名访问:

tar -zxvf nginx-1.22.0.tar.gz 
cd nginx-1.22.0/
./configure --prefix=/usr/local/nginx --add-module=/data/fastdfs-nginx-module-master/src --with-http_ssl_module
make
make install

到此,所有的安装已经结束,但是配置文件还没配置,所以所有的服务都不能启动,不然就会报错。

FastDFS配置:

配置:1个Tracker+3个Storage,分别用来存放图片、视频、其他文件。

数据文件存放目录:/data/fileServer/,在该文件夹下创建以下目录:

cd /data/fileServer/
mkdir client storage tracker
cd storage
mkdir image video file

配置文件放置目录:/etc/fdfs/

配置tracker.conf,主要配置如下,其他配置使用默认配置即可:

# tracker server 服务端口 
port=22122
# 存放数据和日志的基础路径
base_path=/data/fileServer/tracker
# 文件上传选择组的策略
# 0: 轮询
# 1: 指定组
# 2: 均衡,选择空间空闲最大的组
store_lookup=2

# 当store_lookup为1时,必须指定组的名字,该组名字必须时真实存在的
# 如果store_lookup如果是0或2,则此参数无效 
store_group=image
# tracker server的HTTP端口
http.server_port=8080

配置storage_image.conf、storage_video.conf和stroage_file.conf,主要配置如下,其他配置使用默认配置即可:

# 组名称
group_name=image
# 组服务端口
port=23000
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/image
store_path0=/data/fileServer/storage/image
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888
# 组名称
group_name=video
# 组服务端口
port=23001
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/video
store_path0=/data/fileServer/storage/video
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888
# 组名称
group_name=file
# 组服务端口
port=23002
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/file
store_path0=/data/fileServer/storage/file
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888

配置client.conf,主要配置如下,其他配置使用默认配置即可:

# 存储日志文件的路径
base_path=/data/fileServer/client
# 这里建议使用公网IP,方便从互联网上传文件
tracker_server=49.232.105.121:22122
# tracker服务器的 http端口号,必须等于tracker.conf中的http.server_port值
http.tracker_server_port=8080

到这里,FastDFS文件服务系统已经配置成功了,此时可以启动服务,在服务器上面操作上传文件了。
启动服务:

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf 
/usr/bin/fdfs_storaged /etc/fdfs/storage_image.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_video.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_file.conf

上传文件,根据配置文件的配置,上传组策略采用均衡(load balance)方式:

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /data/des.png

文件上传成功返回信息如下:

file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

图片可以上传了,但是如果通过浏览器查看,这个时候就需要配置插件mod_fastdfs和nginx。

配置mod_fastdfs.conf,主要配置如下,其他配置使用默认配置即可:

# tracker server的ip和端口
tracker_server=49.232.105.121:22122
# 是否在访问地址中加入组信息,比如${group_name}/M00/00/00/xxx
url_have_group_name = true

# 分组数量,必须与下方group settings中group组实际数一致,不然浏览器查看时会报404
# 如果下方group settings中没有设置group组,则为使用单一组,设置为0
group_count = 3

# 组设置,主要包括组名字、端口、存储数量、存储地址,与storage配置文件中的信息保持一致
[group1]
group_name=image
storage_server_port=23000
store_path_count=1
store_path0=/data/fileServer/storage/image

[group2]
group_name=video
storage_server_port=23001
store_path_count=1
store_path0=/data/fileServer/storage/video

[group3]
group_name=file
storage_server_port=23002
store_path_count=1
store_path0=/data/fileServer/storage/file

配置nginx,添加以下端口监听:

#文件服务器
server {
  listen       8888;
  server_name 49.232.105.121;
    location ~/image|video|file/ {
    ngx_fastdfs_module;
  }
  error_page   500 502 503 504  /50x.html;
  location = /50x.html {
    root   html;
  }

}

另有两个配置文件,http.conf和mime.types,使用默认配置即可,无需修改。

启动nginx:

cd /usr/local/nginx/sbin
./nginx

通过浏览器查看刚才上次的图片:

http://49.232.105.121:8888/file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

Java客户端操作FastDFS的使用:

第一步:配置依赖

<dependency>
  <groupId>cn.bestwu</groupId>
  <artifactId>fastdfs-client-java</artifactId>
  <version>1.27</version>
</dependency>

第二步:配置fdfsClient_config.properties

connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.anti_steal_token = no
http.secret_key = FastDFS1234567890

http.tracker_http_port = 8080
tracker_server =49.232.105.121:22122

第三步:测试用例

package cn.tongmap.client;

import java.awt.image.BufferedImage;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Arrays;

import javax.imageio.ImageIO;

import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;

public class FastDFSClient {
    private static final String CONF_FILENAME = new FastDFSClient().getClass().getClassLoader().getResource("fdfsClient_config.properties").getPath();
    static {
        try {
            // 加载配置文件
            ClientGlobal.init(CONF_FILENAME);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        }
    }
    
    /**
     * 上传图片到指定的group
     * @param uploadFilePath
     * @param width
     * @param height
     * @param groupName
     * @return
     * @throws Exception
     */
    public static String[] uploadFileSpecifyGroup(String uploadFilePath, int width, int height, String groupName) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
        TrackerClient trackerClient = new TrackerClient();
        TrackerServer trackerServer = trackerClient.getConnection();
        StorageServer storageServer = null;
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
        FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
        byte[] file_buff = null;
        if(fileInputStream != null){
            int len = fileInputStream.available();
            file_buff = new byte[len];
            fileInputStream.read(file_buff);
        }
        
        //设置元信息 
        NameValuePair[] metas = new NameValuePair[3];
        metas[0] = new NameValuePair("width", "" + width);
        metas[1] = new NameValuePair("heigth", "" + height);
        metas[2] = new NameValuePair("author", "bss");
        
        results = storageClient.upload_file(groupName, file_buff, fileExtName, metas);
        System.out.println(Arrays.toString(results));
        
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
    
    /**
     * 上传图片,load balance
     * @param uploadFilePath
     * @param width
     * @param height
     * @return
     * @throws Exception
     */
    public static String[] uploadFileBalance(String uploadFilePath, int width, int height) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
        TrackerClient trackerClient = new TrackerClient();
        TrackerServer trackerServer = trackerClient.getConnection();
        StorageServer storageServer = null;
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
        FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
        byte[] file_buff = null;
        if(fileInputStream != null){
            int len = fileInputStream.available();
            file_buff = new byte[len];
            fileInputStream.read(file_buff);
        }
        
        //设置元信息 
        NameValuePair[] metas = new NameValuePair[3];
        metas[0] = new NameValuePair("width", "" + width);
        metas[1] = new NameValuePair("heigth", "" + height);
        metas[2] = new NameValuePair("author", "bss");
        
        results = storageClient.upload_file(uploadFilePath, fileExtName, metas);
        System.out.println(Arrays.toString(results));
        
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
    public static void main(String[] args) throws Exception{
        String image = "D://Perfect Match.jpg";
        BufferedInputStream bufInputStream = new BufferedInputStream(new FileInputStream(new File(image)));
        BufferedImage bi = ImageIO.read(bufInputStream);
        int width = bi.getWidth();
        int height = bi.getHeight();
        uploadFileSpecifyGroup(image, width, height, "image");
        uploadFileBalance(image, width, height);
    }
}

#FastDFS安装包,各个配置文件的配置,以及Java客户端操作FastDFS的使用。
https://download.csdn.net/download/kzhzhang/86901476
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容