分布式存储MFS安装部署技术白皮书讲解.docx

1、分布式存储MFS安装部署技术白皮书讲解分布式存储MFS安装部署技术白皮书云计算部2014年3月一、平台搭建1.平台规划IP作用备注192.168.182.201master servermfs管理节点192.168.182.202chunk server，Metalogger servermfs存储节点，mfs元数据日志服务节点192.168.182.203chunk server，mfs client，vsftp，sambamfs存储节点，mfs客户端，ftp服务端，samba共享192.168.182.204mfs client，owncloudmfs客户端，云盘系统服务端一台mfs管理节

2、点，2台mfs存储节点分别挂载1T存储，其中1台上搭建元数据日志服务节点，另一台安装mfs客户端与搭建ftp和samba共享链接，最后一台服务器安装mfs客户端，用于链接云盘系统服务端。2.拓扑结构二、MFS系统安装部署1.MFS概述1)MFS特点1)高可靠性（数据库可以镜像到多个计算机）2)轻松动态扩容3)可以设置删除文件的空间回收时间4)优越的性能2)MFS 工作原理和设计架构角色角色作用管理服务器managing server (master)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复，多节点拷贝。元数据日志服务器Metalogger server（Metalogg

3、er）负责备份master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs ，以便于在master server 出问题的时候接替其进行工作。数据存储服务器data servers (chunkservers)负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输。客户机挂载使用client computers通过fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix 文件系统使用一样的效果.官方的网络示意图是这样的：3)MFS读处理过程：1、客户端向管理服务器（master）发出读请求。2、管理服务器（ma

4、ster）把所需数据存放的位置（Chunk Server的IP地址和chunk编号）告知客户端。3、客户端向已知的数据存储服务器（Chunk Server）请求发送数据。4、数据存储服务器（Chunk Server）向客户端发送数据。特点：数据传输并不经过元数据服务器，这样既减轻元数据服务器的压力，也同时增大了整个系统的吞吐能力。在多个客户端读取数据时，读取点会被分散到不同的数据服务器。4)MFS写处理过程：1、客户端向元数据服务器发送写入请求。2、元数据服务器与Chunk Server进行交互（只有当所需的分块Chunks存在的时候才进行这个交互）：a、元数据服务器只是在某些服务器创建新的分

5、块chunks。b、Chunk Servers告知元数据服务器，步骤a已经操作成功。3、元数据服务器告知客户端，你可以在哪个Chunk Server的哪些Chunks写入数据。4、客户端向指定的Chunk Server写入数据5、Chunk Server与其他Chunk Server进行数据同步。6、Chunk Server之间同步成功。7、Chunk Server告知客户端数据写入成功。8、客户端告知元数据服务器本次写入完毕。2.MFS安装部署1)Master Server安装下载解压#cd /usr/src#wget #tar xzf mfs-1.6.26.tar.gz配置编译参数#use

6、radd mfs s /sbin/nologin#groupadd mfs#useradd -g mfs mfs#cd mfs-1.6.26/#./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -disable-mfsmount -disable-mfschunkserver编译并安装#make#make install配置文件#cd /usr/local/mfs/etc#cp mfsmaster.cfg.dist mfsmaster.cfg#cp mfsexports.cfg.d

7、ist mfsexports.cfg更改配置文件mfsexports.cfg192.168.201.0/24 / rw,alldirs,maproot=0启动前准备#cd /usr/local/mfs/var/mfs#cp metadata.mfs.empty metadata.mfs#echo 192.168.182.201 mfsmaster /etc/hosts启动mfsmaster#/usr/local/mfs/sbin/mfsmaster startHost文件添加#vi /etc/hosts加入以下几行192.168.182.201 mfsmaster192.168.182.202

8、 mfschunk192.168.182.203 mfsclient192.168.182.204 mfsweb监控服务#/usr/local/mfs/sbin/mfscgiserv浏览器输入192.168.182.201:9425服务自启动添加#vi /etc/rc.local添加以下两行/usr/local/mfs/sbin/mfsmaster start/usr/local/mfs/sbin/mfscgiserv2)mfsmetalogger搭建下载解压#cd /usr/src#wget #tar xzf mfs-1.6.26.tar.gz配置编译参数#useradd mfs s /sb

9、in/nologin#groupadd mfs#useradd -g mfs mfs#cd mfs-1.6.26/#./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -disable-mfsmount -disable-mfschunkserver编译并安装#make#make install配置文件#cd /usr/local/mfs/etc#cp mfsmetalogger.cfg.dist mfsmetalogger.cfgHost文件添加#vi /etc/hosts加入以下

10、几行192.168.182.201 mfsmaster192.168.182.202 mfschunk192.168.182.203 mfsclient192.168.182.204 mfsweb启动mfsmetalogger#/usr/local/mfs/sbin/mfsmetalogger start3)Chunk servers 安装下载解压#cd /usr/src#wget #tar xzf mfs-1.6.26.tar.gz配置编译参数#useradd mfs s /sbin/nologin#groupadd mfs#useradd -g mfs mfs#cd mfs-1.6.26/

11、#./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -disable-mfsmount -disable-mfsmaster编译并安装#make#make install配置文件#cd /usr/local/mfs/etc#cp mfschunkserver.cfg.dist mfschunkserver.cfg #cp mfshdd.cfg.dist mfshdd.cfg更改配置文件mfshdd.cfg,加入：/diskHost文件添加#vi /etc/hosts加入以下几行19

12、2.168.182.201 mfsmaster192.168.182.202 mfschunk192.168.182.203 mfsclient192.168.182.204 mfsweb启动前准备#chown -R mfs:mfs /disk7、启动chunkserver#/usr/local/mfs/sbin/mfschunkserver start自启动脚本添加vi /etc/rc.local/usr/local/mfs/sbin/mfsmetalogger start/usr/local/mfs/sbin/mfschunkserver start4)mfsclient安装下载解压#cd

13、 /usr/src#wget #tar xzf mfs-1.6.26.tar.gz安装fuse1、解包 tar zxvf fuse-2.7.4.tar.gz2、切换目录 cd fuse-2.7.4.3、配置 ./configure4、编译安装 make；make instal1、修改环境变量文件/etc/profile ,追加下面的行，然后再执行命令source /etc/profile使修改生效。 export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH配置编译参数#groupadd mfs#useradd -g mfs

14、 mfs#cd mfs-1.6.26/#./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -disable-mfsmaster-disable-mfschunkserver编译并安装#make#make installHost文件添加#vi /etc/hosts加入以下几行192.168.182.201 mfsmaster192.168.182.202 mfschunk192.168.182.203 mfsclient192.168.182.204 mfsweb启动前准备mkdir

15、 /mfs开始挂载#/usr/local/mfs/bin/mfsmount /mfs -H mfsmaster检查df -h查看输出3.MFS管理挂载1)分布式MFS测试环境信息监控通过WEBUI 监控服务，访问http:/192.168.182.201：9425，在界面info可以查看到存储空间的全部大小，已经剩余空间大小，如下图：在server中可以看到存储节点信息，如下图在disks中可以查看到数据存放位置，如下图：在exports中可以查看到允许哪些网络的客户端进行挂载，以及读写权限的情况。在mounts中可以查看到客户端挂载情况2)分布式MFS挂载在linux下创建挂载点为/test, 通过mfs客户端挂载程序mfsmount进行挂载，命令/usr/local/mfs/bin/mfsmount /mfs -H mfsmaster，通过df h查看挂载状态，通过linux下samba共享，映射为windows网络驱动器，如下图：