gluster&安装配置基本指南
gluster 安装配置基本指南
gluster安装
1、 rpm安装
复制gluster中的core 和 fuse模块，并进行安装。
rpm &ivh glusterfs-core-3.1.3-1.x86_64.rpm
rpm &ivh glusterfs-fuse-3.1.3-1.x86_64.rpm
2、 fuse测试并检查
lsmod | grep fuse
假如没有, 使用命令
modprobe fuse
lsmod | grep fuse
使用 ls /dev/fuse，应该有 /dev/fuse 这个目录
配置gluster服务端
1、创建服务器端文件目录
首先，我们假定我们的gluster服务器安装在192.168.1.2上
mkdir /home/dir1& //输出路径
chmod 1777
/home/dir1&&&&
//修改权限
2、修改服务器端配置
1. cd /etc/glusterfs
在目录下有两个文件:&
glusterfsd.vol.sample &
&服务器端配置文件模版
glusterfs.vol.sample &
& 客户端配置文件模版
2. cp glusterfsd.vol.sample glusterfsd.vol
拷贝出一个服务器端配置文件出来，修改配置用。
2.1 编辑glusterfsd.vol
主要是修改 directory, transport.socket.bind-address
也可以设置下 auth.addr.brick.allow， 端口等
volume brick
type storage/posix # POSIX FS translator
option transport.socket.bind-address
192.168.1.2
option directory /home/dir1 # Export this
directory&
end-volume
volume server
type protocol/server
option transport-type tcp
option transport.socket.listen-port 24016
subvolumes brick
option auth.addr.brick.allow * # Allow access to
"brick" volume
end-volume
3.、启动服务
glusterfsd -f /etc/glusterfs/glusterfsd.vol -l
/var/log/glusterfs/glusterfsd.log
3.1 检查服务是否启动成功
ps ax | grep gluster&
检验端口, 如果已经设置了端口, 例如
netstat -ln | grep 24016
显示如下则说明 24016 端口处在监听状态
tcp 0 0 192.168.1.2:24016 0.0.0.0:*
vi /var/log/glusterfs/glusterfsd.log
没有error信息就ok
配置gluster客户端
1、复制配置文件
使用下面的命令进行配置cp glusterfs.vol.sample glusterfs.vol
2、编辑配置文件
配置文件的编辑相对来讲比较复杂，这要涉及到gluster服务器的拓扑结构，我们以下面的拓扑结构来进行说明：
在上面拓扑图中，其中001_1和001_2是复制方式，002_1和002_2是复制方式，而这两组是分布式存储的，这样相当于集群中的raid0+raid1方式，很好的数据的安全性和高效性。对于这种情况，client001的配置为
# 服务器列表
volume server001_1
& type protocol/client
& option transport-type tcp
& option remote-host
192.168.1.11&&&&
# IP address of the remote brick
& option remote-subvolume
brick&&&&&&&
# name of the remote volume
end-volume
volume server 001_2
& type protocol/client
& option transport-type tcp
& option remote-host
192.168.1.12&&&
# IP address of the remote brick
& option remote-subvolume
brick&&&&&&&
# name of the remote volume
end-volume
volume server 002_1
& type protocol/client
& option transport-type tcp
& option remote-host
192.168.1.21&&&&
# IP address of the remote brick
& option remote-subvolume
brick&&&&&&&
# name of the remote volume
end-volume
volume server 002_2
& type protocol/client
& option transport-type tcp
& option remote-host
192.168.1.22&&&
# IP address of the remote brick
& option remote-subvolume
brick&&&&&&&
# name of the remote volume
end-volume
#服务器之间的关系
volume images001
cluster/distribute
&&& subvolumes
server001_1 server001_2
end-volume
volume images002
cluster/replicate
&&& subvolumes
server002_1 server002_2
end-volume
volume images
cluster/distribute
&&& subvolumes
images001 images002
end-volume
当然gluster中的配置和算法很多，具体的配置也需要参考gluster的相关文档
3、启动客户端
glusterfs -f /etc/glusterfs/glusterfs.vol -l
/var/log/glusterfs/glusterfs.log /mnt/
其中 /mnt 是挂载目录， 可指定其他目录
验证安装是否正确
1、检查客户端是否挂载成功
查看盘符信息：df
&h；包含如下信息表示正常，/etc/glusterfs/glusterfs.vol
查看进程ps ax | grep glusterfs，如果有表示正确
查看 log，vi /var/log/glusterfs/glusterfs.log；如果没有
error 信息，表示连接正确。
2、在客户端操作
进入/mnt目录，这是就可以在该目录下进行文件级别的操作, 然后可以查看 服务器端的
/home/dir1目录下是否有相应变化。
卸载时候 umount /mnt 命令，umount 之后 ps ax | grep gluster
会发现 glusterfs 进程结束。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。党志强 的BLOG
用户名：党志强
文章数：202
评论数：22
访问量：34047
注册日期：
阅读量：5863
阅读量：12276
阅读量：338798
阅读量：1041620
51CTO推荐博文
GlusterFS服务器端进程分析服务端进程信息：root & & & 348 &0.0 &0.2 68 ? & & & &Ssl &17:31 & 0:00 /usr/sbin/glusterd --pid-file=/run/glusterd.pidroot & & & 401 &0.0 &0.6 00 ? & & & &Ssl &17:31 & 0:00 /usr/sbin/glusterfs -s localhost --volfile-id gluster/nfs -p /var/lib/glusterd/nfs/run/nfs.pid -l /var/log/glusterfs/nfs.log -S /var/run/bdec9c41ddabf2.socketroot & & & 417 &0.0 &0.2 12 ? & & & &Ssl &17:31 & 0:00 /usr/sbin/glusterfs -s localhost --volfile-id gluster/glustershd -p /var/lib/glusterd/glustershd/run/glustershd.pid -l /var/log/glusterfs/glustershd.log -S /var/run/510a9fdbe684de1b21a40d.socket --xlator-option *replicate*.node-uuid=f22b60d6-ff4d-4247-bdda-0a4fe0223384root & & 3 &0.2 32 ? & & & &Ssl &17:30 & 0:07 /usr/sbin/glusterfsd -s lab22 --volfile-id tank.lab22.letv-disk3 -p /var/lib/glusterd/vols/tank/run/lab22-letv-disk3.pid -S /var/run/a71a75abe47e437d55bb4f5c.socket --brick-name /letv/disk3 -l /var/log/glusterfs/bricks/letv-disk3.log --xlator-option *-posix.glusterd-uuid=f22b60d6-ff4d-4247-bdda-0a4fe0223384 --brick-port 49155 --xlator-option tank-server.listen-port=49155服务端重启glusterd服务，如下进程PID变不。root & & 2 &0.3 52 ? & & & &Ssl &17:46 & 0:05 /usr/sbin/glusterfsd -s lab21 --volfile-id tank.lab21.letv-disk3 -p /var/lib/glusterd/vols/tank/run/lab21-letv-disk3.pid -S /var/run/5e65b46d9dc89cdb2e53.socket --brick-name /letv/disk3 -l /var/log/glusterfs/bricks/letv-disk3.log --xlator-option *-posix.glusterd-uuid=0d5ba4a3-c6fa-4afd-ad39-a2842ca3cde0 --brick-port 49176 --xlator-option tank-server.listen-port=49176其他3个进程PID会变，生产新的进程。当服务器端执行gluster volume stop操作后，上述进程消失，gluster volume start后会创建新的线程。本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)5464人阅读
网站架构（20）
大数据技术与系统（71）
&基于网络上的多篇文章，做了一些调整。
gluster安装
### &Installing Gluster
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repo
yum install glusterfs{-fuse,-server}
service glusterd start
chkconfig glusterd on
add rule into iptables file on each gluster server:&
vi /etc/sysconfig/iptables:
&&& -A INPUT -m state --state NEW -m tcp -p tcp --dport
&&& -A INPUT -m state --state NEW -m tcp -p tcp --dport
service iptables restart
建立peer关系
gluster peer probe bluejoe6
gluster peer probe bluejoe7
gluster peer status
创建并启动volume
gluster volume create gv0 bluejoe6:/data/gfs bluejoe7:/data/gfs force
gluster volume start gv0
gluster volume info gv0
客户端挂载
mount -t glusterfs bluejoe0:/gv0 /mnt/gfs
===================================
volume create &NEW-VOLNAME& [stripe &COUNT&] [replica &COUNT&] [transport &tcp|rdma|tcp,rdma&] &NEW-BRICK&?&vg_name&... [force]
# 五种类型的volume可以被创建：
& & Distributed：分布式卷，文件通过hash算法随机的分布到由bricks组成的卷上。
& & Replicated：复制式卷，类似raid1，replica数必须等于volume中brick所包含的存储服务器数，可用性高。
& & Striped：条带式卷，类似与raid0，stripe数必须等于volume中brick所包含的存储服务器数，文件被分成数据块，以Round Robin的方式存储在bricks中，并发粒度是数据块，大文件性能好。
& & Distributed Striped：分布式的条带卷，volume中brick所包含的存储服务器数必须是stripe的倍数(&=2倍)，兼顾分布式和条带式的功能。
& & Distributed Replicated：分布式的复制卷，volume中brick所包含的存储服务器数必须是 replica 的倍数(&=2倍)，兼顾分布式和复制式的功能。
# 创建分布卷
gluster volume create gv0 fs-server-1:/data/gfs fs-server-2:/data/gfs
# 创建复制卷
gluster volume create gv0 replica 2 fs-server-1:/data/gfs fs-server-2:/data/gfs
# 创建条带卷
gluster volume create gv0 stripe 2 fs-server-1:/data/gfs fs-server-2:/data/gfs
gluster volume create volume2 stripe 3 replica 2 bluejoe6:/data/gfs-rep1 bluejoe6:/data/gfs-rep2 bluejoe7:/data/gfs-rep1 bluejoe7:/data/gfs-rep2 bluejoe8:/data/gfs-rep1 bluejoe8:/data/gfs-rep2 force
# gluster volume info gluster-volume1
Volume Name: gluster-volume1
Type: Distributed-Replicate
Volume ID: 7bed32e1-3ec1-4d67-975e-5ac07f99f481
Status: Created
Number of Bricks: 3 x 2 = 6
Transport-type: tcp
Brick1: bluejoe6:/data/brick1
Brick2: bluejoe7:/data/brick1
Brick3: bluejoe6:/data/brick2
Brick4: bluejoe8:/data/brick1
Brick5: bluejoe7:/data/brick2
Brick6: bluejoe8:/data/brick2
查看volume列表
gluster volume list
查看volume的具体信息（包含bricks的信息）
# gluster volume info
Volume Name: gv0
Type: Distribute
Volume ID: 8bde2ba4-7777-49ff-8b2b-
Status: Started
Number of Bricks: 3
Transport-type: tcp
Brick1: bluejoe6:/data/gfs
Brick2: bluejoe7:/data/gfs
Brick3: bluejoe8:/data/gfs
#如果以后要添加服务器，可以使用add-brick命令：
gluster volume add-brick gv0 fs-server-3:/data/gfs fs-server-4:/data/gfs
gluster volume remove-brick VOLNAME BRICK
& & 注意：当你给分布式复制卷和分布式条带卷中增加bricks时，你增加的bricks的数目必须是复制或者条带数目的倍数，例如：你给一个分布式复制卷的replica为2，你在增加bricks的时候数量必须为2、4、6、8等。
& & 当移除分布式复制卷或者分布式条带卷的时候，移除的bricks数目必须是replica或者stripe的倍数。例如：一个分布式条带卷的stripe是2，当你移除bricks的时候必须是2、4、6、8等。
============================
常见故障解决方案
[root@localhost ~]# gluster peer status
Connection failed. Please check if gluster daemon is operational.
原因：未开启glusterd服务
解决方法：开启glusterd服务
/etc/init.d/glusterd start
[root@localhost ~]# gluster peer probe&192.168.230.130
peer probe: failed: Probe returned with unknown errno 107
原因：日志中打印[ 15:55:25.929461] I [glusterd-handler.c:2836:glusterd_probe_begin] 0-glusterd:Unable to find peerinfo for host: 192.168.230.130&(24007)
防火墙没开启24007端口
解决方法：开启24007端口或者关掉防火墙
/sbin/iptables -I INPUT -p tcp --dport 24007 -j ACCEPT&& # 开启24007端口
/etc/init.d/iptables stop&&&& # 关掉防火墙
也可以使用主机名来代替IP，修改/etc/hosts文件实现
gluster peer probe server-130
volume create volume1 192.168.230.135:/tmp/brick1
volume create: volume2: failed
不能只使用一个server上的brick创建volume，需要至少两个brick，或者在client主机(这里为192.168.230.134)上使用一个brick创建volume。
创建一个volume后删除，再使用同名的brick创建volume失败。
gluster& volume create test 192.168.230.134:/tmp/brick1 force
volume create: test: success: please start the volume to access data
gluster& volume info
Volume Name: test
Type: Distribute
Volume ID: c29f75d2-c9f5-4d6f-90c5-ccd
Status: Created
Number of Bricks: 1
Transport-type: tcp
Brick1: 192.168.230.134:/tmp/brick1
gluster& volume delete test force
Usage: volume delete &VOLNAME&
gluster& volume delete test
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: test: success
gluster& volume create test 192.168.230.134:/tmp/brick1 force
volume create: test: failed: /tmp/brick1 or a prefix of it is already part of a volume
因为volume delete时并未删掉create时创建的目录，需要手动删除后再使用。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：774869次
积分：9115
积分：9115
排名：第1411名
原创：176篇
转载：190篇
评论：1130条
中国科学院博士，代码洁癖重度患者，10年以上Java Web架构、开发经验，非单一语言爱好者，熟悉C++/MFC/java/Scala开发技术，著有《标准C++开发入门与编程实践》、《把脉VC++》，以及“白乔原创”系列技术文章多篇。
开源贡献，欢迎star：xiaoli110 的BLOG
用户名：xiaoli110
文章数：128
评论数：211
访问量：304890
注册日期：
阅读量：5863
阅读量：12276
阅读量：338798
阅读量：1041620
51CTO推荐博文
为了充分保证系统的稳定性和性能，要求所有glusterfs服务器硬件配置尽量一致，尤其是硬盘数量和大小。机器的RAID卡需要带电池，缓存越大，性能越好。一般情况下，建议做RAID10，如果出于空间要求的考虑，需要做RAID5，建议最好能有1-2块硬盘的热备盘。
网络要求全部千兆环境，gluster服务器至少有4块网卡，3块网卡绑定供gluster使用，剩余一块分配管理网络ip，用于系统管理。网卡绑定建议使用mode 0的方式，同步的网卡绑定脚本如下：
cat &&EOF &/etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
IPADDR=10.10.10.233
NETMASK=255.255.255.0
TYPE=Ethernet
BONDING_OPTS=&mode=0 miimon=100&
cat && EOF &/etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
MASTER=bond0
cat && EOF &/etc/sysconfig/network-scripts/ifcfg-p2p1
DEVICE=p2p1
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
MASTER=bond0
cat && EOF &/etc/sysconfig/network-scripts/ifcfg-p2p2
DEVICE=p2p2
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
MASTER=bond0
1) 升级系统到最新
yum update -y
2) 编辑/etc/hosts，将所有服务器的hostname加进去
3) 安装epel源
rpm -Uvh /fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm
4) 下载安装gluster软件包：
wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo \
-O /etc/yum.repos.d/glusterfs-epel.repo
yum install glusterfs-devel glusterfs-fuse glusterfs-server -y
5) 启动glusterd服务
默认安装完成自动启动服务，安装完成后是一个标准的redhat服务，可以启动，停止，重启
/etc/init.d/glusterd start
/etc/init.d/glusterd stop
/etc/init.d/glusterd restart
6) 添加服务器到存储池
在第一台服务器上执行探测操作
gluster peer probe gfs2
gluster peer probe gfs3
校验集群状态
[root@hp246 ~]# gluster peer status
Number of Peers: 4
Hostname:gfs1
Uuid: 59cd74a9-a555-4560-b98e-a7eaf2058926
State: Peer in Cluster (Connected)
Hostname:gfs2
Uuid: 278d94f8-cf55-42cc-a4ad-9fb
State: Peer in Cluster (Connected)
Hostname: gfs3
Uuid: 7fd840a2-53f5-e5e7eded813
State: Peer in Cluster (Connected)
如果需要移出集群 执行如下命令
gluster peer detach server
7) 创建集群卷
a) 创建一个分布卷（只是卷连接起来，跨区卷）
gluster volume create test-volume server1:/exp1 server2:/exp2 server3:/exp3
b) 创建一个复制卷(raid1)
gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2
c) 创建一个条带卷(raid0)
gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2
d) 创建一个分布条带卷(raid00)
gluster volume create test-volume stripe 4 transport tcp server1:/exp1 server2:/exp2
server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8
e) 创建一个复制条带卷(raid10
gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2
server3:/exp3 server4:/exp4
f) 创建一个分部复制条带卷(raid100)
gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1
server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7
server8:/exp8
g) 创建条带复制卷(raid01)
gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1
server2:/exp2 server3:/exp3 server4:/exp4
生产环境中要求使用复制卷，根据安全性的要求，replica 2或者replica 3。
查看卷信息
gluster volume info
gluster volume start test-volume
8) 客户端挂载
客户端安装gluster，加载fuse模块
yum -y install wget fuse fuse-libs
modprobe fuse
Verify that the FUSE module is loaded:
# dmesg | grep -i fuse
fuse init (API version 7.13)
mount -t glusterfs server1:/test-volume /mnt/glusterfs
server1:/test-volume /mnt/glusterfs glusterfs defaults,_netdev 0 0
加上备用服务器挂载
mount -t glusterfs -o backupvolfile-server=10.10.10.171,backupvolfile-server=10.10.10.172 10.10.10.176:/test-volume /gfs
9) 性能监视
gluster volume profile test-volume start
显示基本性能信息
gluster volume profile test-volume info
显示最高的文件读取
gluster volume top test-volume read
显示最高的文件写
gluster volume top test-volume write
10) 设置附加属性
gluster volume set test-volume performance.cache-size 256MB
条带块大小
gluster volume set test-volume cluster.stripe-block-size 128KB
因为底层做了raid配置，有硬件故障，直接更换硬盘，会自动同步数据。
解决方法：
找一台完全一样的机器，至少要保证硬盘数量和大小一致，安装系统，配置和故障机同样的ip，安装gluster软件，保证配置都一样，在其他健康的节点上执行命令gluster peer status，查看故障服务器的uuid，
gluster peer status
Number of Peers: 2
Hostname: 10.10.10.172
Uuid: 64b345d4-6c9c-43d8-82ef-68c228c4b7ed
State: Peer in Cluster (Connected)
Hostname: 10.10.10.176
Uuid: c4-484d-acdf-d11f0452878a
State: Peer in Cluster (Disconnected)
修改新加机器的/var/lib/和故障机器的一样
cat /var/lib/
UUID=c4-484d-acdf-d11f0452878a
在任意节点上执行
root@drbd01 ~]# gluster volume heal test-volume full
Launching Heal operation on volume test-volume has been successful
就会自动开始同步，但是同步的时候会影响整个系统的性能。
可以查看状态
[root@drbd01 ~]# gluster volume heal test-volume info
Gathering Heal info on volume test-volume has been successful本文出自 “” 博客，转载请与作者联系！
了这篇文章
类别：┆阅读(0)┆评论(0)
15:41:58 &&1&
&&页数 ( 1/12 ) &<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员，您的IP地址所在网段被ITeye拒绝服务，这可能是以下两种情况导致：
一、您所在的网段内有网络爬虫大量抓取ITeye网页，为保证其他人流畅的访问ITeye，该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站，该代理服务器被网络爬虫利用，大量抓取ITeye网页
请您点击按钮解除封锁&