Haproxy+多台MySQL从服务器Slave实现负载均衡word资料12页.docx
《Haproxy+多台MySQL从服务器Slave实现负载均衡word资料12页.docx》由会员分享,可在线阅读,更多相关《Haproxy+多台MySQL从服务器Slave实现负载均衡word资料12页.docx(9页珍藏版)》请在冰点文库上搜索。
Haproxy+多台MySQL从服务器Slave实现负载均衡word资料12页
Haproxy+多台MySQL从服务器(Slave)实现负载均衡
2015-08-28
本系统采用MySQL一主多从模式设计,即1台MySQL“主”服务器(Master)+多台“从”服务器(Slave),“从”服务器之间通过Haproxy进行负载均衡,对外只提供一个访问IP,当程序需要访问多台"从"服务器时,只需要访问Haproxy,再由Haproxy将请求分发到各个数据库节点。
我们的程序可以有俩个数据源(DataSourceA,DataSourceB),一个(DataSourceA)直接连接主库,另外一个(DataSourceB)连接Haproxy,当需要写入操作时可以使用DataSourceA,读取时使用DataSourceB。
设计图如下:
看到这里大家可能会有一个疑问,这个问题就是主从数据库之间数据同步延时的问题!
因为大多数使用MySQL主从同步数据都是异步的,也就是说当主库的数据发生变化时并不能立即的更新从库,这么做的目的也是为了更好的性能,那么设想一下,当用户新增一条记录后立刻去从库查询,可能并不能查到刚刚新增的数据,这岂不是很脑裂的问题~~~。
然而实际情况并不应该是这样的,我们也不应该这样去设计程序,我们就拿一个类似于CSND博客管理的系统来说,假设一个“博客系统”只有俩部分,一部分是博客管理后台,用户可以在后台新增,编辑,删除博客。
另一部分是门户网站,负责展示所有用户的博客信息,相对于这样一个系统来说,后台管理模块对数据库的操作压力不是很大,相反门户网站读取博客信息对数据库的压力很大,这也式一般互联网产品的特点,而且最重要的一点是系统可以接受主从同步数据带来的延迟,也就是说当用户在后台新增一条博客时,前台门户网站并不能立即查询到这条信息。
一般都是再过一段时间后才会出现在首页,因为大多数系统都有缓存设置,这样正好给主从同步延迟带来时间。
接着说上面的问题,有的同学可能会有这样的疑问,就是后台用户在新增一条记录后,一般都是立即查询返回博客列表,按照上面说的岂不是查询不到~~~,我觉得这个问题可以这么解决:
1、后台用户在进行新增,查询,编辑,删除等操作时直接连接主库,这样无论什么操作都是实时的,因为后台操作对数据库的压力不是很大,所以读写全部连接主库应该没什么问题!
2、门户网站查询博客列表时从“从库集群中查询“,通过负载均衡技术,解决了扩展性,高可用性等问题,同时门户网站首页也不需要实时查询主库中的数据,因为网站本身一般都有缓存,也不是实时的。
上面的架构设计只是抛砖引玉,大家有什么好想法也可以相互交流~
本文重点介绍的内容有二点:
1、如何使用Haproxy给MySQL做负载均衡,提供相关的配置说明,健康检查等等。
2、当程序通过连接Haproxy代理之后,如何解决程序中连接池长连接失效的问题。
下面介绍如何安装配置Haproxy~
1、首先进行负载均衡配置。
假设两台MySQL(slave)从服务器 A:
192.168.1.191:
3306 B:
192.168.1.192:
3306。
首先在linxu上安装Haproxy,安装过程略。
。
。
。
。
。
安装完毕后打开配置文件在/etc/haproxy/ haproxy.cfg,配置文件的路径可能不用,别告诉我找不到~~~!
1.global
2. maxconn 4096
3. daemon
4. chroot /var/lib/haproxy
5. pidfile /var/run/haproxy.pid
6. #debug
7. #quiet
8. user haproxy
9. group haproxy
10.defaults
11. log global
12. mode http
13. option httplog
14. option dontlognull
15. log 127.0.0.1 local0
16. retries 3
17. option redispatch
18. maxconn 2000
19. #contimeout 5000
20. #clitimeout 50000
21. #srvtimeout 50000
22. timeout http-request 10s
23. timeout queue 1m
24. timeout connect 10s
25. timeout client 1m
26. timeout server 1m
27. timeout http-keep-alive 10s
28. timeout check 10s
29.listen admin_stats 0.0.0.0:
8888
30. mode http
31. stats uri /dbs
32. stats realm Global\ statistics
33. stats auth admin:
admin
34.listen proxy-mysql 0.0.0.0:
23306
35. mode tcp
36. balance roundrobin
37. option tcplog
38. option mysql-check user haproxy #在mysql中创建无任何权限用户haproxy,且无密码,这个在MySQL5.7中需要一些技巧来规避无密码的设置
39. server MySQL1 192.168.1.191:
3306 check weight 1 maxconn 2000
40. server MySQL2 192.168.1.192:
3306 check weight 1 maxconn 2000
41. option tcpka
listen admin_stats 0.0.0.0:
8888 这个配置是监控页面,绑定到本机8888端口,账号admin,密码admin
可以通过web的方式查看所有MySQL节点的使用情况,http:
//你的IP:
8888/dbs即可登录监控后台。
如下图:
1.listen proxy-mysql 0.0.0.0:
23306
2. mode tcp
3. balance roundrobin
4. option tcplog
5.option mysql-check user haproxy #在mysql中创建无任何权限用户haproxy,且无密码
6. server MySQL1 192.168.1.191:
3306 check weight 1 maxconn 2000
7. server MySQL2 192.168.1.192:
3306 check weight 1 maxconn 2000
8. option tcpka
proxy-mysql 0.0.0.0:
23306 代理的端口。
程序连接从库集群时就访问这个端口。
balance roundrobin 负载均衡方式。
option mysql-check user haproxy 这里是配置健康检查的,也是haproxy自带的功能,需要在mysql中创建无任何权限用户haproxy,且无密码
server MySQL1 192.168.1.191:
3306 check weight 1 maxconn 2000 配置MySQL从库节点,有多少节点就配置多少server项。
有的同学可能不知道如何在MySQL中创建用户,这里也给你写好了。
用户名为haproxy且无密码(重要)否则haproxy无法检测MySQL状态。
CREATEUSER'haproxy'@'%'IDENTIFIEDBY'';
配置完成后启动代理servicehaproxystart 如果用过yum方式安装,应该就能启动了,如果是其它方式安装,可能启动方式不同,需要编写脚本启动,应该不难自己研究一下~~~
然后让我们写个demo测试一下代理是否配置成功了没!
1.public static void main(String[] args) throws Exception {
2. Class.forName("com.mysql.jdbc.Driver");
3. Connection conn = DriverManager.getConnection("jdbc:
mysql:
//你的IP:
23306/template?
useUnicode=true", "root", "sql2008");
4. for (int i = 0; i < 100; i++) {
5. PreparedStatement pr = null;
6. ResultSet res = null;
7. try {
8. pr = conn.prepareStatement("select count(*) from sys_user");
9. res = pr.executeQuery();
10. if(res.next()) {
11. System.out.println(new Date().toLocaleString() + "->" + res.getInt
(1));
12. } catch (Exception e) {
13. e.printStackTrace();
14. res.close();
15. pr.close();
16. Thread.sleep(25000);
17. conn.close();
输出结果如下:
可以看到代理MySQL成功了,这时你可以随机关掉一个MySQL节点的服务,程序依然能够正常的执行,说明负载均衡也成功了。
1.2015-8-28 10:
09:
27->7
2.2015-8-28 10:
09:
52->7
3.2015-8-28 10:
10:
17->7
4.2015-8-28 10:
10:
42->7
5.2015-8-28 10:
11:
07->7
小小的激动有没有~有没有~。
于是乎我们就把程序中数据源的配置改造一下,让它连接haproxy即可。
mysql:
//你的IP:
23306/template?
useUnicode=true"/>
是不是以为大功告成了,如果你就这样配置的话,等程序运行起来它就会给你一个大大的surprise
其实这里面是有坑的~~~~,且听我细细道来。
一般的情况下,我相信大家在直接连接MySQL的时候几乎都用到了连接池。
以我的配置为例:
1.
2.
3.mysql:
//IP:
23306/数据库名称?
useUnicode=true" />
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.lt;/bean>
其它的参数这里不解释,大家可以查询C3P0配置信息,网上很多。
这里只说一个:
idleConnectionTestPeriod=30 这个参数是配置连接池 每隔多少时间去检查池内链接的有效性,单位秒。
我这里设置成30秒,那么C3P0会每隔30秒 把连接池内所有的空闲连接拿出来挨个发一个测试SQL语句,已确定这个链接的有效性。
以前我们的数据源是直接连接MySQL数据库的,在正常的情况下MySQL是不会断开这个链接的。
但是我们现在连接的是haproxy,也就是说我们程序的连接(Connection)是与haproxy建立的,这里的坑在于这个连接是会被haproxy断掉的,这样的话你连接池内的链接就变成了无效链接,在下次需要查询数据库时还需要重新创建连接,而且程序由于拿到的连接是无效链接,还有可能报错。
那么haproxy与我们程序之间的连接超时时间在哪设置呢?
timeout client 1m #这个参数配置程序与haproxy的链接超时时间
timeout server 1m #这个参haproxy与mysql链接超时时间
这里的超时时间不是指连接过程的超时时间,而是指连接上以后,多少时间内没有心跳,操作这个时间就认为超时,然后断开连接。
写的可能有些啰嗦,我们看个例子开说明一下:
1.public static void main(String[] args) throws Exception {
2. Class.forName("com.mysql.jdbc.Driver");
3. Connection conn = DriverManager.getConnection("jdbc:
mysql:
//IP:
23306/template?
useUnicode=true", "root", "sql2008");
4. for (int i = 0; i < 100; i++) {
5. PreparedStatement pr = null;
6. ResultSet res = null;
7. try {
8. pr = conn.prepareStatement("select count(*) from sys_user");
9. res = pr.executeQuery();
10. if(res.next()) {
11. System.out.println(new Date().toLocaleString() + "->" + res.getInt
(1));
12. } catch (Exception e) {
13. e.printStackTrace();
14. res.close();
15. pr.close();
16. Thread.sleep(60000);
17. conn.close();
我上面配置的是 timeoutclient1m,也就是说客户端连接到haproxy后1分钟之内没有数据请求即为超时,就会断掉链接:
第一次查询没有问题
Thread.sleep(60000);我把间隔设置为60秒,第二次查询与第一次查询间隔60秒就会报错,因为超时了。
如果把间隔改为 Thread.sleep(50000); 50秒,就不会报错。
结论就是
1.idleConnectionTestPeriod 的时间一定要小于 timeout client的时间。
这样C3P0会在Haproxy断掉链接之前发送一次“心跳”过去,保持链接的有效性。
2.而且 timeout client与>timeout server 尽量保持一致,已达到最佳效果。
3.希望以上资料对你有所帮助,附励志名言3条:
:
4.1、世事忙忙如水流,休将名利挂心头。
粗茶淡饭随缘过,富贵荣华莫强求。
5.2、“我欲”是贫穷的标志。
事能常足,心常惬,人到无求品自高。
6.3、人生至恶是善谈人过;人生至愚恶闻己过。
7.