负载均衡实例：如何解放昼夜不眠的网管？-网络负载均衡如何实现

【51CTO.com独家特稿】笔者曾为客户设计过一系列项目方案，在真正施工时发现：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。Nginx作负载均衡器的优点许多，简单概括为:①实现了可弹性化的架构，在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去;②upstream具有负载均衡能力，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器；③相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障，整个拓补如下：

布置整个环境用到的软件为:

apache-tomcat-6.0.20.tar.gz  
jdk-6u16-linux-i586.bin  
nginx-0.7.17.tar.gz  
prce-7.7.tar.gz 
1.
2.
3.
4.

①首先分别在3台tomcat主机上布置java环境，安装tomcat，具体步骤如下（apache-tomcat-6.0.tar.gz可在apache.org上下载，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下载http://www.fdigg.net/search_jdk-6-linux-i586.htm）：

第一步，安装java环境。

JDK的安装

#chmod +x jdk-6u16-linux-i586.bin  
#./jdk-6u16-linux-i586.bin 
1.
2.

到此JDK已经安装完成

建立符号链接

# ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java  
# ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac  
ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk  
ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre 
1.
2.
3.
4.

TOMCAT的安装

#tar zxvf apache-tomcat-6.0.20.tar.gz  
#mv apache-tomcat-6.0.20 /usr/local/tomcat 
1.
2.

设置环境变量: vim /etc/rc.d/rc.local，以追加的形式添加如下内容

JAVA_HOME=/usr/local/jdk  
export JAVA_HOME  
JRE_HOME=/usr/local/jre  
export JRE_HOME  
CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib  
export CLASSPATH  
PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin  
export PATH  
TOMCAT_HOME=/usr/local/tomcat  
export TOMCAT_HOME 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

重启服务器，启动tomcat以检查是否存在错误：

#cd /usr/local/tomcat/bin  
#./startup.sh 
1.
2.

http://IP地址:8080 可以看到猫头:)成功了。#p#

②分别在二台nginx负载均衡器上安装nginx及配置

下载及安装nginx:

wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz  
tar zxvf pcre-7.7.tar.gz  
cd pcre-7.7/  
./configure  
make && make install  
wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz  
tar zxvf nginx-0.7.17.tar.gz  
cd nginx-0.7.17/  
./configure --prefix=/usr/local/nginx --with-http_stub_status_module   
make && make install 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

这里贴上nginx.conf配置文件，不加任何说明，方便用X-shell直接粘贴，很人性化的噢:)二个nginx负载均衡器的文件一样，配置完成后分别用/usr/local/nginx/sbin/nginx启动。

user www www;  
worker_processes 8;  
pid /usr/local/nginx/logs/nginx.pid;  
worker_rlimit_nofile 51200;  
events  
{  
use epoll;  
worker_connections 51200;  
}  
http{  
include       mime.types;  
default_type application/octet-stream;  
server_names_hash_bucket_size 128;  
client_header_buffer_size 32k;  
large_client_header_buffers 4 32k;  
client_max_body_size 8m;  
sendfile on;  
tcp_nopush     on;  
keepalive_timeout 60;  
tcp_nodelay on;  
fastcgi_connect_timeout 300;  
fastcgi_send_timeout 300;  
fastcgi_read_timeout 300;  
fastcgi_buffer_size 64k;  
fastcgi_buffers 4 64k;  
fastcgi_busy_buffers_size 128k;  
fastcgi_temp_file_write_size 128k;  
gzip on;  
gzip_min_length 1k;  
gzip_buffers     4 16k;  
gzip_http_version 1.0;  
gzip_comp_level 2;  
gzip_types       text/plain application/x-javascript text/css application/xml;  
gzip_vary on;  
upstream backend  
{  
server 192.168.1.102:8080;  
server 192.168.1.103:8080;  
server 192.168.1.105:8080;  
}  
server {  
listen 80;  
server_name www.yuhongchun027.com;  
location / {  
root /var/www ;  
index index.jsp index.htm index.html;  
proxy_redirect off;  
proxy_set_header Host $host;  
proxy_set_header X-Real-IP $remote_addr;  
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
proxy_pass http://backend;  
}  
#location /nginx {  
#access_log on;  
#auth_basic "NginxStatus";  
#auth_basic_user_file /usr/local/nginx/htpasswd;  
#}  
log_format access '$remote_addr - $remote_user [$time_local] "$request" '  
'$status $body_bytes_sent "$http_referer" '  
'"$http_user_agent" $http_x_forwarded_for';  
access_log /var/log/access.log access;  
}  
} 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.

③在二台Nginx机上安装及配置keepalived，做双机互备。

#wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz  
#tar zxvf keepalived-1.1.15.tar.gz  
#cd keepalived-1.1.15  
#./configure  
#make  
#make install 
1.
2.
3.
4.
5.
6.

将keepalived做成启动脚务，方便管理:

#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
#mkdir /etc/keepalived  
#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
#cp /usr/local/sbin/keepalived /usr/sbin/  
#service keepalived start|stop  
1.
2.
3.
4.
5.
6.

在二台Nginx上，我分别贴出keepalived.conf配置文件，配置完成后分别用service keepalived start启动。检验keepalived是否成功可用命令ip a

vrrp_instance VI_INET1 {  
        state MASTER  
        interface eth0  
        virtual_router_id 53  
        priority 200  
        advert_int 1  
        authentication {  
                auth_type pass  
                auth_pass yourpass  
        }  
        virtual_ipaddress {  
                192.168.1.108  
        }  
}  
vrrp_instance VI_INET1 {  
        state BACKUP  
        interface eth0  
        virtual_router_id 53  
        priority 100  
        advert_int 1  
        authentication {  
                auth_type pass  
                auth_pass yourpass  
        }  
        virtual_ipaddress {  
                192.168.1.108  
        }  
} 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.

#p#

项目实施过程中遇到的问题:

1、session复制问题

以前用apache做负载均衡的时候，是选择了用 session sticky的模式，这样的话，用户每次进来都会是同一个服务器中的session，不会被转发到其他的服务器上。在这样的情况下，tomcat即使不做session复制也不会影响用户访问;Nginx有个类似模块ip_hash能解决此问题，但采用了ip_hash后，nginx就不能正常地用轮询将客户的要求平等的分发到后端tomcat服务器，所幸客户对并发要求不高，他们更关心的是后端的tomcat的高可用问题。

2、页面同步

办法①可以采用rsync自动同步的办法。

办法②后端采用存储，读数据采用同一个源。

办法③在程序上实现动态的调取数据(如图片及文字)采用后端的唯一数据库。

3、关于测试

公司的测试组用的测试工具为windows2003下的Load Runner，很强大的一款，但有时采用了ip_hash后，结果并不准确；解决为：在多台服务器上，采用多种测试工具，如:webbench、Load Runner来进行交叉测试。此外，生产环境下，并发1000就是一个很大的数值，用户数为100万的用户系统往往并未达到此数，这点也是让我们很惊异的；

4、安全方面：最前端建议放置Cisco四层防火墙+web防火墙的方法，效果相当好；整个系统出口带宽建议为100M，cisco防火墙映射整个系统的vip地址及80端口，系统内所有服务器均关闭iptables防火墙。

5、监控方面：用传说中的监控之神Nagios吧，配合139邮箱，效果不错。另，签于生产环境下的严谨性，欢迎来信交流抚琴煮酒：yuhongchun027@163.com。