Nginx Web负载均衡开局配置之——会话保持

刚写了《Nginx Web负载均衡开局配置》这篇文章，为什么又写到《Nginx Web负载均衡开局配置之会话保持》？因为涉及到会话保持的nginx负载均衡在我所遇到的项目过程过程中，调试要比简单的静态页面负载均衡复杂的多。首先带有登陆认证的Web网页需要保证nginx识别前端客户端session的一致性，然后确保应用端回复的请求到会准确的到达指定的客户端，避免张三发出的请求，应用端结果却回复给了李四导致通讯失败。


所以这个问题涉及到业务系统负载均衡的可用性，会话保持是必须要解决的也是第一个要解决的问题。


好了，话不多说开始吧。


操作系统：Red Hat Enterprise Linux Server release 6.5 (Santiago)
nginx版本：nginx 1.12.1
Web环境：3个带有登陆功能相同的Web系统（tomcat、挂载同一磁盘、集群）
具体的Web环境搭建涉及软件项目实施这里不赘述，大家可以github下载完整的小应用用来测试。


网络拓扑如下：





首先来配置nginx.conf文件：

1. #user  nobody;
   
2. worker_processes  auto;
   
3. worker_rlimit_nofile 1024000;
   
4. 
   
5. #error_log  logs/error.log;
   
6. #error_log  logs/error.log  notice;
   
7. #error_log  logs/error.log  info;
   
8. 
   
9. #pid        logs/nginx.pid;
   
10. 
    
11. 
    
12. events {
    
13.         
    
14.     worker_connections  10240;
    
15.         multi_accept on;
    
16. }
    
17. 
    
18. 
    
19. http {
    
20.     include       mime.types;
    
21.     default_type  application/octet-stream;
    
22. 
    
23.     #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    
24.      #                 '$status $body_bytes_sent "$http_referer" '
    
25.      #                 '$upstream_addr $upstream_response_time $request_time '
    
26.      #                '"$http_user_agent" "$http_x_forwarded_for"';
    
27. 
    
28.     #access_log  logs/access.log  main;
    
29.    
    
30. 
    
31.     sendfile        on;
    
32.     #tcp_nopush     on;
    
33. 
    
34.     #keepalive_timeout  0;
    
35.     keepalive_timeout 60;
    
36. 
    
37.     #gzip  on;
    
38. 
    
39.     #hash $cookie_jsessionid;
    
40. 
    
41.     upstream webapp  {
    
42.                            ip_hash;
    
43.                                  server 192.168.150.128:8080;
    
44.                                 server 192.168.150.128:8081;
    
45.                                 server 192.168.150.128:8082;
    
46.          }
    
47. 
    
48.     server {
    
49.         listen       80;
    
50.         server_name  localhost;
    
51. 
    
52.         charset utf-8;
    
53. 
    
54.         #access_log  logs/host.access.log  main;
    
55.                 access_log off;
    
56. 
    
57.         location / {
    
58.             proxy_pass   http://webapp;
    
59.                 proxy_redirect off;
    
60.                 proxy_http_version 1.1;
    
61.                
    
62.                 proxy_connect_timeout 60;
    
63.                 proxy_send_timeout 60;
    
64.                 proxy_read_timeout 60;
    
65.                
    
66.                
    
67.                 proxy_set_header Connection "";
    
68.                 proxy_set_header X-Real-IP $remote_addr;
    
69.                 proxy_set_header REMOTE-HOST $remote_addr;
    
70.                 proxy_set_header Host $http_host;
    
71.                 proxy_set_header X-Forwarded-Host $http_host;
    
72.                 proxy_set_header X-Forwarded-Server $host;
    
73.                 proxy_set_header X-Forwarded-For $remote_addr;
    
74.                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    
75.                 proxy_headers_hash_max_size 51200;
    
76.                 proxy_headers_hash_bucket_size 6400;
    
77.                 proxy_temp_file_write_size 1024k;
    
78.                
    
79.         }
    
80. 
    
81. 
    
82.         #error_page  404              /404.html;
    
83. 
    
84.         # redirect server error pages to the static page /50x.html
    
85.         #
    
86.         error_page   500 502 503 504  /50x.html;
    
87.         location = /50x.html {
    
88.             root   html;
    
89.         }
    
90. 
    
91.         # proxy the PHP scripts to 某公司 listening on 127.0.0.1:80
    
92.         #
    
93.         #location ~ \.php$ {
    
94.         #    proxy_pass   http://127.0.0.1;
    
95.         #}
    
96. 
    
97.         # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    
98.         #
    
99.         #location ~ \.php$ {
    
100.         #    root           html;
     
101.         #    fastcgi_pass   127.0.0.1:9000;
     
102.         #    fastcgi_index  index.php;
     
103.         #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
     
104.         #    include        fastcgi_params;
     
105.         #}
     
106. 
     
107.         # deny access to .htaccess files, if 某公司's document root
     
108.         # concurs with nginx's one
     
109.         #
     
110.         #location ~ /\.ht {
     
111.         #    deny  all;
     
112.         #}
     
113.     }
     
114. 
     
115. 
     
116.     # another virtual host using mix of IP-, name-, and port-based configuration
     
117.     #
     
118.     #server {
     
119.     #    listen       8000;
     
120.     #    listen       somename:8080;
     
121.     #    server_name  somename  alias  another.alias;
     
122. 
     
123.     #    location / {
     
124.     #        root   html;
     
125.     #        index  index.html index.htm;
     
126.     #    }
     
127.     #}
     
128. 
     
129. 
     
130.     # HTTPS server
     
131.     #
     
132.     #server {
     
133.     #    listen       443 ssl;
     
134.     #    server_name  localhost;
     
135. 
     
136.     #    ssl_certificate      cert.pem;
     
137.     #    ssl_certificate_key  cert.key;
     
138. 
     
139.     #    ssl_session_cache    shared:SSL:1m;
     
140.     #    ssl_session_timeout  5m;
     
141. 
     
142.     #    ssl_ciphers  HIGH:!aNULL:!MD5;
     
143.     #    ssl_prefer_server_ciphers  on;
     
144. 
     
145.     #    location / {
     
146.     #        root   html;
     
147.     #        index  index.html index.htm;
     
148.     #    }
     
149.     #}
     
150. 
     
151. }
     

复制代码

这里重点看：

1. upstream webapp  {
   
2.                                 ip_hash;  
   
3.                                 server 192.168.150.128:8080;
   
4.                                 server 192.168.150.128:8081;
   
5.                                 server 192.168.150.128:8082;
   
6.                  }

复制代码

其中，ip_hash参数非常关键，它可以将每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

1. location / {
   
2.                  proxy_pass   http://webapp;
   
3.                 proxy_redirect off;
   
4.                 proxy_http_version 1.1;
   
5.                
   
6.                 proxy_connect_timeout 60;
   
7.                 proxy_send_timeout 60;
   
8.                 proxy_read_timeout 60;
   
9.                
   
10.                 proxy_set_header Connection "";
    
11.                 proxy_set_header X-Real-IP $remote_addr;
    
12.                 proxy_set_header REMOTE-HOST $remote_addr;
    
13.                 proxy_set_header Host $http_host;
    
14.                 proxy_set_header X-Forwarded-Host $http_host;
    
15.                 proxy_set_header X-Forwarded-Server $host;
    
16.                 proxy_set_header X-Forwarded-For $remote_addr;
    
17.                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    
18.                 proxy_headers_hash_max_size 51200;
    
19.                 proxy_headers_hash_bucket_size 6400;
    
20.                 proxy_temp_file_write_size 1024k;
    
21.                
    
22.         }

复制代码

其中，第二、三段参数着重考虑连接性能，其中包括连接超时时间、代理发送和读取超时时间等。


配置完成后，检查配置文件是否有错误：

1. [root@localhost nginx]# ./nginx -t
   
2. nginx: the configuration file /usr/local/nginx/nginx.conf syntax is ok
   
3. nginx: configuration file /usr/local/nginx/nginx.conf test is successful

复制代码

检测没问题后启动nginx，由于一般都是实际的业务系统，所以只能通过nginx所在系统的网络连接状态来查看负载均衡情况。

1. TCP    192.168.150.128:63428    192.168.150.1:8080     ESTABLISHED
   
2. 
   
3. TCP    192.168.150.128:63468    192.168.150.1:8080     ESTABLISHED
   
4. 
   
5. TCP    192.168.150.128:63478    192.168.150.1:8080     ESTABLISHED
   
6. 
   
7. TCP    192.168.150.128:63607    192.168.150.1:8080     ESTABLISHED
   
8. 
   
9. TCP    192.168.150.128:63620    192.168.150.1:8080     ESTABLISHED
   
10. 
    
11. TCP    192.168.150.128:63622    192.168.150.1:8080     FIN_WAIT_2
    
12. 
    
13. TCP    192.168.150.128:63623    192.168.150.1:8080     ESTABLISHED
    
14. 
    
15. TCP    192.168.150.128:63624    192.168.150.1:8080     ESTABLISHED
    
16. 
    
17. TCP    192.168.150.128:63625    192.168.150.1:8080     ESTABLISHED
    
18. 
    
19. TCP    192.168.150.128:63626    192.168.150.1:8080     ESTABLISHED
    
20. 
    
21. TCP    192.168.150.128:63627    192.168.150.1:8081     ESTABLISHED
    
22. 
    
23. TCP    192.168.150.128:63628    192.168.150.1:8081     ESTABLISHED
    
24. 
    
25. TCP    192.168.150.128:63629    192.168.150.1:8080     ESTABLISHED
    
26. 
    
27. TCP    192.168.150.128:63630    192.168.150.1:8081     ESTABLISHED
    
28. 
    
29. TCP    192.168.150.128:63631    192.168.150.1:8080     ESTABLISHED
    
30. 
    
31. TCP    192.168.150.128:63632    192.168.150.1:8080     ESTABLISHED
    
32. 
    
33. TCP    192.168.150.128:63633    192.168.150.1:8080     ESTABLISHED
    
34. 
    
35. TCP    192.168.150.128:63634    192.168.150.1:8081     ESTABLISHED
    
36. 
    
37. TCP    192.168.150.128:63635    192.168.150.1:8080     ESTABLISHED
    
38. 
    
39. TCP    192.168.150.128:63636    192.168.150.1:8080     ESTABLISHED
    
40. 
    
41. TCP    192.168.150.128:63637    192.168.150.1:8080     ESTABLISHED
    
42. 
    
43. TCP    192.168.150.128:63638    192.168.150.1:8080     ESTABLISHED
    
44. 
    
45. TCP    192.168.150.128:63639    192.168.150.1:8080     ESTABLISHED
    
46. 
    
47. TCP    192.168.150.128:63640    192.168.150.1:8080     ESTABLISHED
    
48. 
    
49. TCP    192.168.150.128:63644    192.168.150.1:8080     ESTABLISHED
    
50. 
    
51. TCP    192.168.150.128:63622    192.168.150.1:8081     ESTABLISHED
    
52. 
    
53. TCP    192.168.150.128:63634    192.168.150.1:8081     ESTABLISHED
    
54. 
    
55. TCP    192.168.150.128:63621    192.168.150.1:8081     ESTABLISHED

复制代码

注：其中192.168.150.128为nginx所在主机地址，192.168.150.1为三台Web服务器所在地址。

可以看到nginx所在主机只对2台Web服务器进行了连接分发，这是因为外网用户都是通过2台SSL VPN代理访问负载均衡服务器的，nginx只识别到2个源地址（2台SSL VPN的地址）认为只有2个客户端发起了访问，所以导致了负载不均匀，这种问题的解决方法并不是没有，二是需要调用nginx的扩展功能模块——sticky。由于调用sticky模块又会涉及到编译安装等一些列问题，所以本篇就不做说明了，后期有空再给大家更新。


这次的文章只是简要配置了基于会话保持的nginx负载均衡，其实负载均衡的调优还需要很多的工作量和实践路程，很多的技术难题会在实际的项目实施过程中不断涌现。通过不断地填坑，我争取归纳总结最佳的nginx实战经验与大家继续分享！

学习了，很不错

很不错。

学习学习了。。

学习了。感谢分享

真是难得一见的好帖，收藏·····

详细，谢谢分享

感谢分享。

打卡学习，感谢大佬分享！

感谢分享，学习一下~