Nginx安装负载均衡配置 fair check扩展

前言
本文主要是针对Nginx安装、负载均衡配置,以及fair智能选举、check后端节点检查扩展功能如何扩展,进行讲解说明。

fair模块: upstream-fair,“公平的”Nginx 负载均衡模块,增强了Nginx 提供的round-robin负载均衡算法,可以跟踪后端服务器的负载来分发请求。

chek模块:nginx_upstream_check_module,更专业的负载均衡器内节点的健康检查。这个由淘宝技术团队开发的 nginx 模块 nginx_upstream_check_module,通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用,则所有的请求就不会转发到该节点上。

目录
前期准备
upstream-fair模块
upstream_check_module后台服务器健康检测模块
Nginx安装
负载均衡配置
心得


前期准备
程序
为了方便安装,所有的源码下载,都放在 /tmp/ 目录下。

nginx-1.14.0 nginx程序源码
下载地址:http://nginx.org/download/nginx-1.14.0.tar.gz

nginx-upstream-fair-master fair模块源码
官方github下载地址:https://github.com/gnosek/nginx-upstream-fair
说明:如果从github下载最新版本,在安装到nginx 1.14.0版本时,会报出编译错误。需要对源码做一些修改,修改参照(如果你看到这篇文章时,github主已经修改了该bug,或者你用的是nginx 1.14.0以下版本,请忽视...):https://github.com/gnosek/nginx-upstream-fair/pull/27/commits/ff979a48a0ccb9217437021b5eb9378448c2bd9e
对于比较懒的童鞋,这里提供了已经修改好的源码包:https://files.cnblogs.com/files/ztlsir/nginx-upstream-fair-master.zip

nginx_upstream_check_module-master check模块源码
下载地址:https://github.com/yaoweibin/nginx_upstream_check_module

Nginx负载均衡反向代理选举方式
轮询(默认)
ip_hash
weight
fair(第三方)
url_hash(第三方)。

系统
Ubuntu 14.04



upstream-fair模块
解压 upstream-fair 源码包

ztlsir@ztlsir-Virtual-Machine:/tmp$ unzip nginx-upstream-fair-master.zip  


upstream_check_module后台服务器健康检测模块
解压 upstream_check_module 源码包

ztlsir@ztlsir-Virtual-Machine:/tmp$ unzip nginx_upstream_check_module-master.zip
给 upstream-fair 扩展 upstream_check_module 的 upstream_fair.patch 补丁。否则,当负载均衡采用fair模式时,fair将会不支持check

ztlsir@ztlsir-Virtual-Machine:/tmp$ cd nginx-upstream-fair-master/ #进入才将解压的upstream-fair源码目录
ztlsir@ztlsir-Virtual-Machine:/tmp/nginx-upstream-fair-master$ patch -p1 < ../nginx_upstream_check_module-master/upstream_fair.patch #打补丁,对patch有疑问的童鞋,自行百度


Nginx安装
解压 Nginx 1.14.0 源码包

ztlsir@ztlsir-Virtual-Machine:/tmp$ tar zxvf nginx-1.14.0.tar.gz
给Nginx扩展 upstream_check_module 的 check_1.12.1+.patch 补丁。

ztlsir@ztlsir-Virtual-Machine:/tmp$ cd nginx-1.14.0/ #进入才将解压的nginx源码目录
ztlsir@ztlsir-Virtual-Machine:/tmp/nginx-1.14.0$ patch -p1 < ../nginx_upstream_check_module-master/check_1.12.1+.patch #打补丁
安装Nginx

复制代码
ztlsir@ztlsir-Virtual-Machine:/tmp/nginx-1.14.0$ ./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-pcre --add-module=/tmp/nginx_upstream_check_module-master --add-module=/tmp/nginx-upstream-fair-master #配置,安装目录:/usr/local/nginx
ztlsir@ztlsir-Virtual-Machine:/tmp/nginx-1.14.0$ sudo make && sudo make install #编译、安装,此处用sudo,因为在"/usr/local/"下创建nginx目录需要root权限
复制代码
在配置和安装时,可能会出现pcre、ssl、complier、zlib等相关错误,可以参考:Linux Nginx安装以及可能出现错误



负载均衡配置
修改安装目录的拥有用户

ztlsir@ztlsir-Virtual-Machine:/tmp$ cd /usr/local/ #进入到local目录
ztlsir@ztlsir-Virtual-Machine:/usr/local$ sudo chown -R ztlsir nginx/ #修改nginx安装目录的所有者为ztlsir

修改配置文件
/usr/local/nginx/nginx.conf:

复制代码
#user nobody;
worker_processes 1;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;


events {
worker_connections 1024;
}


http {
check_shm_size 10M;
include mime.types;
default_type application/octet-stream;

#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';

#access_log logs/access.log main;

sendfile on;
#tcp_nopush on;

proxy_next_upstream error timeout invalid_header;
#keepalive_timeout 0;
keepalive_timeout 65;

#gzip on;

#引用vhosts文件夹下的配置文件
include vhosts/*.conf;

}
复制代码
/usr/local/nginx/vhosts的目录文件

ztlsir@ztlsir-Virtual-Machine:/usr/local/nginx/conf/vhosts$ ls
1001.conf 1002.conf 1003.conf
vhosts是自定义的文件夹。在该文件夹下,是根据端口进行负载配置的,此处选取其中一个文件进行展示,其他文件都大同小异。

/usr/local/nginx/vhosts/1001.conf:

复制代码
upstream localhost1001 {
fair;
server 192.168.120.10:1001;
server 192.168.120.11:1001;
check interval=3000 rise=2 fall=5 timeout=1000 type=http;
#在Web服务配置了默认文档时,可以使用如下配置
#但当服务没有配置时,需要修改为:check_http_send "GET /temp.html HTTP/1.0\r\n\r\n";
#其中“/temp.html”表示根目录下的一个temp.html文件
check_http_send "HEAD / HTTP/1.0\r\n\r\n";
check_http_expect_alive http_2xx http_3xx;
}
server {
listen 1001;
server_name localhost;

#charset koi8-r;

location / {
root html;
index index.html index.htm;
proxy_pass http://localhost1001;
proxy_redirect off;
proxy_set_header Host $host:1001;
proxy_connect_timeout 100s;
proxy_read_timeout 150s;
proxy_send_timeout 100s;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
复制代码
在如上配置中,负载了两个后端节点: 192.168.120.10:1001 和192.168.120.11:1001 ,负载选举模式采用 fair

check 配置了健康检查的基本规则。 interval=3000 每隔3秒(3000毫秒)检测一次, rise=2 请求2次正常则标记 realserver状态为up, fall=5 检测 5 次都失败则标记 realserver的状态为down, timeout=1000 超时时间为1秒,超时即失败。以下为详细说明:

复制代码
Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
Default: 如果没有配置参数,默认值是:interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
Context: upstream

Check指令参数意义:
- interval:向后端发送的健康检查包的间隔。
- fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。
- rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。
- timeout: 后端健康请求的超时时间。
- default_down: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。
- type:健康检查包的类型,现在支持以下多种类型
- tcp:简单的tcp连接,如果连接成功,就说明后端正常。
- ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。
- http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。
- mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。
- ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。
- port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。
复制代码
check_http_send 配置了健康检查包发送的内容。 "HEAD / HTTP/1.0\r\n\r\n" 表示采用 HEAD 方法,访问路径为 / 程序根目录(默认文档)。以下为详细说明:

复制代码
Syntax: check_http_send http_packet
Default: "GET / HTTP/1.0\r\n\r\n"
Context: upstream

-http_packet:当采用长连接进行健康检查时,需在该指令中添加keep-alive请求头,如:"HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。 同时,在采用"GET"方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务器或网络异常
复制代码
check_http_expect_alive 指定HTTP回复的成功状态,默认认为2XX和3XX的状态是健康的。以下为详细说明:

Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx
Context: upstream
关于 check 模块的详细说明,可以参照:ngx_http_upstream_check_module



心得
在实现fair和check模块时,走了很多坑。最初想着直接用淘宝的Tengine就不用安装check模块了,但是在安装上fair模块后,运行Tengine总是报错。就算是修改了fair代码,也还是不行,最后不得已又换回了Nginx。

如果

转载:https://www.cnblogs.com/ztlsir/p/8945043.html

*文章为作者原创或网络转载
转载此文请于文首标明作者姓名,保持文章完整性,并请附上出处
未按照规范转载者,陈帅同学保留追究相应责任的权利
编程改变世界

干了这碗鸡汤