1. Nginx 简介
1.1 什么是 Nginx?
Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的,第一个公开版本0.1.0发布于2004年10月4日。
其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。2011年6月1日,nginx 1.0.4发布。
Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,在BSD-like 协议下发行。其特点是占有内存少,并发能力强,事实上nginx的并发能力在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。
1.2 Nginx 作为 web 服务器
Nginx 可以作为静态页面的 web 服务器,同时还支持 CGI 协议的动态语言,比如 perl、php 等。但是不支持 java。Java 程序只能通过与 tomcat 配合完成。Nginx 专为性能优化而开发,性能是其重要的考量,实现上非常注重效率,能经受高负载的考验,有报告声明能支持高达 50000 个并发连接数。
1.3 正向代理
Nginx 不仅可以做反向代理,实现负载均衡。还能用做正向代理来进行上网等功能。
正向代理:如果把局域网外的 Internet 想象成一个巨大的资源库,则局域网中的客户端要访问 Internet,则需要通过代理服务器来访问,这种代理服务就称为正向代理。
在客户端(浏览器)配置代理服务器,通过代理服务器进行访问。
1.4 反向代理
反向代理,其实客户端对代理是无感的,因为客户端不需要任何配置就可以访问,我们只需要将请求发送到反向代理服务器,由反向代理服务器去选择目标服务器获取数据后,在返回给客户端,此时反向代理服务器和目标服务器对外是一个服务器,暴露的是代理服务器地址,隐藏了真实服务器 IP 地址。
1.5 负载均衡
客户端发送多个请求到服务器,服务器处理请求,有一些可能要与数据库进行交互,服务器处理完毕后,再将结果返回给客户端。
这种架构模式对于早期的系统相对单一,并发请求相对较少的情况下是比较适合的,成本也低。但是随着信息数量的不断增加,访问量和数据量的飞速增长,以及系统业务的复杂度增加,这种架构会造成服务器响应客户端的请求日益缓慢,并发量特别大的时候,还容易造成服务器直接崩溃。很明显这是由于服务器性能的瓶颈造成的问题,那么如何解决这种情况?
我们首先想到的可能是升级服务器的配置,比如提高 CPU 执行频率,加大内存等提高机器的物理性能来解决此问题,但是我们知道摩尔定律的日益失效,硬件的性能提升已经不能满足日益提升的需求了。最明显的一个例子,天猫双十一当天,某个热销商品的瞬时访问量是极其庞大的,那么类似上面的系统架构,将机器都增加到现有的顶级物理配置,都是不能够满足需求的。那么怎么办呢?
上面的分析我们去掉了增加服务器物理配置来解决问题的办法,也就是说纵向解决问题的方法行不通了,那么横向增加服务器的数量呢?这时候集群的概念产生了,单个服务器解决不了,我们增加服务器的数量,然后分发到各个服务器上,将原先请求集中到单个服务器上的情况改为将请求分发到多个服务器上,将负载分发到不同的服务器,也就是我们所说的负载均衡。
1.6 动静分离
为了加快网站的解析速度,可以把动态页面和静态页面由不同的服务器来解析,加快解析速度。降低原来的单个服务器的压力。
2. Nginx 的安装
系统环境:Centos7
官网:nginx.org/
在安装 Nginx 之前需要先安装一些依赖
下载地址:sourceforge.net/projects/pc…
下载好之后放到 Linux 系统中的 /usr/src 目录下,然后执行命令 tar -xvf pcre-xxx.tar.gz
进行解压
进入到解压之后的目录,执行命令 ./configure
,使用命令 make && make install
进行编译并且安装
安装之后可以使用命令 pcre-config --version
查看版本号
yum -y install make zlib-devel gcc-c++ libtool openssl openssl-devel
压缩文件放到 linux 系统中
下载地址:nginx.org/en/download…
tar -xvf 解压文件名
./configure
make && make install
安装完成之后会在 /usr/local
文件夹下创建一个 nginx/sbin ,启动命令在这个文件夹下
启动测试
启动之后在浏览器输入 192.168.253.137
就可以看到 Nginx 的界面(提前关闭linux 的防火墙)
给 Linux 系统中的防火墙添加一个端口访问规则
查看开发的端口号
firewall-cmd --list-all
设置开放的端口号
sudo firewall-cmd --add-port=80/tcp --permanent
重启防火墙
firewall-cmd --reload
3. Nginx 操作的常用命令
使用 Nginx 操作命令前提条件:必须进入到 nginx 的目录(/usr/local/nginx/sbin)中才能使用命令
查看 Nginx 版本号
./nginx -v
启动 Nginx
./nginx
关闭 Nginx
./nginx -s stop
重新加载 Nginx
./nginx -s reload
4. Nginx 配置文件
位置:在 Nginx 的加压目录的 /conf 下
Nginx 由 3 部分组成:
第一部分:全局块
从配置文件开始到 events 块之间的内容,主要会设置一些影响 nginx 服务器整体运行的配置指令,主要包括配置运行 Nginx 服务器的用户(组)、允许生成的 worker process 数,进程 PID 存放路径、日志存放路径和类型以及配置文件的引入等。
worker_processes 1;
这是 Nginx 服务器并发处理服务的关键配置,worker_processes 值越大,可以支持的并发处理量也越多,但是会受到硬件、软件等设备的制约。
第二部分:events 块
events 快设计的指令主要影响 Nginx 服务器与用户的网络连接,常用的设置包括是否开启对多 work process 下的网络连接进行序列化,是否允许同时接收多个网络连接,选取那种事件驱动模型来处理连接请求,每个 work process 可以同时支持的最大连接数等。
下图中就表示每个 work process 支持的最大连接数为 1024
这部分的配置对 Nginx 的性能影响较大,在实际中应该灵活配置。
第三部分:http 块
这里是 Nginx 服务器配置中修改最频繁的部分,代理、缓存和日志定义等绝大多数功能和第三方模块的配置都在这里。
http 块也可以包括 http 全局块、server 块
配置的指令包括文件引入、MIME-TYPE 定义、日志自定义、连接超时时间、单链接请求数上线等。
这块和虚拟主机有密切关系,虚拟主机从用户角度看,和一台独立的硬件主机是完全一样的,该技术的产生是为了节省互联网服务器硬件成本。
每个 http 块可以包括多个 server 块,而每个 server 块相当于一个虚拟主机。而每个 server 块也分为全局 server 块,以及可以同时包含多个 location 块。
- 全局 server 块
最常见的配置是本虚拟机主机的监听配置和本虚拟机主机的名称或 IP 配置
- location 块
一个 server 块可以配置多个 location 块。
这块的主要作用是基于 Nginx 服务器接收到的请求字符串(例如 server_name/uri-string),对虚拟主机名称(也可以是 IP 别名)之外的字符串(例如 /uri-string) 进行匹配,对待定的请求进行处理。地址定向、数据缓存和应答控制等功能,还有许多第三方模块的配置也在这里进行。
4. Nginx 配置实例 - 反向代理 1
4.1 实现效果
打开浏览器,在浏览器地址栏中访问 www.123.com
,跳转到 Linux 系统中的 tomcat 主页面。
访问过程中的 www.123.com
域名需要在 windows 中的 hosts 文件中进行映射配置。
4.2 准备工作
下载地址:dlcdn.apache.org/tomcat/tomc…
下载好之后上传到 Linux 系统中
使用命令 tar -xvf 文件名
进行解压
解压好之后进入解压目录的 bin 目录下,执行命令:./startup.sh
启动 tomcat,启动后可以进入到 log 目录下执行命令tail -f catalina.out
通过日志查看是否启动
sudo firewall-cmd --add-port=8080/tcp --permanent
执行这个命令开放 8080 端口,重启防火墙192.168.253.137:8080
来查看是否可以访问到 Linux 中的 tomcat 服务器之前在 hosts 中进行了域名的映射了,所以通过访问域名 www.123.com:8080
也可以访问到 tomcat
4.3 在 Nginx 进行请求转发的配置(反向代理配置)
/usr/local/nginx/conf
目录下的 nginx.conf 文件www.123.com
就可以访问到 tomcat 了5. Nginx 配置实例 - 反向代理 2
5.1 实现效果
使用 Nginx 反向代理,根据访问的路径跳转到不同端口的服务中,Nginx 监听端口为 9001
windows 浏览器访问 :http://127.0.0.1:9001/edu/ 直接跳转到 127.0.0.1:8080
windows 浏览器访问 :http://127.0.0.1:9001/vod/ 直接跳转到 127.0.0.1:8081
5.2 准备工作
192.168.253.137:8080/8081
都可以访问成功的webapps
文件夹下创建一个 edu 和 vod 文件夹8080!!!!
和 8081!!!!
5.3 在 Nginx 进行请求转发的配置
修改为一下内容:
- location 指令说明
该指令用于匹配 URL
语法:
location [ = | ~ ~* | ^~] uri {
}
= : 用于不含正则表达式的 uri 前,要求请求字符串与 uri 严格匹配,如果匹配成功,就停止继续向下搜索并立即处理该请求
~ : 用于表示 uri 包含正则表达式,并且区分大小写。
~* : 用于表示 uri 包含正则表达式,并且不分区大小写。
^~ : 用于不含正则表达式的 uri 前,要求 Nginx 服务器找到标识 rui 和请求字符串匹配度最高的 location 后,立即使用此location 处理请求,而不再使用 location 块中的正则 uri 和请求字符串做匹配。
注意:如果 uri 包含正则表达式,则必须要有 ~ 或者 ~* 标识。
firewall-cmd
命令),重启防火墙,重启 nginx6. Nginx 配置实例 - 负载均衡
负载均衡就是通过增加服务器的数量,然后将请求分发到各个服务器上,将原先请求集中到单个服务器上的情况改为将请求分发到多个服务器上,将负载分发到不同的服务器,也就是我们所说的负载均衡。
6.1 实现效果
浏览器地址栏输入地址 http://192.168.253.137/edu/a.html
,访问这个地址来实现一个负载均衡的效果,将请求平均分摊到 8080 和 8081 端口的服务上去。
6.2 准备工作
6.3 在 Nginx 的配置文件中进行负载均衡的配置
进入 /usr/local/nginx/sbin 路径下执行命令: ./nginx -s stop
关闭 nginx 服务
在 /usr/local/nginx/conf 路径下执行命令:vim nginx.conf
配置负载均衡的信息
注意:server localhost:8080 不知道为啥换成 ip 地址就不能进行负载均衡了,只能改成 localhost
./nginx
启动 nginx6.4 负载均衡方式
随着互联网信息的爆炸性增长,复杂均衡(load balance)已经不再是一个很陌生的话题,顾名思义,负载均衡即是将负载分摊到不同的服务单元,既保证服务的可用性,又保证响应足够快,给用户很好的体验。快速增长的访问量和数据流量催生了各式各样的负载均衡产品,很多专业的负载均衡硬件提供了很好的功能,但却价格不菲,这使得负载均衡软件大受欢迎,nginx 就是其中一个,在 Linux 下有 Nginx、LVS、Haproxy 等等服务可以提供负载均衡服务,而且 Nginx 提供了几种分配方式(策略):
每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器 down 掉,能自动剔除。
weight 代表权重,默认为 1 ,权重越高被分配客户端越多
指定轮询几率,weight 和访问比率成正比,用于后端服务器性能不均的情况。
每个请求按访问 ip 的 hash 结果分配,这样每个访客固定访问一个后端服务器,可以解决 session 的问题。例如:
假如我第一次用的一个 ip 访问 8081,后面只要我还是用这个 ip 进行访问,就永远是 8081 了。
按后端服务器的响应时间来分配请求,响应时间短的优先分配。
假如进行访问 80 端口,还会做负载均衡 8080 和 80801 ,先访问 8080 然后访问 8081 ,看谁的响应时间短就先给谁分配。
7. Nginx 配置实例 - 动静分离
7.1 什么是动静分离?
Nginx 动静分离简单来说就是把动态和静态请求分开,不能理解成只是单纯的把动态页面和静态页面物理分离。严格意义上说应该是动态请求跟静态请求分开,可以理解成使用 Nginx 处理静态页面,Tomcat 处理动态页面。动静分离从目前实现角度来讲大致分为两种,一种是纯粹把静态文件独立成单独的域名,放在独立的服务器上,也是目前主流推崇的方案;另外一种方法就是动态跟静态文件混合在一起发布,通过 Nginx 来分开。
通过 location 指定不同的后缀名实现不同的请求转发。通过 expires 参数设置,可以使浏览器缓存过期时间,减少与服务器之间的请求和流量。具体 Expires 定义:是给一个资源设定一个过期时间,也就是说无需去服务端验证,直接通过浏览器自身确认是否过期即可,所以不会产生额外的流量。此种方法非常适合不经常变动的资源。(如果经常更新的文件,不建议使用 Expires 来缓存),设置 3d 表示在 3 天之内访问这个 URL,发送一个请求,比对服务器该文件最后更新时间没有变化,则不会从服务器抓取,返回状态码 304,如果有修改,则直接从服务器重新下载,返回状态码 200;
7.2 配置动静分离
7.2.1 准备工作
- 在 Linux 系统中准备一些静态的资源
在 / 目录下创建一个 data 文件夹,在 data 文件下创建一个 www 和 image 文件夹
上传到 www 文件夹下一个 *.html 文件,image 上传一个 *.jpg 图片文件
7.2.2 实现效果
在浏览器中输入一个地址,访问 www/a.html 能访问到,image/1.jpg 也能访问到。这个过程不是通过tomcat 访问的,是通过 Nginx 的静态资源配置访问到。就是通过 Nginx 做静态资源配置,让 Nginx 指向静态资源。
7.2.3 在 Nginx 的配置文件中进行配置
192.168.253.137/image/
192.168.253.137/image/1.jpg
192.168.253.137/www/a.html
8. Nginx 配置高可用的集群
8.1 高可用简介
什么是高可用 :
在下图中,客户端访问 Nginx ,Nginx 代理访问 tomcat;如果在 tomcat 服务中某一个服务器宕机, 则 Nginx 会将宕机的剔除掉,并不会影响正常的访问逻辑;
但是,我们整个系统中只有一台 Nginx 服务器,假如说 Nginx 宕机了,则请求将无法正常完成,所以需要配置 Nginx 集群来解决 Nginx 宕机不可用的情况,即高可用的集群。
- 之前的架构情况
- 高可用集群
每一个 Nginx 服务器绑定到一个虚拟 ip 上,通过 keepalived 监控 Nginx 服务器是否还在正常运行,如果不能正常运行了,就将虚拟 ip 绑定到从服务器上。
8.2 准备工作
在 VMware 中克隆一下之前配置好 Nginx 的虚拟机,就得到了两台 Nginx 服务器
一台 IP 地址为 192.163.253.137;另一台 IP 地址为 192.168.253.140
命令:yum install keepalived -y
在虚拟机中执行这个命令安装,每个 Nginx 服务器都需要进行安装。
也可以下载好执行上传文件夹进行安装,下载地址:www.keepalived.org/software/ke…
下载完上传到 Linux 虚拟机的 /opt 目录下
tar -zxvf 文件名
./configure
name && make install
keepalived -version
8.3 修改配置文件并启动测试
keepalived 配置文件位置:/etc/keepalived/keepalived.conf
,注意这里需要修改的配置文件是 /etc/keepalived/keepalived.conf,如果没有可能是安装失败,或者从 /usr/local/etc/keepalived/ 下复制一份到 /etc/
同样的修改从服务 192.168.253.140 上的配置文件,与这个一样,就是需要修改一下 smtp_server
和 priority
内容为:
! Configuration File for keepalived
# 全局定义
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.253.137
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_http_port {
script "/usr/loca/src/nginx_check.sh"
interval 2 # (检测脚本执行的间隔)
weight 2
}
vrrp_instance VI_1 {
state BACKUP # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 # 网卡
virtual_router_id 51 # 主、备 机 的 virtual_router_id 必须相同
priority 100 # 主、备 机取不同的优先级,主机值较大,备份机值较小
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.153.50 # VRRP H虚拟地址
}
}
#!/bin/bash
A=`pc -C nginx -no-header |wc -l`
if [ $A -eq 0]; then
/usr/local/nginx/sbin/nginx # nginx 的启动路径,如果还能启动就启动,不能启动换下一个
sleep 3
if [ `ps -C nginx --no-header |wc -l` -eq 0 ]; then
killall keepalived
fi
fi
启动 nginx:./nginx
启动 keepalived:systemctl start keepalived.service
因为我们在 keepalived 的脚本中进行了配置,当主服务宕机之后,将虚拟 ip 绑定到从服务器上,保证能够正常进行访问。
8.4 配置文件解释
! Configuration File for keepalived
# 全局配置
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.253.137
smtp_connect_timeout 30
# 上面的用处不大,主要是下面这一行
router_id LVS_DEVEL # 路由 id,通过这个名字可以访问到服务器,这个名字就是服务器的名字
}
# 脚本相关的配置
vrrp_script chk_http_port {
script "/usr/loca/src/nginx_check.sh"
interval 2 # (检测脚本执行的间隔)
weight 2 # 权重,当脚本条件成立,当前主机的权重 + 2,让权重有一个改变
}
# 虚拟 ip 的相关配置
vrrp_instance VI_1 {
state BACKUP # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 # 网卡
virtual_router_id 51 # 主、备 机 的 virtual_router_id 必须相同
priority 100 # 主、备 机取不同的优先级,主机值较大,备份机值较小
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.153.50 # VRRP H虚拟地址
}
}
9. Nginx 原理
在 Nginx 启动之后系统中是有两个进程的:master 和 worker。
启动之后 master 不做具体工作,进行分配任务,将任务分配到不同的 worker,worker 收到之后做具体的任务。
当 client 发送请求到 Nginx 中的时候,首先会到 master ,master 得到请求之后分配给 worker,worker 用一种机制(争抢机制)得到这个任务,抢到这个任务后调用 tomcat 服务器执行任务实现操作。
- 一个master-多个worker 的机制的好处
首先,对于每个 worker 进程来说,独立的进程,不需要加锁,所以省掉了锁带来的开销,同时在编程以及问题查找时,也会方便很多。其次,采用独立的进程,可以让互相之间不会影响,一个进程退出后,其他进程还在工作,服务不会中断,master 进程则很快启动新的 worker 进行。当然,worker 进程的异常退出,肯定是程序有 bug 了,异常退出,会导致当前 worker 上的所有请求失败,不过不会影响到所有请求,所以降低了风险。
- 需要设置多少个 worker
Nginx 同 redis 类似都采用了 io 多路复用机制,每个 worker 都是一个独立的进程,但每个进程里只有一个主线程,通过异步非阻塞的方式来处理请求,即使是成千上万个请求也不在话下。每个 worker 的线程可以把一个 cpu 的性能发挥到机制。所以 worker 数和 服务器的 cpu 数相等是最为适宜的。设少了会浪费 cpu ,设多了会造成 cpu 频繁切换上下文带来的损耗。
- 连接数 worker_connection
问题1: 发送一个请求占用 worker 的几个连接数?
答案:要么是 2 个,要么是 4 个。
如果发送请求访问一些静态资源,worker 通过 nginx 指向静态资源服务器,返回静态资源,占用了两个连接。
如果要访问数据库,nginx 不支持 java,所以 worker 需要访问 tomcat,通过 tomcat 访问到数据库后再返回给 worker,又占用了两个连接数,所以共占用了四个连接。
问题2: nginx 中有一个 master ,四个 worker,每个 worker 支持最大的连接数是 1024,我想要知道 worker 支持的最大并发数是多少?(也就是知道 worker 能承受多少个请求)
答案: worker 支持的最大连接数 4 * 2024 ;最大并发 (4 * 1024)/ 2 或者 / 4。
这个值是表示每个 worker 进程所能建立连接的最大值,所以,一个 nginx 能建立的最大连接数,应该是 worker_connections * worker_processes。当然,这里说的最大连接数,对于 HTTP 请求本地资源来说,能够支持的最大并发数量是 worker_connections * worker_processes,如果是支持 http1.1 的浏览器每次访问要占两个连接,所以普通的静态访问最大并发数是:worker_connections * worker_processes / 2,而如果是 HTTP 作为反向代理来说,最大并发数量应该是 worker_connections * worker_processes / 4。因为作为反向代理服务器,每个并发会建立与客户端的连接和与后端服务的连接,会占用两个连接。
学习参考视频地址: www.bilibili.com/video/BV1zJ…