高并发下nginx调优实战

技术分享  / 只看大图  / 倒序浏览   ©

#楼主# 2020-2-10

跳转到指定楼层

马上注册,分享更多源码,享用更多功能,让你轻松玩转云大陆。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
033507kysm7647qp84pypg.jpg
1.nginx上风说明

a.  占有内存少 (在3W并发毗连中,开启的10个nginx进程斲丧内存大约150M)
b. 高并发本领强 (官方测试能够支持5W并发毗连,在现实生产环境中能到2-3W并发毗连数)
c . 简单 (配置文件通俗易懂)
d . 价格 (免费、开源)
e.  支持Rewriter重写 (能够根据域名、URL的不同,将HTTP请求分到不同的后端服务器群组)
f. 内置康健查抄 (如果nginx后端有几个服务宕机了,不会影响前端访问,能自动检测服务状态)
g. 节省带宽 (支持GZIP压缩,可以添加浏览器本地缓存的Header头)
h.  稳定性高,反向代理,很少宕机
i .中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等
2.场景说明


  • 测试数据:由于后端服务器采用集群部署,通过性能测试工具jmeter分析出后端服务端处理用户每秒请求数(QPS)的单并发峰值在8千左右。
  • 问题分析途径:nginx日志。
1、通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。
2、通过错误日志,你可以得到体系某个服务或server的性能瓶颈等


  • 调优过程:实现nginx限流、安全配置、优化进程数及并发毗连数、nginx状态监控等性能调优。
  • 调优结果:当用户请求数达到此峰值时实现限流,保证有用的请求通过nginx转发给后端成功处理。ps:如果不做限流处理当请求数凌驾峰值时,有用的8千请求也会失效,造成服务器的宕机。
3. nginx日志切割实现


  • nginx日志默认没有分割,使用起来非常不方便
[root@bogon logs]# ll总用量 24-rw-r--r--. 1 root root 17403 2月   8 17:09 access.log-rw-r--r--. 1 root root   186 2月   7 17:39 error.log[root@bogon logs]# ll总用量 24-rw-r--r--. 1 root root 17628 2月   9 14:38 access.log-rw-r--r--. 1 root root   186 2月   7 17:39 error.log

  • 管理方法-通过shell脚本实现日志切割
此中上篇文章https://www.jianshu.com/p/42d44d8a0f29先容了docker容器运行nginx镜像并加载nginx.conf配置文件,日志路径为:/data/nginx/logs目录下


  • shell脚本如下:
#!/bin/bash#设置日志文件存放目录LOG_HOME="/data/nginx/logs/"#备分文件名称LOG_PATH_BAK="$(date -d yesterday +%Y%m%d%H%M)".access.log#重命名日志文件mv ${LOG_HOME}/access.log ${LOG_HOME}/${LOG_PATH_BAK}.log#向nginx主进程发信号重新打开日志kill -USR1 `cat /opt/nginx/logs/nginx.pid

  • 创建crontab设置定时任务
*/1 * * * * sh /data/nginx/nginx_log.sh [root@bogon logs]# ll总用量 16-rw-r--r--. 1 root root 1238 2月   9 17:44 202002081743.access.log-rw-r--r--. 1 root root 2588 2月   9 17:45 202002081745.access.log-rw-r--r--. 1 root root    0 2月   9 17:46 access.log-rw-r--r--. 1 root root    0 2月   9 17:10 error.log4.并发AB工具简介


  • 相对性能测试工具jmeter而言,在Linux下ab工具更轻巧好用。BA命令简介:
key寄义Document Path测试的页面Document Length页面的大小Concurrency Level并发数目、并发用户数Time taken for tests测试耗费总时间Complete requests请求总量、并发毗连数Failed requests请求失败的数目Write errors错误数目Requests per second每秒钟的请求量、吞吐率Time per request每次请求需要时间、响应时间

  • Centos安装命令:
yum install httpd-tools –y

  • 测试并发命令:
ab -c 1  -n 6  http://192.168.1.90:8070/index/index.html192.168.1.91 - - [09/Feb/2020:11:55:23 +0000] "GET /index/index.html HTTP/1.0" 200 20 "-" "ApacheBench/2.3" "-"192.168.1.91 - - [09/Feb/2020:11:55:23 +0000] "GET /index/index.html HTTP/1.0" 200 150 "-" "ApacheBench/2.3" "-"192.168.1.91 - - [09/Feb/2020:11:55:23 +0000] "GET /index/index.html HTTP/1.0" 200 20 "-" "ApacheBench/2.3" "-"192.168.1.91 - - [09/Feb/2020:11:55:23 +0000] "GET /index/index.html HTTP/1.0" 200 150 "-" "ApacheBench/2.3" "-"5. nginx限流有三种方式实现

• limit_conn_zone
• limit_req_zone
• ngx_http_upstream_module
前两种只能对客户端(即单一ip限流)


  • ngx_http_upstream_module限流示例(推荐)
    • 该模块是提供了我们需要的后端限流功能的
    • 该模块有一个参数:max_conns可以对服务端进行限流,版本要求:在nginx1.11.5版本以后,配置参数:
upstream localhost{server 192.168.1.90:8071  max_conns=5;server 192.168.1.90:8072 max_conns=5;}

  • 执行结果【可以看到结果有一个已经错误了,同理可以限制服务端访问流量】:
[root@bogon ~]# ab -c 1  -n 6  http://192.168.1.90:8070/index/index.htmlThis is ApacheBench, Version 2.3 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking 192.168.1.90 (be patient).....doneServer Software:        nginx/1.17.8Server Hostname:        192.168.1.90Server Port:            8070Document Path:          /index/index.htmlDocument Length:        150 bytesConcurrency Level:      1Time taken for tests:   0.041 secondsComplete requests:      6Failed requests:        0 Write errors:           1Total transferred:      2328 bytesHTML transferred:       900 bytesRequests per second:    146.03 [#/sec] (mean)Time per request:       6.848 [ms] (mean)Time per request:       6.848 [ms] (mean, across all concurrent requests)Transfer rate:          55.33 [Kbytes/sec] received6. 高并发下Nginx安全配置


  • 版本安全
Accept-Ranges: bytesConnection: keep-aliveContent-Length: 20Content-Type: text/htmlDate: Sun, 09 Feb 2020 11:42:08 GMTETag: W/"20-1581064798000"Last-Modified: Fri, 07 Feb 2020 08:39:58 GMTServer: nginx/1.17.8

  • 响应头信息可以看到nginx的版本号,版本号暴露是不安全的,所以需要隐藏下nginx的版本号,配置server_tokens off;下面就看不到了。
http {    server_tokens off;...Accept-Ranges: bytesConnection: keep-aliveContent-Length: 150Content-Type: text/htmlDate: Sun, 09 Feb 2020 11:45:09 GMTETag: W/"150-1581063242000"Last-Modified: Fri, 07 Feb 2020 08:14:02 GMTServer: nginx

  • IP安全配置
白名单配置:location / {allow 192.168.136.1;deny all;}黑名单设置:location / {deny 192.168.136.1;allow all;}

  • 文件安全配置
location /logs {autoindex on;root /opt/nginx/;}location ^/logs~*\.(log|txt)$ {add_header Content-Type text/plain;root /opt/nginx/;}7. Nginx配置进程数、并发数、体系优化


  • 调整Nginx的主配置文件,增加并发量
worker_processes 2; #调整到与CPU数目一致events {worker_connection 65535; #每个worker最大并发毗连数}

  • 调整内核参数
[root@proxy ~]# ulimit -a #查看全部的属性值[root@proxy ~]# ulimit -Hn 10000 #临时设置硬限制[root@proxy ~]# ulimit -Sn 10000 #设置软限制[root@proxy ~]# vim /etc/security/limits.conf...* soft nofile 100000* hard nofile 100000用户/组 软/硬限制 需要限制的项目 限制的值

  • 验证
ab -n 1 -c 20000 http://192.168.1.131/ 8.高并发下Nginx状态监控


  • 配置Nginx的监控选项(配置文件路径:nginx.conf)
    添加如下代码:
#设定Nginx状态访问地址location /NginxStatus {stub_status on;access_log off;}

  • 插件安装(在源码目录下执行):
./configure --prefix=/opt/nginx/ --with-http_stub_status_module
033507h82e8yfs228zssm9.jpg


  • 参数说明:
活泼的毗连数目
active connections
总共处理了n个毗连 , 成功创建n次握手, 总共处理了n个请求
server accepts handled requests
每个毗连有三种状态waiting、reading、writing
reading —读取客户端的Header信息数.这个操纵只是读取头部信息,读取完后马上进入writing状态,因此时间很短
writing — 响应数据到客户端的Header信息数.这个操纵不但读取头部,还要等待服务响应,因此时间比力长。
waiting — 开启keep-alive后等候下一次请求指令的驻留毗连.
正常情况下waiting数目是比力多的,并不能说明性能差。反而如果reading+writing数目比力多说明服务并发有问题。
查看Nginx并发进程数:ps -ef|grep nginx | wc -l
查看Web服务器TCP毗连状态:netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'


  • 解析:
CLOSED //无毗连是活动的或正在进行
LISTEN //服务器在等待进入呼叫
SYN_RECV //一个毗连请求已经到达,等待确认
SYN_SENT //应用已经开始,打开一个毗连
ESTABLISHED //正常数据传输状态/当前并发毗连数
FIN_WAIT1 //应用说它已经完成
FIN_WAIT2 //另一边已同意释放
ITMED_WAIT //等待全部分组死掉
CLOSING //两边同时实验关闭
TIME_WAIT //另一边已初始化一个释放
LAST_ACK //等待全部分组死掉
查看Web服务器TCP毗连状态:netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'


  • 最后并发凌驾峰值后的服务端jvm监控显示正常

    033508p91ko11o1er1xrxj.png



  • nginx技术三--参数并发调优
更多技术分享和免费视频资料首发于公众号:请关注微信公众号--Coding测试 获取
033508wjh9es94g4kqosbh.jpg
分享淘帖
回复

使用道具

您的回复是对作者最大的奖励

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于作者

屎壳郎秧

新手猿

  • 主题

    7

  • 帖子

    7

  • 关注者

    0

Archiver|手机版|小黑屋|云大陆 | 赣ICP备18008958号-4|网站地图
Powered by vrarz.com!  © 2019-2020版权所有云大陆