3 nginx | glls

1586499306778

[TOC]

一、引言

1.1 代理问题

客户端到底要将请求发送给哪台服务器。

发送给服务器1还是服务器2

1.2 负载均衡问题

如果所有客户端的请求都发送给了服务器1，那么服务器2将没有任何意义

负载均衡问题

1.3 资源优化

客户端发送的请求可能是申请动态资源的，也有申请静态资源，但是都是去Tomcat中获取的

静态资源访问

1.4 Nginx处理

在搭建集群后，使用Nginx

二、Nginx概述

Nginx是由俄罗斯人研发的，应对Rambler的网站，并且2004年发布的第一个版本。
1.Nginx 是一个高性能的Http和反向代理服务器，特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。国内使用nginx的网站有很多，如百度京东新浪网易淘宝等
Nginx作为web 服务器： nginx 只能作为静态页面的web服务器，同时还支持CGI协议的动态语言，比如perl,php 等，但是不支持java ,java程序只能通过与tomcat配合完成。nginx 专为性能优化而开发，性能是其最重要的考量，实现上非常注重效率，能经受高负载的考验，有报告表明能支持高达50000个并发连接数。

Nginx之父

Nginx的特点：
稳定性极强。 7*24小时不间断运行。
Nginx提供了非常丰富的配置实例。
占用内存小，并发能力强。
tomcat 默认线程池线程线程数数 150 可以认为 tomcat 只能承受150个并发， nginx 最高承受50000以上并发

三、Nginx的安装

3.1 安装Nginx

使用Docker-Compose安装

shell

cd /opt
mkdir docker_nginx
cd docker_nginx
vi docker-compose.yml

yml

version: '3.1'
services:
  nginx:
    restart: always
    image: daocloud.io/library/nginx:latest
    container_name: nginx
    ports:
      - 80:80

启动 docker-compose up -d

3.2 Nginx的配置文件

关于Nginx的核心配置文件nginx.conf 所在容器内部的位置是 /etc/nginx/

json

user  nginx;     # Nginx用户  
worker_processes  1;   # 工作进程：数目。根据硬件调整，通常等于CPU数量或者2倍于CPU

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;    # pid（进程标识符）：存放路径。
# 以上统称为全局块， 
# worker_processes他的数值越大，Nginx的并发能力就越强
# error_log 代表Nginx的错误日志存放的位置

events {
    worker_connections  1024;   #每个工作进程的最大连接数量。根据硬件调整，和前面工作进程配合起来用，尽量大，但是别把cpu跑到100%就行
}
# events块
# worker_connections他的数值越大，Nignx并发能力越强

http {   # http块
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
	# include代表引入一个外部的文件 -> /mime.types中放着大量的媒体类型
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;   # 日志

    sendfile        on;    
    #tcp_nopush     on;

    keepalive_timeout  65;    # keepalive超时时间  单位是秒

    #gzip  on;
	#include /etc/nginx/conf.d/*.conf; -> 引入了conf.d目录下的以.conf为结尾的配置文件
    # 相当于引入外部的配置文件  咱们主要关注这个文件
    include /etc/nginx/conf.d/*.conf;
    
}

json

# 这个是 /etc/nginx/conf.d/default.conf;   这个配置文件  大部分内容被注释掉了   是一些配置示例
server {
    listen       80;    # nginx 默认监听的端口号
    listen  [::]:80;    
    server_name  localhost;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

json

# 这个是 /etc/nginx/conf.d/default.conf;   这个配置文件  大部分内容被注释掉了   把注释掉的内容去掉
server {    # server 块是http 块中的 内容
    listen       80;    # nginx 默认监听的端口号
    listen  [::]:80;    
    server_name  localhost;  # ip 
	
	# location块
	# root：将接收到的请求根据/usr/share/nginx/html去查找静态资源
	# index： 默认去上述的路径中找到index.html或者index.htm
    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }

 	
    #50x 错误页面跳转 
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

}

3.3 修改docker-compose文件

为了方便修改Nginx配置，修改yml文件

yml

version: '3.1'
services:
  nginx:
    restart: always
    image: daocloud.io/library/nginx:latest
    container_name: nginx
    ports:
      - 80:80
    volumes:
      - /opt/docker_nginx/conf.d/:/etc/nginx/conf.d
      
这里注意  使用docker-compose 创建容器  挂载的容器卷里面的内容是空的  ，需要自己在容器卷内创建 配置文件
比如  默认端口  默认访问页面的配置  即上文的  default.conf 内的配置

四、Nginx的反向代理【`重点`】

4.1 正向代理和反向代理介绍

正向代理：
正向代理服务是由客户端设立的。
客户端了解代理服务器和目标服务器都是谁。
帮助咱们实现突破访问权限，提高访问的速度，对目标服务器隐藏客户端的ip地址。

正向代理

反向代理：
反向代理服务器是配置在服务端的。
客户端是不知道访问的到底是哪一台服务器。
达到负载均衡，并且可以隐藏服务器真正的ip地址。

1586513061851

4.2 基于Nginx实现反向代理

准备一个目标服务器。
启动了之前的tomcat服务器。
编写nginx的配置文件，通过Nginx访问到tomcat服务器。

json

server{
  listen 80;
  server_name localhost;
    # 基于反向代理访问到Tomcat服务器
  location / {
    proxy_pass http://192.168.199.109:8080/;
  }
}

4.3 关于Nginx的location路径映射

优先级关系如下：
location = /路径：优先级最高，精准匹配，一旦匹配，不再去找其他匹配项。
location ^~ /路径：优先级次之，字符串匹配，一旦匹配，不再去找其他匹配项。
location ~ 正则表达式：如果有多个location的正则能匹配的话，则使用正则表达式最长的那个。
location ~* 正则表达式：和location ~ 正则表达式相同，不过当前方式不区分大小写。
location /路径：常规方式，匹配前缀，优先级最低。
注意：有没有映射（匹配）上是一回事映射上了location 有没有找到对应的资源是另外一回事
举个栗子：

json

# 直接匹配     优先级最高
location = / {
  # 精准匹配，主机名后面不能带任何的字符串
}

# 完全匹配     精确匹配   a
  location /aaa/bbb/ccc/d.html {
       proxy_pass http://192.168.133.107:8080;
    }


# 匹配开头路径  正则匹配   b        a>b
location ^~ /aaa/bbb {
  # 匹配所有以/aaa/bbb开头的路径，匹配后，不再筛选其他选项
}

# 正则匹配     优先级 c       b>c    但是   c>a
location ~ /aaa/bbb { 
  # 匹配所有以/aaa/bbb开头的路径
}

 	location ~ /aaa/bbb/ccc {
       proxy_pass http://192.168.133.107:8081;
    }


# 正则匹配后缀    优先级4
location ~* \.(gif|jpg|png)$ {
  # 匹配以gif或者jpg或者png为结尾的路径
}

# 常规匹配   通用匹配   优先级5
location /xxx {
  # 匹配所有以/xxx开头的路径
}

# 全部通配     优先级6
location / {
  # 匹配全部路径  
}

shell

# 准备两个tomcat  
docker run -d -p 8080:8080 --name tomcat1 -v /opt/docker_compose/tomcat_mysql/tomcat1:/usr/local/tomcat/webapps  daocloud.io/library/tomcat:8.5.15-jre8
docker run -d -p 8081:8080 --name /opt/docker_compose/tomcat_mysql/tomcat2 -v tomcat2:/usr/local/tomcat/webapps  daocloud.io/library/tomcat:8.5.15-jre8
# 然后再 容器卷内 创建  ssm 文件夹  里面放一个 index.jsp   写上不同的内容

测试过程中  如果出现映射规则冲突  nginx 会一直重启  ，此时 必须解决冲突

# 请求地址  http://192.168.5.203/ssm/  

server {
    listen       80;
    server_name  localhost;
    
    
    location  = /ssm {   
		proxy_pass http://192.168.211.101:8081/;  # 注意  精准匹配 后面这个 /  必须存在 	  
    }
    
    location /ssm {
        proxy_pass http://192.168.5.203:8081;   # 注意  这里会把  /ssm  拼到这个路径后面  所以 这个地址 8081 后面 
        										#加 / 和不加 / 
                								#效果是不一样的  
    }	

    location / {    # 如果 把上面的location 去掉  会匹配 这个 location   但是 匹配上不见得访问到 
    # 比如  上面的 注释掉了  请求 ssm  下面的路径  如果没有 ssm 就访问不到 报 404
        proxy_pass http://192.168.5.203:8080/;
        
    }
    
}

---------------------------------------------------------------------------------------------------
## 演示  优先级   把 8080 的 页面 改的和 8081 的 页面不一样  以区分效果
server {
    listen       80;
    server_name  localhost;

    location ^~ /ssm {
        proxy_pass http://192.168.5.203:8081;        #优先级  ^~ /ssm  >    ~ /ssm     >   /ssm
        
    }


    location ~ /ssm {   # 这里不能把 ~ 去掉  否则 就和上面的冲突了
        proxy_pass http://192.168.5.203:8080;
        
    }
    
    location  /ssm {   # 与上面的 ^~ /ssm   duplicate location  写法冲突了    所以 两两对比 先把^~ 那个注释掉

		proxy_pass http://192.168.133.101:8080;
    	  
    }
}
-------------------------------------------------------------------------------
## 演示  精确匹配的 优先级

	#b
         location  /aaa/bbb/ccc/d.html {
       proxy_pass http://192.168.133.107:8081;
    }

    #a
#     location ~ /aaa/bbb/ccc {
#       proxy_pass http://192.168.133.107:8081;
#    }

   #c

     location ^~ /aaa/bbb/ccc {
       proxy_pass http://192.168.133.107:8080;
    }
    发现 优先级    a  > b > c >a
    # 结论   不要记结论   具体情况 具体演示一下得到结果
----------------------------------------------------
    #这种写法   报错 跟上面的错与一样    duplicate location "/aaa/bbb/ccc" in /etc/nginx/conf.d/default.conf:38

    location ^~ /aaa/bbb/ccc {
       proxy_pass http://192.168.133.107:8081;
    }

     location  /aaa/bbb/ccc {
       proxy_pass http://192.168.133.107:8080;
    }

五、Nginx负载均衡【`重点`】

Nginx为我们默认提供了三种负载均衡的策略：
轮询：将客户端发起的请求，平均的分配给每一台服务器。默认策略
权重：会将客户端的请求，根据服务器的权重值不同，分配不同的数量。
ip_hash：基于发起请求的客户端的ip地址不同，他始终会将请求发送到指定的服务器上。根据ip地址计算出一个结果根据这个结果找对应的服务器

5.1 轮询

想实现Nginx轮询负载均衡机制只需要在配置文件中添加以下内容

json

upstream 名字 {
  server ip:port;
  server ip:port;
  ...
}
server {
  listen 80;
  server_name localhost;
  
  location / {
    proxy_pass http://upstream的名字/;
  }
}

#############      轮询访问   一次80   一次81
#负载均衡
upstream ssm {
  server 192.168.5.203:8080;
  server 192.168.5.203:8081;
  
}
server {
    listen       80;
    server_name  localhost;


#  演示  负载均衡
    location /ssm {
         proxy_pass http://ssm;
    }
}

5.2 权重

实现权重的方式

json

upstream 名字 {
  server ip:port weight=权重比例;
  server ip:port weight=权重比例;
  ...
}
server {
  listen 80;
  server_name localhost;
  
  location / {
    proxy_pass http://upstream的名字/;
  }
}

#############      权重访问   一次80   四次81
#负载均衡
upstream ssm {
  server 192.168.5.203:8080 weight=2;
  server 192.168.5.203:8081 weight=8;
  
}
server {
    listen       80;
    server_name  localhost;


#  演示  负载均衡
    location /ssm {
         proxy_pass http://ssm;
    }
}

5.3 ip_hash

ip_hash实现根据hash 算法固定访问某个地址

json

upstream 名字 {
  ip_hash;
  server ip:port;
  server ip:port;
  ...
}
server {
  listen 80;
  server_name localhost;
  
  location / {
    proxy_pass http://upstream的名字/;
  }
}

六、Nginx动静分离【`重点`】

Nginx的并发能力公式：
worker_processes * worker_connections / 4 | 2 = Nginx最终的并发能力
动态资源需要/4，静态资源需要/2.
Nginx通过动静分离，来提升Nginx的并发能力，更快的给用户响应。

上图是动态资源的请求工程四个连接数，咱们把静态资源放在nginx 上面就只需要两个连接数，同时也减轻了后面服务器的压力，如下图静态资源直接放在nginx

6.1 动态资源代理

使用proxy_pass动态代理

json

# 配置如下
location / {
  proxy_pass 路径;
}

6.2 静态资源代理

使用root静态代理

json

# 配置如下
location / {
  root 静态资源路径;
  index 默认访问路径下的什么资源;
  autoindex on; # 代表展示静态资源全的全部内容，以列表的形式展开。
}

# 先修改docker，添加一个数据卷，映射到Nginx服务器的一个目录
version: '3.1'
services:
  nginx:
    restart: always
    image: daocloud.io/library/nginx:latest
    container_name: nginx
    ports:
      - 80:80
    volumes:
      - /mydata/nginx/conf.d/:/etc/nginx/conf.d
	  - /mydata/nginx/images/:/usr/share/nginx/images
	  - /mydata/nginx/css/:/usr/share/nginx/css
	  - /mydata/nginx/js/:/usr/share/nginx/js
	  - /mydata/nginx/html/:/usr/share/nginx/html


# 添加了index.html和boy.png静态资源
在tomcat的 jsp 动态页面  引用 nginx 中的静态资源
<img src="/images/boy.png">
# 修改配置文件
upstream test {
  ip_hash;
  server 192.168.0.157:8081 weight=10;
  server 192.168.5.201:8080 weight=2;
 
}

server{
	listen 80;
	server_name localhost;

	#location = /index {
		#root /usr/share/nginx/html;
		#index index.html index.htm;
		#proxy_pass http://192.168.0.157:8081/;
	#}     /images/girl.png
	location /images {
        root /usr/share/nginx;
        autoindex on; # 代表展示静态资源全的全部内容，以列表的形式展开。
	}
	location /css {
        root /usr/share/nginx;
        autoindex on; # 代表展示静态资源全的全部内容，以列表的形式展开。
	}
	location /js {
        root /usr/share/nginx;
        autoindex on; # 代表展示静态资源全的全部内容，以列表的形式展开。
	}

	location /html {
        root /usr/share/nginx;
        index index.html;
        autoindex on; # 代表展示静态资源全的全部内容，以列表的形式展开。
	}
	
	location / {
		#root /usr/share/nginx/html;
		#index index.html index.htm;
		proxy_pass http://test/;
	}

}

yml

version: '3.1'
services:
  nginx:
    restart: always
    image: daocloud.io/library/nginx:latest
    container_name: nginx
    ports:
      - 80:80
    volumes:
      - /opt/docker_compose/nginx/conf.d/:/etc/nginx/conf.d
      - /opt/docker_compose/nginx/images/:/usr/share/nginx/images
      - /opt/docker_compose/nginx/css/:/usr/share/nginx/css
      - /opt/docker_compose/nginx/js/:/usr/share/nginx/js
      - /opt/docker_compose/nginx/html/:/usr/share/nginx/html

七、Nginx集群

7.1 集群结构

单点故障，避免nginx的宕机，导致整个程序的崩溃
准备多台Nginx。
准备keepalived，监听nginx的健康情况。
准备haproxy，提供一个虚拟的路径，统一的去接收用户得请求。

Nginx集群

7.2 搭建Nginx集群砍掉不讲

查看资料中的内容，直接通过运行docker-compose即可

shell

mkdir /mydata/docker_nginx_cluster
cd /mydata/docker_nginx_cluster
上传文件 到这个目录

Dockerfile

shell

FROM nginx:1.13.5-alpine       #  指定nginx 的镜像 

RUN apk update && apk upgrade    # 运行apk 命令  类似yum 命令  方便下载东西

RUN apk add --no-cache bash curl ipvsadm iproute2 openrc keepalived   # 通过apk 下载东西   包括  keepalived 

COPY entrypoint.sh /entrypoint.sh     #  拷贝当前目录下 脚本文件   启动容器的时候 执行这个脚本文件

RUN chmod +x /entrypoint.sh    #  执行  文件授权

CMD ["/entrypoint.sh"]       #  执行  这个  脚本

entrypoint.sh

shell

#!/bin/sh

#/usr/sbin/keepalived -n -l -D -f /etc/keepalived/keepalived.conf --dont-fork --log-console &
/usr/sbin/keepalived -D -f /etc/keepalived/keepalived.conf       # 启动  keepalived   指定配置文件启动


nginx -g "daemon off;"        #  启动nginx

docker-compose.yml

shell

version: "3.1"
services:
  nginx_master:     
    build:
      context: ./
      dockerfile: ./Dockerfile
    ports:
      - 8081:80     
    volumes:
      - ./index-master.html:/usr/share/nginx/html/index.html
      - ./favicon.ico:/usr/share/nginx/html/favicon.ico
      - ./keepalived-master.conf:/etc/keepalived/keepalived.conf
    networks:
      static-network:
        ipv4_address: 172.20.128.2    #  固定当前 容器  在 docker 中的  ip  如果不固定 它的ip 是 随机的
    cap_add: 
      - NET_ADMIN     #  添加权限   可以操作一些  net 操作
  nginx_slave:
    build:
      context: ./
      dockerfile: ./Dockerfile
    ports:
      - 8082:80
    volumes:
      - ./index-slave.html:/usr/share/nginx/html/index.html
      - ./favicon.ico:/usr/share/nginx/html/favicon.ico
      - ./keepalived-slave.conf:/etc/keepalived/keepalived.conf
    networks:
      static-network:
        ipv4_address: 172.20.128.3
    cap_add: 
        - NET_ADMIN
  proxy:
    image: haproxy:1.7-alpine
    ports:
      - 80:6301
    volumes:
      - ./haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg
    networks:
      - static-network

networks:
  static-network:
    ipam:
      config:
        - subnet: 172.20.0.0/16

keepalived-master.conf

shell

vrrp_script chk_nginx {
    script "pidof nginx"
    interval 2          #  多久检测一次nginx 的心跳   检查 这个nginx 服务 是否存活
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0  # 容器内部的网卡名称
    virtual_router_id 33
    priority 200   # 优先级    优先级高  先接受客户端的请求
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass letmein
    }

    virtual_ipaddress {
        172.20.128.50    # 虚拟路径
    }

    track_script {
        chk_nginx    # 检测的脚本文件
    }
}

keepalived-slave.conf

shell

vrrp_script chk_nginx {
    script "pidof nginx"
    interval 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 33
    priority 100
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass letmein
    }

    virtual_ipaddress {
        172.20.128.50
    }

    track_script {
        chk_nginx
    }
}

haproxy.cfg

shell

global
    log 127.0.0.1 local0
    maxconn 4096
    daemon
    nbproc 4

defaults
    log 127.0.0.1 local3
    mode http
    option dontlognull
    option redispatch
    retries 2
    maxconn 2000
    balance roundrobin
    timeout connect 5000ms
    timeout client 5000ms
    timeout server 5000ms

frontend main
    bind *:6301
    default_backend webserver

backend webserver
    server ngxin_master 172.20.128.50:80 check inter 2000 rise 2 fall 5

一、引言 ​

1.1 代理问题 ​

1.2 负载均衡问题 ​

1.3 资源优化 ​

1.4 Nginx处理 ​

二、Nginx概述 ​

三、Nginx的安装 ​

3.1 安装Nginx ​

3.2 Nginx的配置文件 ​

3.3 修改docker-compose文件 ​

四、Nginx的反向代理【重点】 ​

4.1 正向代理和反向代理介绍 ​

4.2 基于Nginx实现反向代理 ​

4.3 关于Nginx的location路径映射 ​

五、Nginx负载均衡【重点】 ​

5.1 轮询 ​

5.2 权重 ​

5.3 ip_hash ​

六、Nginx动静分离【重点】 ​

6.1 动态资源代理 ​

6.2 静态资源代理 ​

七、Nginx集群 ​

7.1 集群结构 ​

7.2 搭建Nginx集群 砍掉不讲 ​

一、引言

1.1 代理问题

1.2 负载均衡问题

1.3 资源优化

1.4 Nginx处理

二、Nginx概述

三、Nginx的安装

3.1 安装Nginx

3.2 Nginx的配置文件

3.3 修改docker-compose文件

四、Nginx的反向代理【`重点`】

4.1 正向代理和反向代理介绍

4.2 基于Nginx实现反向代理

4.3 关于Nginx的location路径映射

五、Nginx负载均衡【`重点`】

5.1 轮询

5.2 权重

5.3 ip_hash

六、Nginx动静分离【`重点`】

6.1 动态资源代理

6.2 静态资源代理

七、Nginx集群

7.1 集群结构

7.2 搭建Nginx集群砍掉不讲