Nginx之HTTP模块详解

        Nginx是模块化的代码架构，其代码由核心代码与功能模块代码构成。Nginx的主要功能模块是HTTP功能模块，HTTP功能模块在HTTP核心功能的基础上为Nginx对HTTP请求的处理流程提供了扩展功能，这些扩展功能可以让用户很方便地应对访问控制、数据处理、代理缓存等各种复杂的场景应用，同时也让有开发能力的用户能够积极参与，不断增强Nginx的功能。由于功能模块比较多，为了便于对各功能模块进行介绍，此处按照模块的功能进行如下分类：

                动态赋值：可根据HTTP请求的变化动态地进行变量赋值的功能模块。

                访问控制：对外部访问请求做认证、数量限制等功能的模块。

                数据处理：对用户的响应数据进行过滤或修改的功能模块。

                协议客户端：可与其他应用协议服务连接的客户端模块。

                协议服务：可运行相关应用协议服务、提供其他客户端访问的功能模块。

                代理负载：对后端服务器实现代理负载的功能模块。

                缓存功能：对响应数据内容实现缓存的功能模块。

                日志管理：对请求的日志进行管理配置的功能模块。

                监控管理：对Nginx自身状态进行监控的功能模块。

1.动态赋值功能模块

        Nginx在核心模块及其他模块中都提供了内置变量，用户可以根据需要灵活调用。在Nginx的模块中除提供了rewrite指令以方便用户对变量进行静态赋值外，还提供了根据请求内容的变化为变量动态赋值的功能。

        1.1 根据浏览器动态赋值

        模块名称：ngx_http_browser_module。该模块的功能是根据客户端HTTP请求头中的属性字段User-Agent的值，按照用户的指令配置设置变量 $modern_browser和$ancient_browser的值。用户可以根据变量$modern_browser和$ancient_browser的值对客户端浏览器进行区分，并对HTTP请求进行不同的处理。

        1.1.1 旧浏览器标识指令

#配置样例如下：
http {ancient_browser 'UCWEB';
}
#变量$ancient_browser的值默认为1

         1.1.2 设置旧浏览器变量值指令

#配置样例如下：
http {ancient_browser 'UCWEB';ancient_browser_value oldweb;server {if ($ancient_browser) {rewrite ^ /${ancient_browser}.html;
# 重定向到oldweb.html}}
}

        1.1.3 新浏览器标识指令 

#配置样例如下：
http {modern_browser msie 5.5;
}

        内置浏览器类型有msie、gecko（由Mozilla基 金会维护，Mozilla及Netscape 6后续版本是基于Gecko开发的）、opera、safari、konqueror。

        当指令值为unlisted时，Nginx在HTTP请求头中 的属性字段User-Agent的值为空或无法识别浏览器类型时，设置变量$modern_browser的值为1。

#配置样例如下：
http {modern_browser msie 5.5;modern_browser unlisted;
}

        1.1.4 设置新浏览器变量值指令 

#配置样例如下：
http {modern_browser msie 5.5;modern_browser_value newweb;server {if ($modern_browser) {rewrite ^ /${modern_browser}.html;}}
}

         1.2 根据IP动态赋值

        模块名称：ngx_http_geo_module。该模块的功能是从源变量获取IP地址，并根据设定的IP与对应值的列表对新变量进行赋值。该模块只 有一个geo指令，指令格式如下：

geo [源变量]新变量{}

        geo指令的默认源变量是$remote_addr，新变量默认值为空。

        geo指令的作用域只能是http。

        geo指令的指令值参数如下：

#配置样例如下：
http{geo $country {proxy_recursive; # 启用代理递归查询default ZZ; # 默认值为ZZinclude conf/geo.conf; # 引入外部列表文件proxy 192.168.100.0/24; # 上层代理地址为192.168.100.0/24的IPproxy 2001:0db8::/32; # 上层代理地址为2001:0db8::/32的IP127.0.0.0/16 US; # 赋值US127.0.0.1/32 RU; # 赋值RU10.1.0.0/16 RU; # 赋值RU192.168.1.0/24 UK; # 赋值UK}
}

        为了加速加载IP来设定变量表，IP地址应按升序填写。 

10.2.0.0/16 RU;
192.168.2.0/24 RU;

        以地址段形式定义的IP地址中ranges参数的配置样例如下：

http{geo $country {ranges; # 使用以地址段的形式定义的IP地址default ZZ;10.1.0.0-10.1.255.255 RU;192.168.1.0-192.168.1.255 UK;}
}

        1.3 根据IP动态获取城市信息

        模块名称：ngx_http_geoip_module

        该模块的功能是将客户端的IP地址与MaxMind数据 库中的城市地址信息进行比对，然后将对应的城市地 址信息赋值给内置变量

        1.3.1 国家信息数据库指令

         1.3.2 城市信息数据库指令

        1.3.3 机构信息数据库指令 

        1.3.4 上层代理IP指令 

        1.3.5 代理递归查询IP指令 

#配置样例如下：
geoip_country /usr/share/GeoIP/GeoIP.dat;
geoip_city
/usr/share/GeoIP/GeoIPCity.dat;
geoip_org
/usr/share/GeoIP/GeoIPASNum.dat;
geoip_proxy 192.168.2.145;
geoip_proxy_recursive on;
server {listen 8081;server_name localhost;charset utf-8;root /opt/nginx-web;default_type text/xml;location / {if ( $geoip_country_code ) {rewrite ^ /$geoip_country_code/break; # 重定向到$geoip_country_cod目录}}
}

        1.4 比例分配赋值

        模块名称：ngx_http_split_clients_module

        该模块会按照配置指令将一个0～232之间的数值根据设定的比例分割为多个数值范围，每个数值范围 会被设定一个对应的给定值。用户每次请求时，指定的字符串会被计算出一个数值，该模块会将该数值所在范围对应的给定值赋值给配置中定义的变量。该功能常用来按照用户的来源IP进行访问流量分流。该指令语法格式如下：

split_clients 字符串 新变量{}

#配置样例如下：
split_clients "${remote_addr}AAA" $source { #"${remote_addr}AAA"会被计算出一个数值
0.5% .one; # 数值在0～21474835之间，$source被赋值".one"
80.0% .two; # 数值在21474836～3435973836之间，$source被赋值".two"
* ""; # 数值在3435973837～4294967295，$source被赋值""
}
server {location / {index index${source}.html;}
}

        该指令会将一个2的32次幂计算的值（数值范围 为0～4294967295）按照指令域中的比例进行分割。

        客户端每次请求时，会将指定字符串使用MurmurHash2算法计算出一个0～232（0～4 294 967 295）之间的数值，该模块会将该数值所在范围对应的 给定值赋值给配置中定义的变量。

        指定的字符串可以是Nginx内置变量。

        1.5 变量映射赋值

        模块名称：ngx_http_map_module

        该模块的功能是在客户端每次请求时，Nginx按照 map指令域中源变量的当前值把设定的对应值赋值给新 变量。该指令语法格式如下：

map 源变量 新变量{}

#配置样例如下：
map $remote_addr $name {hostnames;default 0;example.com 1;*.example.com 1; # 主机名前缀wap.* 4; # 主机名后缀include hostmap.conf;
}

        map指令只能编辑在http指令域中。

        map指令域中指定了源变量为不同值时与新变量 值的对应关系。

        map指令域中源变量的值可以是字符串或正则表 达式的匹配。 

        map指令域中对源变量的值进行正则表达式匹配 时，以“~”开头表示对源变量值的匹配，区分大小 写，以“*”开头表示对源变量值的匹配不区分大小 写。

2.访问控制功能模块

        2.1 访问镜像模块

        Nginx 镜像模块:ngx_http_mirror_module

        Nginx 中镜像模块的功能是将用户的访问请求镜像复制到指定的 URI，通过 location 的 URI 匹配将流量发送到指定的服务器。用户请求的实际请求响应通过 Nginx 返回客户端，镜像服务器的请求响应则会被 Nginx 服务器丢弃。

镜像请求与实际请求是异步处理的，对实际请求无影响。该模块的内置配置指令如下面表格中所示。

        2.1.1 访问镜像指令

#配置样例如下：
server {listen 8080;root /opt/nginx-web/www;location / {mirror /benchmark;index index.html;}location = /benchmark {internal;proxy_pass http://192.168.2.145$request_uri;}
}

        2.1.2 镜像请求体指令

#配置样例如下：
server {listen 8080;server_name localhost;root /opt/nginx-web/www;mirror_request_body off;location / {index index.html;mirror /accesslog;}location = /accesslog {internal;proxy_pass http://192.168.2.145/accesslog/${server_name}_$server_port$request_uri;}
}

        如果该指令值为 off 则不同步请求体。

#配置样例如下：
server {listen 8080;root /opt/nginx-web/www;location / {mirror /benchmark; # 镜像用户请求mirror /benchmark; # 镜像用户请求mirror /benchmark; # 镜像用户请求index index.html;}location = /benchmark {internal;proxy_pass http://192.168.2.145$request_uri;}
}

访问镜像模块可以将用户请求同步镜像到指定的服务器，同时还可以对用户的流量进行放大，通常可以在镜像线上流量后进行压力测试或预生产环境验证。 

        2.2 referer请求头控制模块

         Nginx referer:请求头控制模块

        referer 请求头控制模块可以通过设置请求头中的属性字段 Referer 的值控制访问的拒绝与允许。Referer 字段用来表示当前请求的跳转来源，由于该字段可能会涉及隐私权问题，部分浏览器允许用户不发送该属性字段，因此也会存在浏览器正常的请求头中无 Referer 字段的情况。
        另外，有些代理服务器或防火墙也会把 Referer 字段过滤掉。通常情况下，伪造 Referer 字段的内容是很容易的，因此该模块主要用于浏览器正常发送请求中 Referer 值的过滤。
        虽然通过 Referer 字段进行来源控制并不十分可靠，但用在防盗链的场景中还是基本可以满足需求的。该模块的内置配置指令如下表所示。

        referer 指令值参数如下表所示。

#配置样例如下：
server{listen 8080;server_name nginxtest.org;root /opt/nginx-web/www;valid_referers none blocked *.nginxtest.org;# 当Referer为空或内容不包含"http://"或以"https://"开头的主机名为"*.nginxtest.# org"时允许访问if ($invalid_referer) {return 403;}
}

        指令值为字符串时，既可以是包含前缀或后缀的主机名，也可以是包含主机名的 URI。
        指令值为正则表达式时，必须以 ~ 开头，Nginx 将从"http://"或"https://"之后的字符串开始匹配。
        默认变量 $invalid_referer 的值为 1，当 Referer 的值与指令值的内容匹配时，$invalid_referer 的值为空。 

        2.3 IP访问控制模块

        Nginx allow、deny:IP访问控制模块

        Nginx 中IP访问控制模块名称为 ngx_http_access_module，该模块可以对客户端的源 IP 地址进行允许或拒绝访问控制。该模块的内置配置指令如下面表格中所示。

#配置样例如下：
location / {deny  192.168.1.1;          # 禁止192.168.1.1allow 192.168.0.0/24;       # 允许192.168.0.0/24的IP访问allow 10.1.1.0/16;          # 允许10.1.1.0/16的IP访问allow 2001:0db8::/32;deny  all;
}

        Nginx 会按照自上而下的顺序进行匹配。

        2.4 用户cookie模块

        用户 cookie 模块（ngx_http_userid_module）的作用是为客户端设置 cookie 以标识不同的访问用户。可以通过内部变量 $uid_got 和 $uid_set 记录已接收和设置的 cookie。该模块的内置配置指令如下面表格中所示。

        当指令值为 off 时，关闭用户 cookie 接收和记录功能。
        当指令值为 on 时，启用用户 cookie 接收和记录功能，默认为 v2 版本设置 cookie。设置 cookie 的响应头标识为 Set-Cookie2。
        当指令值为 v1 时，使用 v1 版本设置 cookie，设置 cookie 的响应头标识为 Set-Cookie。
        当指令值为 log 时，不设置用户 cookie，但对接收到的 cookie 进行记录。

        用作标记的指令值可以是任意英文字母（区分大小写）、数字或"="。
        userid_mark 设置完成后，将与用户 cookie 中传送的 Base64 格式的标识的第一个字符进行比较，如果不匹配，则重新发送用户标识、userid_p3p 及 cookie 的过期时间。 

         P3P 是 W3C 推荐的隐私保护标准，P3P 头属性字段通常用于解决与支持 P3P 协议的浏览器的跨域访问问题。

#配置样例如下：
server {listen 8083;server_name example.com;root /opt/nginx-web;auth_request /auth;userid         on;userid_name    uid;userid_domain  example.com;userid_path    /;userid_expires 1d;userid_p3p     'policyref="/w3c/p3p.xml", CP="CUR ADM OUR NOR STA NID"';location / {index  index.html index.htm;add_header    Set-Cookie "username=$remote_user";}location /auth {proxy_pass_request_body off;proxy_set_header Content-Length "";proxy_set_header X-Original-URI $request_uri;proxy_pass http://192.168.2.145:8080/HttpBasicAuth.php;}
}

        2.5 并发连接数限制模块 

        Nginx 中的并发连接数限制模块（ngx_http_limit_conn_module）能够对访问连接中含有指定变量且变量值相同的连接进行计数，指定的变量可以是客户端 IP 地址或请求的主机名等。当计数值达到 limit_conn 指令设定的值时，将会对超出并发连接数的连接请求返回指定的响应状态码（默认状态码为 503）。
        该模块只会对请求头已经完全读取完毕的请求进行计数统计。由于 Nginx 采用的是多进程的架构，该模块通过共享内存存储计数状态以实现多个进程间的计数状态共享。该模块的内置配置指令如下面表格中所示。

#配置样例如下：
limit_conn_zone $binary_remote_addr zone=addr:10m;  # 对用户IP进行并发计数，将计数内存区命# 名为addr，设置计数内存区大小为10MB
server {location /web1/ {limit_conn addr 1;                                                      # 限制用户的并发连接数为1}
}

        imit_conn_zone 的格式为 limit_conn_zone key zone=name:size。
        limit_conn_zone 的 key 可以是文本、变量或文本与变量的组合。
        $binary_remote_addr 为 IPv4 时占用 4B，为 IPv6 时占用 16B。
        limit_conn_zone 中 1MB 的内存空间可以存储 32 000 个 32B 或 16 000 个 64B 的变量计数状态。
        变量计数状态在 32 位系统平台占用 32B 或 64B，在 64 位系统平台占用 64B。
        并发连接数同样支持多个变量的同时统计，配置样例如下: 

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;server {...limit_conn perip 10;limit_conn perserver 100;
}

3.数据处理功能模块

        3.1 首页处理模块

        HTTP 请求经过一系列的请求流程处理后，最终将读取数据并把数据内容返回给用户。当用户请求没有明确指定请求的文件名称时，Nginx 会根据设定返回默认数据，实现这一功能包含 ngx_http_index_module、ngx_http_random_index_module、ngx_http_autoindex_module 这 3 个模块。
        常用的首页处理配置指令如下面表格中所示。

#配置样例如下：
location / {index index.$geo.html index.html;
}

        指令值为多个文件时，会按照从左到右的顺序依次查找，找到对应文件后将结束查找。

#配置样例如下：
root /opt/nginx-web/html;
location / {random_index on;
}

        该指令的执行优先级高于 index 指令，文件目录中的隐藏文件将被忽略。

#配置样例如下：
location / {autoindex on;autoindex_format html;autoindex_exact_size off;autoindex_localtime on;
}

        3.2 请求频率限制模块

        Nginx 的请求频率限制模块（ngx_http_limit_req_module）会对指定变量的请求次数进行计数，当该变量在单位时间内的请求次数超过设定的数值时，后续请求会被延时处理，当被延时处理的请求数超过指定的队列数时，将返回指定的状态码（默认状态码为 503）。
        通常该模块被用于限定同一 IP 客户端单位时间内请求的次数。该模块通过共享内存存储计数状态以实现多个工作进程间的同一变量计数状态的共享。该模块的内置配置指令如下面表格中所示。

#配置样例如下：
http {limit_req_zone $server_name zone=addr:10m rate=1r/s;# 限制访问当前站点的请求数，对站点请求计数，将计数内存区命名为addr，# 设置计数内存区大小为10MB，请求限制为1秒1次server {location /search/ {limit_req zone=one;       # 同一秒只接收一个请求，其余的立即返回状态码503，直到第2秒才接收新的请求limit_req zone=one burst=5;# 同一秒接收6个请求，其余的返回状态码503，只处理一个请求，其余5个请求进入队# 列，每秒向Nginx释放一个请求进行处理，同时允许接收一个新的请求进入队列limit_req zone=one burst=5 nodelay; # 同一秒接收6个请求，其余的返回状态码503，同时处理6个请求，6秒后再接收新的请求}}
}

        limit_req_zone 的 rate 参数的作用是对请求频率进行限制，有 r/s（每秒的请求次数）和 r/m（每分钟的请求次数）两个频率单位，也可根据每秒的次数换算成毫秒单位的次数。1MB 内存大小大约可以存储 16000 个 IP 地址的状态信息。
        limit_req 的 burst 参数相当于一个缓冲容器，该容器内可容纳 burst 所设置的数量的请求，没有 nodelay 参数时，将匀速向 Nginx 释放需要处理的请求。未进入 burst 容器队列的请求将被返回状态码 503 或由 limit_req_status 指令指定的状态码。
        limit_req 的 nodelay 参数是指对请求队列中的请求不进行延时等待，而是立即处理。
        请求频率同样支持多个变量的同时计数及叠加，配置样例如下: 

limit_req_zone $binary_remote_addr zone=perip:10m rate=1r/s;
limit_req_zone $server_name zone=perserver:10m rate=10r/s;  server {...limit_req zone=perip burst=5 nodelay;limit_req zone=perserver burst=10;
}

        3.3 页面缓存时间配置

        ginx 缓存的设置可以提高网站性能，对于网站的图片，尤其是新闻网站，图片一旦发布，改动的可能是非常小的，为了减小对服务器请求的压力，提高用户浏览速度，我们可以通过设置 Nginx 中的 expires 指令，让用户访问一次后，将图片缓存在用户的浏览器中。
        需要注意的是，这种缓存方式只能在用户不对浏览器强制刷新的情况下生效，如果用户通过 url 来进行访问，是可以访问到缓存的。
        Nginx 中的 expires 指令的介绍如下表所示:

        当指令值为时间时，既可以是正值也可以是负值。Expires 的值为当前时间与指令值的时间之和。当指令值的时间为正或 0 时，Cache-Control 的值为指令值的时间。当指令值的时间为负时，Cache-Control 的值为 no-cache。

        当指令值为时间时，可用前缀 @ 指定一个绝对时间，表示在当天的指定时间失效。

        当指令值为 epoch 时，Expires 的值为 Thu,01 Jan 1970 00:00:01 GMT，Cache-Control 的值为 no-cache。

        当指令值为 max 时，Expires 的值为 Thu,31 Dec 2037 23:55:55 GMT，Cache-Control 的值为 10 年。

        当指令值为 off 时，不对响应头中的属性字段 Expires 和 Cache-Control 进行任何操作。

#配置样例如下：
map $content_type $expires {          # 根据$content_type的值，对变量$expires进行赋值default         off;                            # 默认不修改Expires和Cache-Control的值application/pdf 42d;                     # application/pdf类型为42天~image/         max;                       # 图片类型为max
}server {expires    24h;                             # 设置Expires的值为当前时间之后的24小时，# Cache-Control的值为24小时expires    modified +24h;           # 编辑Expires的值增加24小时，Cache-Control的值增# 加24小时expires    @15h;                         # 设置Expires的值为当前日的15点，Cache-Control的值# 为当前时间到当前日15点的时间差expires    $expires;                     # 根据变量$expires的内容设置缓存时间add_header Cache-Control no-cache; add_trailer  X-Always $host always;
}

        3.4 gzip开启压缩及相关配置详解

        为提高用户获取响应数据的速度，Nginx 服务器可以将响应数据进行 gzip 压缩，在减小响应数据的大小后再发送给用户端浏览器，相对于使用户浏览 Web 页面，上述方式显示速度更快。
        要想启用响应数据 gzip 压缩（ngx_http_gzip_module 模块）功能，需要用户浏览器也支持 gzip 解压功能，目前大多数浏览器都支持 gzip 压缩数据的显示。Nginx 服务器接收客户端浏览器发送的请求后，通过请求头中的属性字段 Accept-Encoding 判断浏览器是否支持 gzip 压缩，对支持 gzip 压缩的浏览器将发送 gzip 压缩的响应数据。
        ngx_http_gzip_module 模块的内置配置参数如下表所示。

其中 gzip_proxied 指令的指令值可选项说明如下:

• off:关闭该指令功能；
• expired:若 HTTP 响应头中包含属性字段 Expires，则启用压缩；
• no-cache:若 HTTP 响应头中包含属性字段 Cache-Control:no-cache，则启用压缩；
• no-store:若 HTTP 响应头中包含属性字段 Cache-Control:no-store，则启用压缩；
• private:若 HTTP 响应头中包含属性字段 Cache-Control:private，则启用压缩；
• no_last_modified:若 HTTP 响应头中不包含属性字段 Last-Modified，则启用压缩；
• no_etag:若 HTTP 响应头中不包含属性字段 ETag，则启用压缩；
• auth:若 HTTP 响应头中包含属性字段 Authorization，则启用压缩；
• any:对所有响应数据启用压缩。

当客户端浏览器不支持 gzip 压缩时，可以使用 ngx_http_gunzip_module 模块将压缩的数据解压后发送给客户端。对支持 gzip 压缩的浏览器不做处理。

        ngx_http_gunzip_module 模块的内置配置指令如下表所示。

         通常 gzip 压缩指令都是读取未压缩的文本，在进行动态压缩后把响应数据发送给客户端，ngx_http_gzip_static_module 模块可以使 Nginx 把 gzip 压缩过的以 .gz 为后缀的文件或已压缩的响应数据直接发送给客户端。
        ngx_http_gzip_static_module 模块的内置配置指令如下表所示。

gzip_static 指令的指令值可选项说明如下:

• on:不检查客户端是否支持 gzip 压缩数据，始终发送 gzip 压缩数据；
• always:不检查客户端是否支持 gzip 压缩数据，始终发送 gzip 压缩数据；
• 该指令的执行优先级高于 gzip 指令；
• 开启该指令后，默认优先查找以 .gz 为后缀的文件；
• gzip_types 指令对 gzip_static 的设置无效。

#配置样例如下：
gzip_static always;                  # 始终发送静态的gzip压缩数据
gunzip on;                           # 若客户端浏览器不支持gzip压缩数据，则解压后发送
gunzip_buffers 16 8k;                                         # 解压缓冲区大小为128KB
gzip_proxied expired no-cache no-store private auth;    # 当被代理的服务器符合条件时，# 对响应数据启用gzip压缩gzip on;                             # 启用动态gzip压缩功能
gzip_min_length  1k;                 # 响应数据超过1KB时启用gzip压缩
gzip_buffers     4 16k;              # 动态压缩的缓冲区大小是64KB
gzip_comp_level 3;                   # 压缩级别为3
gzip_types       text/plain application/x-javascripttext/css application/xml text/javascriptapplication/x-httpd-php image/jpegimage/gif image/png; # 对指定的MIME类型数据启用动态压缩
gzip_vary on;                        # 向前端代理或缓存服务器发送添加"Vary: Accept-# Encoding"的响应数据