史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

今天说说nginx, 其实有老铁比较奇怪,nginx不是运维来搞的吗?确实是的,大部分情况下,公司比较大的话,存在运维的话,这个锅肯定是运维来做的。但是现在有个趋势叫devops之前我也说过,开发运维一体化,开发也要懂一定的运维知识。在一些互联网的创业公司刚开始技术的工种,并不是分的那么清楚,可能都要会的。环境的搭建,运维,框架搭建,开发都必须拿得下来。

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

源码:}

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

Nginx服务搭建与基础演示(一)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

Nginx

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

官网}

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)介绍Nginx是一个轻量级、高性能、稳定性高、并发性好的}

历史由俄罗斯的程序设计师Igor Sysoev所开发,最初供俄国大型的入口网站及搜寻引擎Rambler(俄文:Рамблер)使用。 其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用nginx网站用户有:新浪、网易、 腾讯,另外知名的微网志Plurk也使用nginx。史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

理解代理的概念1.正向代理:某些情况下,代理我们用户去访问服务器,需要用户手动的设置代理服务器的ip和端口号。史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

2.反向代理:是用来代理服务器的,代理我们要访问的目标服务器。代理服务器接受请求,然后将请求转发给内部网络的服务器(集群化),并将从服务器上得到的结果返回给客户端,此时代理服务器对外就表现为一个服务器。史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

根据源码配置的机器史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

系统类型IP地址节点角色CPUMemoryHostnameCentos7192.168.66.110nginx12GnginxCentos7192.168.66.111tomcat12Gtomcat1Centos7192.168.66.112tomcat12Gtomcat2史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

三台机器准备工作史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

nginx主机安装pcre的安装包(192.168.66.110)}
史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

nginx rewrite依赖于PCRE库,所以需要在linux系统中编译安装PCRE库

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

wget }

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)安装nginxcd ..wget }

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

启动nginxcd ~/nginx/sbin/./nginx其实没有权限史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

修改配置文件史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

vi ~/nginx/conf/nginx.conf#修改成user root#wq保存#重新加载nginx新的配置./sbin/nginx -s reload

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

111 和112 两个机器安装tomcatjava -versionwget }
史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)tar zxvf apache-tomcat-8.5.37.tar.gz cd apache-tomcat-8.5.37cd bin./startup.shcurl 127.0.0.1:8080

111 和112 添加一个index.jsp文件方法查看cd /root/apache-tomcat-8.5.37/webapps/ROOT>index.jspvi index.jspcat index.jsp

upstream 与location 模块参数与案例讲解(二)史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

未来软件其实都是趋于模块化的。拼装完成。

upstream

官网的介绍}

upstream实例}

upstream 参数参数名称描述service反向服务地址 加端口weight权重max_fails失败多少次 认为主机已挂掉则,踢出,默认是1次,企业一般配置2到3次,但是电商更加重视用户体验所以就是1次。前提这个机器供给比较多。fail_timeout踢出后重新探测时间backup备用服务max_conns允许最大连接数slow_start当节点恢复,不立即加入

修改66.110 那个nginx配置文件

vi /root/nginx/conf/nginx.confcat /root/nginx/conf/nginx.conf

因为权重相同,所以轮播111 和 112 2个tomcat

yu

*负载均衡算法

1.ll+weight

默认的负载算法,其实就是根据权重才分配服务请求。

2.ip_hash

基于Hash 计算 应用场景:保持session 一至性,第一次访问那台,一直是同一台。hash(ip)%3 =index。弊端小区或者学校集中化的地方,他们出去的ip都是一致的,某个节点负载会非常非常的大。成为热点,有了ip_hash导致weight权重就失效了。

3.url_hash

(第三方)应用场景:静态资源缓存,节约存储,加快速度

4.least_conn

最少链接

5.least_time

最小的响应时间,计算节点平均响应时间,然后取响应最快的那个,分配更高权重。

6.keeplive

占用连接数。内存消耗比较大,但是响应速度很快,应该保持这socket连接。

location1.root后面的配置相当于把浏览器中的输入路径进行了重指

2.index

在前后端分离的基础上,指定网站初始页

3.proxy_set_header

用来重定义发往后端服务器的请求头

4.proxy_pass

如果在proxy_pass后面的url加/,表示绝对根路径;如果没有/,表示相对路径,把匹配的路径部分也给代理走

动静分离方案

一般动静分离两种方式

静态文件放入nginx静态文件放入指定的服务器,通过请求地址来区别跳转到那个服务器。静态文件放入nginx#思路:动、静态的文件,请求时匹配不同的目录当访问gif,jpeg时 直接访问e: }

Nginx如何实现高速缓存(三)

场景介绍

假设在做一个大型项目,面向全国的,公司对架构师的要求是做到700+的QPS,如何去处理。

介绍几个开发网站需要了解的关键字响应时间(RT)响应时间是指系统对请求作出响应的时间。

吞吐量(TPS)系统在单位时间内处理请求的数量

并发用户数系统可以同时承载的正常使用系统功能的用户的数量

QPS每秒查询率对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准

了解下一个网站一般的实际html大小打开一个技术博客:idig8.com

查看源代码

保存在文件大小:45kb,700QPS/s = 700*45/1024 = 30MB,单个页面如果700QPS的话需要吐出来30MB/s的量,毕竟是个人博客肯定承受不了。

image.png

咱们在拿某东为例,保存在文件大小:186kb,700QPS/s = 700*186/1024 = 100MB+,单个页面如果700QPS的话需要吐出来100MB/s的量,某东好牛逼。

如果让咱们来设计京东这么大的体谅如何设计。

对于商品详情 页涉及了如下主要服务:商品详情页HTML页面渲染价格服务促销服务 库存状态/配送至服务 广告词服务预售/秒杀服务评价服务试用服务推荐服务商品介绍服务 各品类相关的一些特殊服务上边的全部搞成微服务。

采用Ajax 动态加载 价格、广告、库存等服务采用key value 缓存详情页主体html。很多比较大型的内部系统都是这样来设计的。

微服务和微服务之前都是内网都是千兆带宽,第一次从微服务中取。之后都是通过redis直接过去。特殊的数据通过ajax的方式。从redis来获取肯定会有大大的提升。如果用这种情况500qps还是可以的,如果想往上走,基本很难得。但是我们的要求走到700qps。

当达到500QPS 的时候很难继续压测上去。

分析原因:一个详情页html 主体达平均150 kb 那么在500QPS 已接近局域网宽带极限。75MB+,内网一般都是千兆带宽,千年带宽128MB/s,其实这个也是在往内网IO的一个瓶颈上边走。在上边图的架构,其实内网走了2次,一个是通过nginx访问商品的详情服务,一个是详情服务访问redis。

如果想解决上边的2次内网的通信最理想的方式,上图中的2个节点都不要就可以了。不走redis缓存,也不通过nginx来请求商品详情页服务,直接从nginx本地的硬盘缓存来走。内网通信的瓶颈是不是就解决了。

解决方式减少内网的通信,nginx本身也可以通过配置将数据缓存到本地硬盘上,下次请求直接请求nginx内部的硬盘缓存数据,这样也减少了内网的通信。

正常情况下是这样的流程,有缓存的情况。

正常情况下没有缓存的情况,nginx自动添加缓存

商品变更怎么办,思路是通过MQ消息服务,通过详情页服务,由详情页服务统一的来请求直接的地址的,来清空nginx下的缓存。

nginx的缓存配置

nginx如何配置缓存proxy_cache 是用于 proxy 模式(一般也可称为反代)的缓存功能

events { worker_connections 1024;}}

image.png

在tomcat目录下新建立一个index.htmltomcat1

idig8.com192.168.66.111

tomcat2

idig8.com192.168.66.112

重启nginx./sbin/nginx -s stopmkdir -p /data/nginx/cache_item./sbin/nginx查看缓存路径pwdcd /data/nginx/cache_item/3/cfls

清空缓存看看效果

修改了index.html

请求还是缓存里面的数据

回顾如何配置,该方案Nginx 配置实现

1、在}

配置声明缓存路径为location 配置缓存策略重启nginx(修改了)查看缓存目录生成父元素名称描述}

缓存的清除:该功能可以采用第三方模块 ngx_cache_purge 实现。将ngx_cache_purge编译到到Nginx中,用来清除指定URL的缓存。

为nginx 添加 ngx_cache_purge 模块cd ~wget }

清除配置

location ~ /purge(/.*) {#允许访问的IPallow 127.0.0.1;allow 192.168.0.193;#禁⽌访问的IPdeny all;#配置清除指定缓存区和路径(与proxy_cache_key⼀⾄)proxy_cache_purge cache_item $host$1$is_args$args;}Nginx如何防盗链(四)

提问:

什么是图片防盗链?意思是指本站内图片、CSS等资源只有本站点可以访问,不允许其它站点打开!

该功能如果用JAVA如何实现?很单简单,只要判断一下 请求头当中的referer 属性是否为 指定域名即可。

Nginx原理类似。

location ~* \\.(gif|png|jpg|swf|flv)$ {root html;valid_referers none *.tl.com;if ($invalid_referer) {rewrite ^/ }

语法: valid_referers none | blocked | server_names | string …;

参数说明:

none

不允许 “Referer” 来源头部为空的情况

blocked

不允许“Referer”值为空情况,有可能Referer被的值被代理或者防火墙删除

server_names

“Referer”来源头部包必须含当前的server_names (当前域名)可以多个

Nginx如何实现子域名站点配置,类似赶紧网城市站点的配置(三)

有时会有这样的需求,每个子域名对应一个静态站点(类似58到家、有赞商城等)。如果每天增加一个域名

的会相当麻烦。在nginx 当中可直接基于$host 连接到对应目录。具体配置实现如下:

server {listen 80;server_name *.tl.com;root /data/}

PS:一般用nginx比较多就是反向代理,其实很多特殊的配置也是在大型互联网电商经常使用的。所以这个高速缓存和防盗链也是一个不错的功能。

未经允许不得转载:搜热门主机 » 史上最全的技术实践之nginx,反向代理、防盗链、高速缓存(nginx反向代理原理)

赞 (0)

Warning: count(): Parameter must be an array or an object that implements Countable in /www/wwwroot/srmzj.com/wp-includes/class-wp-comment-query.php on line 405