本篇文章2052字,读完约5分钟

在共享过程中,黄惠潘着重介绍了优派云的四个模块:防盗链模块、流量统计模块、缓存调度模块和防攻击模块。

防盗链模块:当nginx启动时,防盗链模块没有任何防盗链策略,但是它会从数据中心获得一个完整的客户域名列表,但是对于空之间的某个域名没有特定的防盗链策略,但是当一个url请求访问它时会触发策略更新动作(这个请求只判断它是合法的还是not/き的,如果url的域名空不在客户列表上,就不允许访问它。),到数据中心获取url对应的域名空的防盗链策略,并以自制的数据结构存储在nginx的共享内存中,并访问此/。也就是说,防盗链模块根据需要以被动触发和主动更新的方式运行,本地防盗链策略不会与数据中心严格一致,通常会延迟几分钟。因为防盗链模块每隔几分钟就会从数据中心获得一个更新了防盗链策略的客户列表,如果它检测到空之间的一个域名的防盗链策略被更新,它会将本地共享存储器中的相应记录标记为需要更新,然后当空之间再次出现访问请求时

又拍云架构师黄慧攀:又拍云CDN技术探秘

流量统计模块:为了减少数据统计的数据量,我们采用在前端做初步统计,中间结果提交给数据中心进行大汇总的方式。当每个url访问请求进入nginx时,它将通过流量统计模块,并将该请求的内容大小(例如,102,400字节)记录到与该请求相对应的空域名记录中,而不是直接将该请求的流量数字报告给后端数据中心。在前端流量统计模块上临时保存5分钟的记录,每隔5分钟对空之间的每个域名进行汇总统计,得到一个中间值,然后上报给数据中心进行所有节点的汇总统计。因此,数据量从每五分钟数百万条记录减少到数百条记录,因此数据中心的汇总统计相对简单。

又拍云架构师黄慧攀:又拍云CDN技术探秘

缓存调度模块:调度模块在nginx共享内存中存储数百万的url信息,这表明一个url应该被调度到ssd磁盘或sas磁盘。这几百万条记录主要是通过nginx提供的rbt树算法来搜索的,几百万条记录最多只需20步就能找到。在rbtree算法的基础上,我们增加了lru和mru算法,在固定范围内对这些网址进行排序。当某些网址的访问密度明显高于其他网址时,就会被转移到ssd磁盘的squid缓存中进行读写。

又拍云架构师黄慧攀:又拍云CDN技术探秘

虽然每个访问请求都将由缓存调度模块来判断,但该模块的判断速度非常快,不会带来任何延迟。热内容(占总访问的70%以上)可以安排在ssd磁盘上读取,这大大提高了系统的整体性能。

反攻击模块:该模块的核心算法类似于缓存调度模块,对大量的网址进行排序,并对访问量大的网址进行判断。如果一个url的访问频率密度超过正常阈值,系统将对该url的所有请求进行初步筛选(该筛选受302重定向保护,如果该请求不是浏览器发起的正常访问,302重定向信号将不会被识别,从而屏蔽机器刷新类型的攻击)。如果情况继续恶化,系统将禁止该网址的访问请求,并每5分钟再次检查该网址的请求量是否恢复到正常阈值,并自动判断是否可以解除禁止。

又拍云架构师黄慧攀:又拍云CDN技术探秘

黄惠潘还介绍说,虽然cdn系统的业务功能比传统的cdn系统复杂,模块操作多,但对访问请求的处理时间没有影响,可以忽略不计。此外,固态硬盘用于为热门内容提供缓存服务,整体服务处理能力大幅提升(对比前后,使用固态硬盘后单台服务器的服务能力提高了一倍以上)。

整个系统分为三层,可以充分降低数据中心的访问压力。我们还在第二层的中间节点部署了一组图像处理服务器和音频处理服务器,这扩展了数据中心的部分工作,进一步降低了压力,提高了整体系统性能。

cdn系统已经投入使用并稳定运行了三年多,与我们早期部署的cdn系统相比有了很大的提高。今后,我们将继续完善upcdn系统,加强自动化管理方面的研发(包括服务器硬件、系统环境和软件部署等)。,并有必要制定软硬件标准和完善节点监控系统),从而实现cdn系统的智能化和自动化维护。

三链:吃昆虫、吃厕所和油炸??3.模纸锻造,模具模具模具模具模具模具模具模具模具模具模具??. 95镣铐和镣铐??0.07%锝58.....

当前流行度:0

[娇娇]http://itougu.jrj/view/189514.j.....

当前流行度:0

1.1 .涓涓细流??邦邦、邦邦、邦邦、交邦和廖廖??要坚强,要坚强。.....

当前流行度:0

你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道........

当前流行度:0

缇落入三条锁链??3镝??6铥??0(乌桕脂含有3条链吗??4镝??4铥??0)死,死,死,死又死,4.72??......

当前流行度:0

那墙,墙,墙和墙呢??钳子里有丰富的镰刀、叉子、叉子、nan和链条,这些都是銮棒的来源.....

当前流行度:1

你想挑起镝,破坏哮喘吗??缇,汤,汤,3汤和柊镶嵌??链条??4."敌鲁,缇,汤,汤,汤."??.....

当前流行度:0

咸丰、大树、细垴、十二寸、相互涓涓??环秀细链,涓涓细流,砸铙钹,甩铙钹,砸铙钹,砸铙钹,砸响,砸得咝咝作响??葛格·岳格·柊.....

当前流行度:0

来源:零度新闻网

标题:又拍云架构师黄慧攀:又拍云CDN技术探秘

地址:http://www.0ccn.com//flbxw/12329.html