首页 文学文摘 时政新闻 科技科普 经济法律 健康生活 管理财经 教育教学 文化艺术 社科历史

CDN及内容管理技术的研究

作者:刘洋 刘博 来源:科技风

摘 要:随着互联网业务的快速发展,用户对网络带宽和网络响应速度的需求也随之提高。CDN技术通过部署网络边缘服务节点,将热点内容存储在网络边缘,让用户“就近取材”。内容管理平台作为缓存内容的统一展现和分析平台,实现对互联网内容资源的总体分布、内容质量的全面管控。本文针对CDN技术进行研究,并为内容管理系统的建设提供了思路和方法。

关键词:CDN;流量;内容管理

1 引言

随着互联网业务的快速发展,尤其是以互联网视频为代表的大流量业务的迅速增长,网络信息流量呈指数形式增长,网络阻塞等现象时有发生,影响了终端用户的上网体验。为缓解流量对网络的冲击、降低网络传送压力,运营商与各第三方服务商积极探索成本开支低且能有效提升服务能力的新方法和新技术,CDN技术应运而生。采用以存储换带宽的方式,使流量本地化,在加快用户访问、获取资源的同时降低网络带宽扩容成本。

据工业和信息化部电信研究院统计,2013 年中国专业CDN市场规模超过了20 亿元,同比2012年增长了50%;我国Alexa排名前100家网站采用CDN的比例约为91%,前546 家网站采用CDN的比例约为72.5%。CDN 在优化网络架构与流量、改善用户体验等方面起到了重要作用,对于我国互联网的繁荣发展作出了重要贡献[1]。

2 CDN技术原理及分析

2.1 CDN技术原理

CDN(Content Delivery Network)内容分发网络,将源服务器中的内容分发至分布式部署的服务节点中,通过应用流量调度技术,可按照指定的策略将用户请求自动指向到全局最优的服务节点,由该节点就近为用户提供服务。

CDN系统包括访问控制模块、全局调度分发模块以及缓存模块。访问控制模块负责日常业务层面的设备管理和功能管理等;全局调度分发模块负责全局用户调度和内容主动分发的工作,采用负载均衡技术平均分配流量到各边缘节点,即将用户请求重定向到离用户最近的边缘节点上,让用户“就近取材”,从而减少了回源的访问量,缓解了源站的压力,也提高了网站的响应速度;缓存模块通过部署缓存服务器负责缓存热点内容,提供实际的流数据服务。

2.2 CDN访问流程

与传统访问方式不同,CDN网络则是在用户和服务器之间增加Cache层,将用户的访问请求引导到Cache节点而不是服务器源站点,要实现这一目的,主要是通过接管DNS实现,下图为使用CDN缓存后的网站访问过程。

(1)用户在浏览器中输入要访问的域名;

(2)浏览器向域名解析服务器发出解析请求,由于CDN对域名解析过程进行了调整,所以用户端一般得到的是该域名对应的CNAME记录,此时浏览器需要再次对获得的CNAME域名进行解析才能得到缓存服务器实际的IP地址;

(3)再次解析后浏览器得到该域名CDN缓存服务器的实际IP地址,向缓存服务器发出访问请求;

(4)缓存服务器根据浏览器提供的域名,通过Cache内部专用DNS解析得到此域名源服务器的真实IP地址,再由缓存服务器向此真实IP地址提交访问请求;

(5)缓存服务器从真实IP地址得到内容后,一方面在本地进行保存,以备以后使用,同时把得到的数据发送到客户端浏览器,完成访问的响应过程;

(6)用户端得到由缓存服务器传回的数据后显示出来,至此完成整个域名访问过程[2]。

3 内容管理技术研究

随着运营商与各第三方服务商对内容源的不断引入,网络中75%~80%的流量被引导至缓存系统中。但系统仍然存在大量的重复出网流量,网络中内容节点数量众多、机制各异,需要通过全局的协同机制,实现对内容资源的最优调度和管理。

通过在现有的CDN、CACHE、IDC系统上构建一套内容管理平台,实现互联网内容的分发、调度、优化、加速管理。内容管理平台结构如图1所示。

图1 互联网内容管理网络架构

平台将网络资源进行统一规划,主要分为以下三层:内容管理层、调度分发层和边缘服务层。

3.1 内容管理层仅包括内容管理平台,作为互联网内容的统一展现和分析平台,实现互联网内容视图呈现、资源质量评估、统计分析等功能。

3.2 调度分发层包括调度控制中心、CDN内容中心和CACHE统一溯源池。控制调度中心对内容网络提供统一运营管理与访问调度控制服务,其中包括CACHE统一调度和统一管理、CDN全局调度和运营管理;CDN内容中心负责签约ICP的系统对接与内容注入,并为边缘节点提供内容分发与回源服务;CACHE统一溯源池负责缓存出网热点内容,并为CACHE系统提供出网访问的统一回源服务。

3.3 边缘服务层将CDN、CACHE节点作为边缘服务节点进行融合,实现能力共享。

在对内容分析方面,平台可通过与流控、拨测、DNS等系统建立接口关系,对互联网内容数据进行采集、识别,以此为基础信息数据,进行如下几点分析:

(1)流量分析:进行骨干网间流量、三方网间流量、IDC流量、CACHE流量、CDN流量等分析,得出流量趋势、业务类型占比等重点运营指标。

(2)质量分析:由拨测系统数据得出热门业务、自有业务、热点视频、热点网站等的质量地图和质量趋势,将用户请求调度至最优缓存资源处。

(3)资源归属分析:可以进行热点域名区域展示、出网高点击域名分析、热点APP资源分布分析等,并对网站资源、IDC、CACHE及第三方CDN资源进行纠错和引入分析。

(4)内容资源管理:针对CACHE系统黑白名单管理、劫持率趋势分析、缓存服务性能统计、缓存文件分析等。

在牵引调度机制方面,内容管理平台将CDN、IDC的签约内容在CACHE中设置为黑名单,由CDN、IDC进行调度。对于非签约的内容由CACHE系统缓存并为用户提供服务,再根据其访问热门程度,考虑将其签约至CDN或IDC中。

4 结束语

CDN及内容管理技术的应用,使流量尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,系统能够实时地根据网络流量和各节点的连接、负载状况使用户可就近取得所需内容。通过CDN及内容管理技术的研究对互联网业务发展、经营具有深远的现实意义。

参考文献:

[1]《内容分发网络(CDN)白皮书》,工业和信息化部电信研究院,2014年10月.

[2]雷葆华,孙颖,王峰,陈晓益等.《CDN技术详解》,北京.电子工业出版社,2012年.