
点击上方“众视AsiaOTT” 可以订阅哦!
尽管在“互联网+”的趋势之下,CDN逐渐在整个网络架构中扮演着越来越重要的角色。但随着数据的数量、种类以及各种各样的记录文件的爆发,CDN监测以及应对变得越发困难。为了解决数据上的挑战,人们在理解CDN的正常运作模式后,也发现了偏离于常态的新领域,利用机械学习将CDN服务带入到一个新高度。

“机器学习”是否能让CDN服务提供商的人力成本大幅下降?
在宽带网络中,CDN运营商应当提供能够及时发现终端或者代理服务器中带宽消耗突然骤升的信息并及时采取正确的处理办法,这个识别的过程,起先应当先认知到一个不寻常的峰值来自于哪个用户或者哪个资源。如果没有从崭新的实时数据中取得关键信息的洞察力,那么你将无法预见或者防止出现的问题逐步扩大,并最终形成网络事故。
而另一个挑战来自于CDN系统的升级,为了在代理服务器上的某个部分进行A/B测试,最好的办法是逐步部署系统的升级,以避免大范围的错误与故障的发生。如今,CDN服务提供商仍然缺乏对于网络的实时可见性,这将导致网络出现HTTP错误增加、IO访问或缓存流失。这些问题也将导致版本升级的延迟,同时影响CDN服务提供商创新的步伐。如果单个bug并没有在版本A/B测试时被及时发现,那么在传输到代理服务器之后,这个灾难将是毁灭性的。
为了应对这方面的挑战,CDN提供商利用日志分析系统,从关联代理服务器中搜集并记录数十亿处理记录。在大多数的案例中,这样的工具仅仅只能用于内部的运行查询以及网络性能检测提供依据,但仍不足以解决问题,系统的不可延展性以及工具的不智能并不能生成实时的报告。因此,出现的结果很可能是基于旧数据,这就导致了延迟与过时反应。

尽管有诸多工具可以使用,但实时数据的呈现与应对依然是个挑战
比方说,如果一个CDN运营商希望能够了解某个特定用户在当月代理服务器中的RPS消耗率。要想获得这部分信息,日志处理方案可能需要扫描数十亿用户的日志然后提取所需要的记录,而这样一个过程很有可能需要数天。而另一个CDN服务提供商的挑战则是可视化的运营商网络能力,可能CDN服务提供商可以通过一些工具例如Keynote、Gomez和Catchpoint来对于网络延迟进行测量,并适时将请求转向其他的网络提供商。但尽管如此,有这些工具以及方案的支撑,提供一个可视化的实时数据并和运营商网络进行关联目前仍然是一个挑战。
在处理CDN的问题时,时间是一个重要的物理量,比方说,一个用户在游戏平台的*载下**速率下降了10%~15%,但要发现这个原因很可能花上工作团队1周的时间。在CDN服务提供商的世界里,这样的问题将会严重影响品牌的信誉。最后同样重要的是,在目前主流的分析系统以及日志管理工具中都存在手动这一核心问题,在CDN这样一个动态的环境里,从海量数据信息中提取的日志几乎是无限存在的。
于是,我们所需要的是一些不同的方法,是否能够不完全基于BGP协议,预测互联网路由中的某个瓶颈,而是基于某种更先进的方式?在过去的十年里,数据分析技术已经从复杂繁琐的解决方案演变为灵活现代的大数据解决方案(Hadoop)。而这几年以来,这些大数据技术,包括Cassendra、MongoDB也已经取得了行业的信赖,并且成为IT环境中重要的组成部分。而下一步就是能在新的数据分析方案中允许运用如上述的数据搜索与分析引擎,例如谷歌CDN的分析系统。
然而,在大数据领域如此大跨步的现在,目前这些监测工具依然无法满足要求。如同上述提到的,目前的监测工具依然需要基于人力的分析与定义,并创建直接的报告与表单。即便你可以制作大量的报告,但到了CDN领域,事实就是你不可能覆盖全部的情况与实时的异常数据监测。多维度讨论数以万计不同数据节点中的数据根本没有意义。

应当如何实时检测到分发速率的异常降低并预警报告?
而下一个全球分析工具就是“机械学习”(Machine Learning)。最终的解决方案是提供自动化的数据学习能力,然后形成相关的结论并最终做出相关预测。这个新的领域包含了运行模式的算法识别和预测分析,虽然就目前来看这个方向还显得遥远,但目前Anodot的团队已经在进行部分的研究,目标就是解决CDN上述的一些挑战和核心问题,同时运用一些实用的预测分析方案。Anodot在运算规则中加入学习过程并持续定义CDN正常行为,因此就能够自动发送异常警报并在不同的节点之间自由切换。例如,在某些代理服务器中HTTP错误的增加,系统就能够发出警告,而形成这一技术的最终核心是“零人工干涉”。
或许“机械学习”的成功运用及出现,将为目前网络可视化以及复杂性的问题彻底解决,并迅速将CDN行业推动到一个新的高度。