首页 > 传媒 > 关键词 > DeepFlow最新资讯 > 正文

DeepFlow为企业混合云建立统一高效的网络流量采集与分发平台

2020-03-31 13:39 · 稿源:站长之家用户投稿

经过十多年的发展,企业在IT基础设施以及云原生的业务应用上稳步推进。上云业务规模增加,混合云中网络变得更为复杂,企业对业务安全的诉求、行业主管部门监管的要求有增无减。

为什么混合云需要全网流量

在混合云环境,企业的业务运行在逻辑网络中,同样面临网络性能分析、网络问题定位及排障、网络安全管理、合规审计、网络扩展等问题。获取完整的网络流量是解决上述问题的前提。获取并管理好现网监控流量并不是一件轻松的事情。在云环境下,选择网络流量采集方案需要考虑流量获取的方式、环境中的流量模型、规模及可管理性、对现网环境的影响、平台开放性。目前获取虚拟交换机流量的技术方案有以下几种,企业可根据自身IT环境的实际情况进行灵活部署。

1)在虚拟机或工作负载(Workload)中安装采集探针,从操作系统层抓取流量信息。此方案探针部署规模大,且需要获取虚拟机根(Root)权限。

2)通过在虚拟交换机(OVS:Open vSwitch、VDS:vSphere Distributed Switch、VSS:Virtual Standard Switch)上配置镜像或广播策略,将所需流量引出。该方案需要对生产平面的虚拟交换机进行配置。

3)在宿主机Hypervisor(如 Openstack Hypervisor)上安装采集探针,以用户态进程形式独立获取虚拟交换机上的流量。该方案无需对生产平面的虚拟交换机进行配置。

混合云环境中,网络规模宏大且资源池类型繁多,虚拟交换机采集点数量相比传统监控规模有几个数量级的增长。在构建整体采集方案时,企业应充分考虑IT资源的多样性,采集平台应该分阶段进行建设,尤其要注意确保方案具备扩展和统一管理能力。单一的生产环境在企业中并不多见,在进行流量采集部署时,需要满足平滑部署且保证业务不间断,同时确保对计算资源和网络带宽的消耗限制。

全网流量采集与分发方案

多数大型企业目前都存在多数据中心、混合云的IT设施资源,从网络的角度看,自有的数据中心通过专有网络互联,并划分业务区,并且有可能存在多个分支机构网络。为保障资源弹性,业务快速上线等,也大量使用公有云资源,选择多个云服务商。企业从运维排障、运营管理、业务性能等方面都需要对网络有全面清晰的画像。

本方案的目标是为企业混合云建立统一高效的网络流量采集及分发平台,面对各类资源池实现统一的流量采集抽象层,并且能对流量实现过滤、去重、压缩、截短等处理功能,支持IPv4、IPv6 协议环境,能为网络运营中心、安全运营中心、大数据分析平台等多方流量消费端提供数据供给。

数据中心侧

实现全网流量采集及处理,可以从区域以及资源池来规划,数据中心可按区域来定义,区域内通常包含多个可用区;区域内的网络流量包含可用区内的物理网络流量和资源池内的虚拟网络流量。在物理网络中,采集点通常由设备厂商的监控方案实现。DeepFlow® 采集器可对接设备厂商方案的标准数据输出。各类型号的DeepFlow® 采集器为全网流量采集方案提供数据包捕获能力;按部署方式分为VMware ESXi采集器、KVM采集器、KVM-DPDK采集器、HyperV采集器、容器OnVM采集器、容器OnHost采集器、Workload采集器等。

公有云侧

公有云为租户提供VPC网络,Workload采集器以用户态的软件形式部署在虚拟机、容器、裸金属设备等Workload上,支持Linux、Windows等主流操作系统,实现VPC内各类资源的网络流量采集。由于部署安装在Workload操作系统上,采集器数量多,可以通过镜像进行预装。

控制管理侧

由于采集器数量大、策略多,波动强,需从控制面设计入手,解决大规模及可管理性的问题。在多点的部署环境中,首先指定主区域(Region),主控制器存在于主区域中,当启动主控制器高可用功能,主区域内应部署多台控制器,通过心跳保证控制器间的状态同步,及时启动主、备控制器选举。选举产生主控制器后,为整体流量管理平台提供控制入口。除主区域外的其他区域控制器为从控制器,不参与主控制器选举。在云环境、容器环境中,控制器通过对接虚拟化资源池、配置管理数据库、公有云开放API等,可实现多粒度下发采集、分发策略,更灵活、更贴近业务应用。

控制器完全控制采集器状态,各类采集器具备相同状态机机制,各类型的采集器可能处于自检、运行、停止、异常、保护等几种状中,其中保护状态,是确保采集器工作时,平台能对其使用CPU、内存资源使用上限的限定。当采集器压力过大时,采集器状态将由“运行”切换至“保护”状态,以确保不对生产环境产生影响,直至重新调整资源配置或处理压力下降,切回至“运行”状态。

此外,单一DeepFlow® 控制器可管理 2000 个采集器,通常能够满足一个可用区;控制器最大支持 50 台的规模,方案整体可满足 10 万台采集器统一管理,足以应对大型企业私有IT、公有云、容器等网络流量采集需求。

基于分布式的监控流量处理

不同于集中式后处理的方案,DeepFlow® 采集器具备专利算法的前置计算能力可在采集点对流量进行直接处理。众多采集器和控制器共同构建成一个与云网规模一致的分布式流量处理系统,大幅减少了分发数据对监控网络和后端分析工具的压力。通过各类型的采集器实现流量采集处理抽象层,主要对数据包处理能力进行抽象,包括过滤、去重、数据包截短、压缩、特征标记等功能。

高性能网络时序数据订阅服务

对于非原始数据包的数据消费需求,平台提供开放的数据订阅方式。处理后的包头,网络元数据、遥测统计数据通过网络平面汇总至高性能时序数据库中,可通过API,消息队列为其他数据消费平台调用。

部署

整体方案主要涉及采集器、控制器、高性能时序数据库三部分,在完成规划整体方案后,可分区域、分资源池按阶段投入建设,最终为企业混合云IT基础设施环境构建统一的流量监控管理平台。对于已经运行的混合云环境,可以在不影响生产环境运行的情况下部署实施,网络规划上将 DeepFlow®  平台所涉及的管理、监控分发平面复用在已有的网络平面中,通常可以复用已有的网络管理平面。对于整体规划的方案,建议对整体混合云规划独立的网络监控平面,对混合云的监管流量统一、独立地进行管理。根据流量、资源情况整体规划采集器的性能,DeepFlow® 采集器最低可配置1vCPU、128M的计算资源。

与传统方案比较

采集技术先进全网采集方案主要围绕 DeepFlow® 采集器技术实现,采集器以进程形态部署,最大程度上避免对生产交换平面的干扰,不存在与生产平面交换机流表冲突的风险,同时在操作系统上继承进程级保护优势,实现整体系统稳定。

分布式系统:采集到数据包后避免集中处理,采用分布式架构,采集点分布处理控制器集中管理。

场景全规模大:整体方案是基于分布式设计模型以及多地域管理,可以充分保障资源池规模弹性扩展,整体系统可管理 10 万台采集器,涵盖虚拟机、容器、公有云资源池。

可管理性平台主控制器具备对所有采集器的监控和管理能力。通过对接云平台使得操作贴近资源池特性,针对云资源的迁移、回收、重新部署等场景做到了实时策略跟随,保障采集能力在动态环境下的持续执行。

数据服务数据服务是将流量采集与后端平台对接的重要环节,完整流量数据包多目的地分发,高性能网络时序数据库通过API、ZeroMQ、Kafka等消息队列提供流数据服务。同时也将采集与后端各类分析工具解耦,避免流量采集器局限在仅为单一工具服务的竖井中。

总结

DeepFlow® 混合云全网监控流量采集与分发解决方案为企业在混合云、云原生等新型IT基础设施环境演进过程中,提供完整地、可持续的平台级监控流量管理,避免重复投入,重复安装,解决实际网络监管难题,也为企业规划整体运维、安全平台补齐现网流量、流日志这一板块。本方案已应用于金融、运营商等客户IT环境中。


免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • Uber宣布任命Pradeep Parameswaran为亚太地区业务负责人

    DoNews6月11日消息(记者 翟继茹)11日,据外媒报道,Uber宣布任命Pradeep Parameswaran为亚太地区新任业务总经理。此前,Pradeep Parameswaran服务印度和南亚的Uber业务已经有两年时间。Parameswaran在一份声明中表示:“在这个多元化的地区,服务更多优步客户和继续创新的潜力是巨大的,无论是在北亚的出租车合作伙伴关系,还是在澳大利亚推出的新产品,亦或是把两轮和三轮车推向印度腹地。”虽然此前,Uber退出了东南亚和中国市?

  • flowkey在线教学软件 圆您指尖上的钢琴梦想

    一架钢琴,一段优美的旋律,一个动人的故事。感动了亿万人的“国民钢琴家”石进用灵动的琴音,带着听众逃离都市与现实的纷繁。而就是这样一位曾获得无数掌声的灵魂弹奏者,你可知道,他的职业是一名网络工程师,弹钢琴只是业余爱好。石进的励志故事也再度激励众人:梦想离我们只有一步之遥。而现在,只需登陆钢琴自学app——flowkey,即刻就能开启期待已久的音乐之旅!flowkey APP基于便捷的移动互联网技术之上。它创新钢琴自学体?

  • Facebook首届Deepfake检测挑战赛结果:获胜算法准确率65.18%

    据外媒报道,Facebook 日前宣布了其首届 Deepfake 检测挑战赛的结果,获胜算法能够以 65.18% 的平均准确率发现非常逼真的 Deepfake 虚假内容。

  • Xbox智能分发是什么 Smart Delivery有哪些服务

    微软游戏业务部门Xbox在近日公布了一个全新的服务——智能分发(Smart Delivery),这一个将上一代主机游戏延续到次世代主机的服务,具体服务内容是什么呢,我们来一起看下。

  • Windows Insider现启用Dev/Beta/Release Preview新名称

    ​从某种角度来说,Windows 10 的成功很大程度上归功于 Windows Insider 项目的良性循环。该项目不仅让用户提前体验各种新功能,也帮助微软构建了完善的测试系统和反馈机制。在成功运行超过五年之后,近日微软宣布对 Windows Insider 项目进行一些调整。

  • “Weekenders”百家号美食领域收入排名,做自媒体月收入有多少

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。Weekenders是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列72503名,美食分类排名位列2604名,领先了93.5%的百家号。 Weekenders百家号概况 Weekenders的简介为周末人儿, 轻周末,轻生活,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过23篇的游戏内容,最近该作者创

  • Windows 10补丁惹祸:把自家Outlook给灭了

    如果你正在使用微软Windows 10系统和Outlook邮件客户端,最近几天突然发现不能用了,那你并不孤单,因为这都是Windows 10的某个补丁惹的祸。如果你及时更新了Windows 10累积补丁,Outlook的版

  • 特斯拉Model 3开启Autopilot撞上警车 司机被指控过失驾驶

    【TechWeb】7月1日消息,据国外媒体报道,特斯拉的Autopilot自动辅助驾驶系统,已经开卖多年,虽具备一定的辅助驾驶能力,但仍要求司机注意力高度集中。但即便如此,仍有很多司机在开启Autopilot自动辅助驾驶系统之后,未将注意来集中在道路上,进而导致车祸。去年12月份,美国就有一名特斯拉Model 3的车主,在开启Autopilot自动辅助驾驶系统之后不集中注意力,最终撞上了一辆停在路边的警车,这名司机目前已被指控过失驾驶。被指

  • 培养智慧时代管理会计 恒企教育推出SEE.AI智适应平台

    互联网、人工智能、大数据时代的到来,成为新一轮科技革命和产业变革的重要驱动力量。近年来,人工智能算法在大数据和计算机算力的加持下,开始在企业运营和管理方面展现出它的潜力,这一新兴技术正在给管理会计行业带来影响。在科技的浪潮下,中国管理会计体系迎来新的发展机遇。当前传统的财务会计主要的任务就是做账,从每一笔资金的来源,总账、现金、固定资产等,再到最后的报告,这都是传统会计的工作内容。而人工智能在信息?

  • 新一代企业级DevOps平台阿里云云效正式发布

    6 月 9 日, 2020 阿里云线上峰会于云端举行,阿里巴巴云研发部门负责人陈鑫出席峰会并发表题为《新云效,新DevOps平台》的主题演讲,宣布新一代企业级DevOps平台——阿里云·云效正式发布。新技术时代的新挑战“软件研发及相关工程实践的发展离不开技术的迭代,看清技术的发展脉络,然后对照企业自身的痛点,往往可以更容易去推动研发效能的提升。” 阿里巴巴云研发部门负责人陈鑫在论坛中讲道,“我在这里将过去几年的技术和实践

  • 梅赛德斯(Mercedes)和英伟达(Nvidia)合作建立强大的计算平台

    [TechWeb]梅赛德斯·奔驰(Mercedes-Benz)与英伟达(Nvidia)合作开发用于汽车的下一代计算平台,该平台将支持从空中软件更新到自动驾驶的所有内容。这家德国汽车制造商表示计划从2024年开始在其车队中推广这项新技术。新平台将基于Nvidia的片上系统Orin技术,还将使用基于San Jose的公司完整的Drive AGX软件堆栈。Nvidia 于2019年12月在CES上首次展示了Orin ,除了顶级规格(例如每秒可以进行200万亿次运算,同时使用更少的功率

  • 微软:Windows 10支持在AMD平台启用嵌套虚拟化技术

    在微软生态系统里许多产品都已经支持嵌套虚拟化,然而长久以来AMD处理器没有得到微软嵌套虚拟化的支持,不过现在这个情况有所改变了。事实上基于AMD平台的嵌套虚拟化也是许多用户的呼声,针对

  • WOW COLOUR 携手美图「颜值兑换公司」,国潮专场助力品牌俘获年轻人群

    随着国潮元素、文化、风格等越来越受年轻人的追捧,消费者通过买国潮、穿国潮、说国潮、唱国潮来表达不同的国潮态度。作为国内最受年轻人欢迎的影像美化与社交平台,美图公司已经成为年轻人记录生活、分享生活的伙伴,并将美融入于生活的方方面面。基于“靠脸吃饭”这一网络流行语背后的用户洞察,美颜相机重磅打造S级运营活动「颜值兑换公司」。今年 5 月,美颜相机「颜值兑换公司」推出国潮专场——【国潮自拍合伙人】,并携手An

  • 极智嘉( Geek+)

    极智嘉( Geek+)成立于 2015 年,是一家快速发展的“机器人互联网+”公司,以智能物流为切入点,利用大数据、云计算和人工智能技术,专注打造极具智能的机器人产品。

  • QuestMobile2020移动互联网全景生态报告:整体用户时长增长12.9%,BATT平台流量分发通路格局初现

    QuestMobile数据显示,过去一年,在用户量增长近乎停滞的状态下,移动用户月人均使用时长增长了12.9%,由 2019 年 4 月的128. 2 小时增长至 2020 年 4 月的144. 8 小时,流量的深度运成为制胜关键,BATT等巨头平台化战略提速,用户挖掘+流量分发:微信的社交流量、支付宝的数字生活流量、百度的智能搜索流量、头条的推荐流量,成了玩家们绕不开的流量通路。

  • shopee虾皮开店流程

    Shopee虾皮作为最近几年迅速崛起的跨境电商新兴的黑马,加上东南亚的市场崛起,不少卖家涌入虾皮。虾皮购物是一个电子商务平台,总部设在新加坡,隶属于Sea Group,该公司于 2009 年由李小冬创立。虾皮购物于 2015 年首次在新加坡推出,目前已扩展到马来西亚、泰国、印度尼西亚、越南、菲律宾和中国台湾。以下是shopee的入驻条件,入驻方式和流程介绍。

  • shopee怎么读 用英语正确发音是什么

    shopee又称为虾皮,很多人不明白shopee这个词用英语怎么发音,所以今天就来为大家详细的介绍一下这个shopee怎么读。

  • 青云QingCloud物联网平台全新升级 发力4大行业场景

    近日,青云QingCloud正式发布并全面上线“青云QingCloud物联网平台”。此平台自去年CIC云计 算峰会首次亮相后,经过近一年的实践应用打磨后正式推出。

  • 一起参与功能创新,ColorOS 7.2带来OPPO LAB创新平台

    6 月 12 日,OPPO Reno4 正式首销,作为一款主打5G视频的产品,Reno4 除了带来诸多底层优化外以及算法外,新加入的OPPO 创新产品探索平台与用户共创社区——OPPO LAB也看点十足,而ColorOS 官微在今日也正式发起了"用户功能提案大赛",参赛之前,不妨让我们先了解一下 OPPO LAB 中的创新功能。ColorOS 7.2 首次带来 OPPO 创新产品探索平台与用户共创社区——OPPO LAB,旨在及时将新功能与服务分享给用户,真正打通用户对功能模块的

  • 3000+人同时在线,UCloud优刻得URTC为“对分易教学平台”撑腰

    1V1、小班课、大班课、双师课堂···随着越来越多的互动课堂场景丰富着在线教育模式,其对底层技术RTC(实时音视频)的要求也不断提升,那么在实际应用中,RTC产品需要具备哪些功能、发挥怎样的作用?从UCloud优刻得 URTC与对分易教学平台的实操案例中就能找到答案。“稳定、可靠、成熟,这是我对RTC产品评判的要求。”“对分易”是领培信息科技(上海)有限公司推出的、基于互联网的免费教学辅助工具,目前全国已有同济大学、中山?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议