首页 > 传媒 > 关键词 > 自动化调度管理最新资讯 > 正文

川庆物探数据机房运维:实现资源统一、自动化调度管理

2017-10-09 15:52 · 稿源:站长之家用户投稿

    经过快速稳定的发展,川庆物探IT规模逐渐扩大,IT基础架构建设趋于完备。云计算时代,川庆物探着眼于业务扩展的需要,引入云资源,加快了川庆物探信息化建设的步伐。但是,川庆物探原有的IT运维并不完善,IT运维服务模式的改革创新势在必行。

    目前川庆物探共有 3 个数据中心机房: 2 个在成都, 1 个在新疆库尔勒。其中库尔勒为移动式机房,成都 1 楼机房主要为利旧将下线的老设备, 2 楼机房为承载川庆物探重要业务应用的集群化服务器和存储资源。

    目前针对机房及设备间的管理都比较完善,服务器和存储设备资源均已池化,但随着支撑业务应用的逐渐增多,资源的合理利用是一个较大问题。

    1 行业特性

    对石油勘探行业而言,IT资源除了存储海量数据的设备外,最关键的就是计算资源。石油勘探行业采集的地质数据数量庞大,而且需要经由地震资料处理类软件和地震资料解释类软件复杂的运算才能完成数据分析工作,这两类软件分别用于地震数据的处理和地震数据的解释,其所需要的运算量相当庞大。

    采集上来的原始数据经过地震资料处理类软件或解释类软件的复杂运算,再通过矩阵的变化,迭代后会产生更庞大的数据量。最后,输出原始数据处理结果时,又需要进行大量计算,最后变成与原始数据体量规模相似的数据。

    2 项目背景

     2016 年底,勤智运维与川庆物探研究中心合作,搭建一体化智能运维平台承担整个研究中心的运维支撑工作。川庆物探研究中心通过部署勤智OneCenter一体化运维管理平台,对川庆成都数据中心机房的核心网络设备、计算和存储集群资源进行了全面监控;通过网络拓扑图、设备性能视图、设备告警视图、自动化运维及定制化功能,直观了解网络设备、技术、存储集群资源的使用情况,并能及时发现设备故障;通过自动化资源调度合理分配、计算、存储资源,由被动运维变为主动运维。

    3 现状描述及需求分析

    3.1 现状描述

    类似川庆物探研究中心计算所这样的科研机构,承载地学研究、勘探数据分析等任务的石油勘探行业的研究所或计算中心,都面临着同样的信息化运维难题。随着数据规模不断增长,计算压力逐渐变大,计算所的规模也在扩大。川庆物探现有 3 个数据中心, 2 个在成都, 1 个在新疆。各数据中心只能负责各自的数据,数据中心之间的远程监控还未实现。

    为了保障勘探项目的顺利进行,为各项目组提供服务,川庆物探研究中心计算所投资建设的高性能计算平台有 2000 多个计算节点,近 40000 个CPU,每个CPU的核数超过了10000。硬件上的投入看似足够,但当项目繁忙需要很多应用软件同时在高性能计算平台上运行时,系统的稳定性就会出现问题。川庆物探急需一套专业的一体化运维平台,实现网络、计算、存储资源监控、远程、自动化的调度管理,让投资的硬件、软件资源的利用率更高,为业务顺利开展提供服务保障。

    3.2 需求分析

    随着川庆物探投资建设的高性能计算平台上线运行,各核心网络设备运行基本畅通,计算及存储资源在实际项目中的合理高效利用成为关注的焦点。为此,川庆物探从实际业务出发提出了如下要求:

    1)实现对核心网络设备的全面监控,并可在拓扑视图中直观显示网络架构、设备的运行状态和网络链路的性能和通断情况。

    2)实现对计算及存储集群资源监控,并通过统计视图展现集群资源CPU、内存使用情况。

    3)实现磁盘阵列各文件系统的信息采集,并以图表方式展现。

    4)实现以矩阵方式展现各计算集群节点运行应用分布情况,不同应用以不同颜色区分。

    5)实现计算集群资源通过自动化执行脚本方式自动调度分配。

    4 解决方案

    经过前期需求调研,考虑到需监控管理的计算节点超过 1000 个,勤智运维决定采用分布式部署方式,数据处理器单独部署一台服务器,两个数据采集器、集中门户等组件单独部署一台服务器,数据库采用Oracle11g单独部署一台服务器。

    1)通过网络拓扑视图展示,自动发现生成网络拓扑,并且关联设备的性能和告警信息,便于进行故障隔离和快速定位。

    1 拓扑图展示

    2)通过勤智OneCenter一体化智能运维平台实现对网络、计算、存储集群资源全面监控,实时展现各资源的CPU、内存、磁盘、接口等性能指标信息。

    2 网络设备

    3 计算集群节点

    4 存储集群节点

    将业务资源分组,以统计视图方式集中展现各计算、存储集群资源CPU、内存使用情况。

    5 计算集群资源使用统计视图

    6 计算集群各节点CPU利用率

川庆物探数据机房运维:实现资源统一、自动化调度管理

    7 计算集群各节点内存利用率

    3)磁盘阵列使用情况统计:通过定时代理方式,在指定存储节点上执行脚本命令采集获取磁盘阵列文件系统目录使用情况,并以图表方式进行集中展现。

    8 存储文件系统一级目录

    9 存储文件系统一级目录

    4)项目应用矩阵视图展现:按照川庆物探的业务,每个计算集群节点上均会部署运行一个项目应用,例如:Omega、Paradigm等。计算集群节点为Linux系统,勤智OneCenter一体化智能运维平台按照Linux对各节点进行监控,并将川庆物探的项目应用名称同Linux操作系统的“系统说明”字段进行绑定,绑定策略可在后台配置文件中进行维护。

    以矩阵方式集中展现a段、b段、c段等计算集群节点上运行应用情况。

    10 矩阵视图展示

    5)自动化资源调度:通过对计算集群资源的全面监控,及时掌控各集群节点的使用情况,结合资源调度功能实现自动化在线分配节点资源(释放空闲节点的资源到业务紧张的节点中)。

    11 资源调度

    5 用户收益

    勤智OneCenter一体化智能运维平台,能够帮助川庆物探用户找到问题出现的根源,比如哪些资源已经超负荷,哪些资源处于闲置状态,并通过在线资源调度合理分配超负荷资源和闲置资源,使其得到高效利用。川庆物探能够实时掌控计算平台上的应用运行情况,预知分配给应用的计算节点何时达到峰值。如果当前CPU利用率较低,就可以加载将要运行的软件,提高平台处理效率。

    川庆物探反馈引入勤智OneCenter一体化智能运维平台后,业务能够更好地顺利开展,所有可监控的业务都做到了提前报警,计算集群节点使用状况实时可控,实现了资源的统一、自动化管理,投资的软硬件资源利用率更高。

    6 案例亮点

    本项目一期建设亮点如下:

    1)实现对川庆物探核心网络设备、计算和存储集群资源全面监控,结合ITAM平台实现自动调用脚本实现计算集群资源的在线调度。

    2)通过定制化需求对计算集群节点CPU、内存性能指标进行集中展现;以矩阵方式展现各计算集群节点运行业务应用情况。

    3)通过定时代理方式在指定存储节点上执行脚本命令,获取磁盘阵列文件系统目录使用情况,并以图表方式进行集中展现。

网友热搜:

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 思科加强网络可视性,实现更智能的自动化

    思科基于意图的网络产品组合增加多项新功能,实现更强大的控制性、安全性和可视性 新闻摘要: ● 通过直观、自动化的策略轻松进行网络分段,并确保网络安全。 ● 思科DNA中心和思科DNA Spaces为物联网终端提供更完整的可视性。 ● 思科SD-WAN通过与思科Umbrella集成,帮助客户向SASE(安全访问服务边缘)体系架构演进。 2020 年 6 月 18 日,北京—Cisco Live Digital—今日,思科宣布推出新的基于意图的网络解决方案,旨在帮助客?

  • 推荐:5个好用的免费自动化在线营销工具

    在互联网时代,创建一家公司很简单,但想要发展好它却很难。无论是小公司还是大企业,网络营销已经成为推动企业发展重要方式之一。自动化跟踪项目在技术的支撑下已经变得非常容易,你只需要开启工具并根据需要进行设置调整。几乎所有的东西都可以靠自动化来简化过程。

  • 助力鲁阳节能自动化升级改造 大学仕在行动

    作为自动化项目对接领域的领头羊,自2015年成立以来,大学仕每年帮助上千家企业解决了自动化升级改造难题,受到了社会的广泛关注和高度赞赏,而山东鲁阳节能材料股份有限公司就是其中之一。 山东鲁阳节能材料股份有限公司建于1984年,2006年11月在深圳证券交易所上市(证券代码:002088)。历经30余年的发展,公司成为集陶瓷纤维、硅酸镁纤维、可溶纤维、氧化铝纤维、玄武岩纤维(岩棉)、纳米材料、轻质耐火砖等新型节能材料研发

  • 助力维高集团自动化设备升级 大学仕在行动

    中国制造业之所以能用短短几十年时间就取得了举世瞩目的成就,主要是因为各个领域的企业能注重品质、不断创新,广州维高集团就是其中的典型代表。 广州维高集团有限公司创立于 1988 年,是一家涵盖汽车、摩托车零部件设计制造、精密模具制造、医药包装、智能装备及智能硬件研发、资本投资等业务的大型民营企业集团。 维高工厂占地面积约 10 万平米,地理位置优越,紧临广清高速、机场高速、武广高铁、广州北站。公司历年荣获广州?

  • 基于3D扫描、机器人和物联技术的自动化逆向工程解决方案

    逆向工程技术(Reverse Engineering)作为工程师重要的研发工具,在近几年来变得越来越举足轻重。在非自动化的逆向工程流程中,工程师需要耗费大量人工重复劳动,并且需要具有相当多的专业知识。而已有的一些自动化的流程则通常价格高昂,或者技术还不足以满足工业化生产。德国柏林的弗劳恩霍夫协会(Fraunhofer)在自动化逆向工程解决方案的研究中,将不同技术整合到一系列MRO(维护,维修,操作)的生产流程中,来向工业界展示,

  • 自动化焊接添动力 大学仕助推中船海声科技智能制造

    目前我国制造业处于重要转型期,迫切需要提升自动化水平,降低人力劳动成本。作为央企下属公司的中船重工海声科技有限公司,理所应当地走在了智能制造的浪潮前列。 中船重工海声科技有限公司(以下简称中船海声科技)位于世界水电之都湖北省宜昌市,隶属于世界 500 强企业——中国船舶集团有限公司,是集基础科研、产品研发、先进制造、技术服务于一体的复合型企业,产品涵盖海洋信息、海洋工程、水下传感器、风电能源、智能装备?

  • 海柔创新全球首发纸箱及双深位机器人,实力领航箱式仓储自动化

    6 月 15 日晚,海柔创新于线上举办了“创新·引领·共赢” 2020 新品发布会,重磅发布全球首款纸箱仓储机器人库宝A42N(Carton-picking ACR HAIPICK A42N)及双深位箱式仓储机器人库宝A42D(Double-deep ACR HAIPICK A42D)。作为箱式仓储机器人专家,海柔创新再次实现技术突破和创新,引领箱式仓储新风向。 全球首创双深位箱式仓储机器人:库宝A42D 居高不下的仓租成本一直是仓储物流企业的一大痛点,海柔创新进一步为客户创造价值,

  • 大学仕携手中国500强新希望 助畜牧自动化一臂之力

    在2019年《财富》杂志评选的中国企业500强名单中,大学仕合作伙伴新希望六和股份有限公司位列第131位。近年来,作为国内自动化项目对接领域的领航者,大学仕一直在致力于与全国各行业龙头企业建立长久的良好合作关系,为企业遇到的自动化升级改造难题提供帮助。 新希望六和股份有限公司创立于1998年,并于1998年3月11日在深圳证券交易所发行上市。2019年,公司实现销售收入820.5亿元,控股的分、子公司500余家,员工7.06万人。在2

  • 戴尔科技集团推出全新Latitude、Precision和OptiPlex产品组合,搭载自动化AI软件助力职场人士智能办公

    6月12日消息,戴尔科技集团举办“新机在握,智迎挑战” 2020戴尔全新商用客户端产品及解决方案发布会,携其屡获殊荣的全新Latitude、Precision和OptiPlex产品组合亮相中国。此次,戴尔带来其最智能、最安全的全新商用PC产品组合,以助力专业人士随时随地、更高效、更安全地开展工作。同时,作为戴尔最具可持续性的商用客户端产品,这些全新推出的设备通过采用可再生材料、可持续包装、高能效设计并满足EPEAT黄金评级等

  • AMD驱动更新:终于支持Win10硬件加速GPU调度

    5月底的时候,Windows 10 v2004 5月更新版开始大面积推送,AMD也同步发布了提供支持的20.5.1版新驱动,终于支持WDDM 2.7驱动模型,并支持新系统的硬件加速GPU调度技术。不过各种尝试之下,却始

  • 滴滴自动驾驶公司成立安全工作管理委员会

    今日,滴滴自动驾驶公司成立安全工作管理委员会,系统化、标准化进行自动驾驶研发、测试、运营各阶段安全管理。自动驾驶公司CEO张博任滴滴自动驾驶安委会主任。

  • 苹果AppStore怎么取消自动订阅

    苹果应用商店App Store有很多应用会自动为用户进行续订服务,但不少用户表示想要关闭这些续订,那么如何进行关闭自动订阅呢,这里我们来一起看下关闭自动续订的具体操作方法。

  • 2020税后工资怎么计算,助力薪税一体化管理

    税后工资计算是多少,公司实际发放的工资就是多少,不需要再另外扣费用,税后工资指的就是实际发放的工资。那么,是否有好用的2020税后工资计算器可以使用呢?税后工资计算即税前工资扣除五险一金中的个人交纳部分、个人所得税后,实际到手的工资收入。社会保险中的个人交纳部分、住房公积金中的个人交纳部分是税前列支的。笔者所在企业HR一直在用i薪税,其中,i薪税自带的2020税后工资计算器不仅可以快速计算税后工资,还支持税后

  • 标准化、平台化、产品化….病理AI如何走完“最后一公里”?

    历时107天,阿里云天池主办的"数字人体"视觉挑战赛落幕收官,此次大赛以宫颈癌为切入口,旨在通过提供大规模经过专业医师标注的宫颈癌液基薄层细胞检测数据,让选手能够提出并综合运用目标检测、深度学习等方法对异常细胞进行定位以及对宫颈癌细胞学图片分类,提高模型检测的速度和精度,辅助医生进行诊断。英特尔是此次大赛联合主办方,其开创的英特尔深度学习加速技术,极大的提升了本次比赛的推断效率。大赛期间,来自12个国家和地区的近

  • 稳健医疗:数字化建设、信息化布局助力“抗疫”

    6 月 12 日,深圳市政府新闻办公室在市政新闻发布厅举行(工业和信息化专场)新闻发布会。深圳市工信局局长贾兴东在会上介绍了深圳工业和信息化领域贯彻落实全国“两会”精神,落实“六稳”、“六保”的工作,推动产业发展有关情况,以及深圳工业和信息化领域抗击疫情工作中的亮点,并充分肯定了稳健医疗等企业在此次全球战疫中,贡献了“深圳力量”。新闻发布会现场稳健医疗用品股份有限公司董事长李建全受邀出席新闻发布会,并做

  • 又一彩蛋!微信语音转文字可自动匹配表情

    近日,有网友发现了微信APP的又一彩蛋。当用户使用语音转文字的功能的时候,系统会自动匹配出相应的表情。据悉,该彩蛋4月就已在微信上线。

  • 教你挑选香烟陈列优化神器——自动补货推进器

    自动补货器、香烟推烟器、卷烟推进器,一款陈列神器——推进器已被应用在各大商超。众所周知,为提升店铺档次,降低人工成本,减少损耗,提升满陈列效率,会想到借助自动理货器对商品进行整理,也就是——货架自动推进器,我们以香烟推进器作优势分析:1、使用了香烟推进器,丰富了香烟陈列场景,完善香烟陈列场景化,使不同的香烟陈列美观,丰富香烟陈列效果。2、一体成型工艺降低了人工组装成本,提高生产效率。和陈列柜,货架,?

  • 爱奇艺“腾化”

    如果说奈飞Netflix是互联网视频的先驱,爱奇艺无疑是中国粉丝中最执着的那位。龚宇为Netflix前CHO帕蒂·麦考德的《奈飞文化手册》推荐序中写道:“也许是因为爱奇艺与Netflix处于同一个行业,所以我们更加理解和赞同Netflix的企业文化。”

  • 特斯拉自动驾驶将上涨1000美元

    6 月 22 日,特斯拉CEO马斯克在社交网站上表示, 7 月 1 日以后,特斯拉全自动驾驶(FSD)价格将上涨1000美元; 7 月 1 日以前,通过特斯拉app购买基本的特斯拉自动驾驶功能费用降低至2000美元。

  • 黑光夜视自动触发 vivo X50系列暗夜拍摄更惊艳

    作为vivo新一代专业影像旗舰,vivo X50 系列实现了硬件与软件的全面升级,其行业首创的超感光微云台主摄更是博得海内外诸多媒体的一致好评。 6 月 9 日,vivo官微发布一则vivo影像实验室暗拍视频,生动展示了vivo X50 Pro的真实暗拍效果,吸引了网友的广泛关注。 基于强大的超感光微云台技术,vivo X50 Pro在防抖效果出色的同时,由于微云台防抖的安全快门时间更长,其暗光场景的曝光能力也得到了质的飞跃,充分保证了夜景环境下?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天