首页 > 传媒 > 关键词  > UCloud最新资讯  > 正文

UCloud UHadoop:消除计算存储的木桶效应,大幅降低运营成本

2019-08-27 14:14 · 稿源: UCloud

近日,UCloud UHadoop 通过提供独立的HDFS存储集群、独立的Hive元数据管理和独立的计算集群,实现了兼顾灵活性与稳定性的存储计算分离架构,帮助用户更好的提升资源利用率,增加大数据业务部署的灵活性,同时降低运营成本。

众所周知,为了让大规模分布式数据处理系统能发挥更好的性能,传统的Hadoop架构是将计算节点和数据节点连在一起的。但随着业务数据量爆发式增长以及企业对数据价值的不断重视,数据存储规模和数据计算需求经常是无法保持线性增长,计算和存储这两者之间随之产生了“木桶效应”,极易造成资源的浪费,而用户开始越来越关注数据存储成本及计算成本的问题。

这时,计算与存储资源的分离解耦,成为了一个非常合理的选择。UCloud UHadoop带来的计算与存储的分离,完全消除了计算与存储之间的“木桶效应”,在资源隔离、计算管理和存储管理三个方面具有极大优势,同时为业务创新、技术架构升级提供了更多的灵活性和可能性。

1. 不同业务计算资源的物理隔离,保障业务稳定

传统模式下,用户是通过配置资源队列,来为不同业务分配计算资源,但这种方式实际上只能做到逻辑隔离,无法真正实现计算资源的物理隔离,不可避免会发生计算集群抢占资源的情况,业务与业务之间相互影响,导致业务状态的不稳定。UCloud UHadoop 可以帮助用户将不同业务拆分到不同计算集群上,实现计算资源的物理隔离,避免资源抢占、相互影响,从而保障业务持续稳定。

如离线业务与实时业务的隔离业务场景,用户可以借助UCloud UHadoop将离线计算与实时计算 拆分成两个计算集群,然后访问独立的HDFS存储集群,有效隔离计算资源,保障业务的稳定。

2. 弹性管理计算资源,成本最优化

传统资源配置下,计算资源调度水平受限于单台机器的存储容量。UCloud UHadoop实现了存储与计算分离之后,用户可根据业务需要,单独增加计算节点,计算任务完成即可释放计算资源,无需担心临时的大规模扩容带来的成本飙升,更不用再进行跨集群数据拷贝操作,有效降低了管理集群的人力成本和服务器成本。

与此同时,若计算集群有故障或是计算集群框架升级,也不会直接影响独立的HDFS集群中的数据,更好的保障了数据安全,同时也可缩短故障排查流程,降低集群运维成本。

3. HDFS存储集群可单独使用,更好满足再分析需求

UCloud UHadoop提供独立的HDFS存储集群,用户可以单独使用存储资源构建存储集群,将历史数据或者原始数据压缩后进行归档存储,当有数据分析的需求时,不需要进行数据迁移,即可完成数据分析任务,使用简单、成本还低。

除了以上三个方面, UCloud UHadoop实现的存储计算彻底分离,还可以让多个不同版本Hadoop集群,分析底层同一份HDFS存储集群中的数据,满足了数据一致性要求,及历史原因导致的多版本Hadoop集群共存问题。为优化集群整体成本,UCloud UHadoop 更是针对存储计算分离场景推出了存储更大、价格更低的机型,可根据不同数据量规模选择不同节点机型,帮助用户更好的降低成本。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • APICloud AVM.js跨端框架的优势

    AVM(APICloud-View-Model)是APICloud推出的一个跨端的高性能 JavaScript框架,更趋近于原生的编程体验,它提供简洁的模型来分离应用的用户界面、业务逻辑和数据模型,适合高度定制化的项目。在大前端技术领域,当我们遇到了需要解决重复性的问题时,通常会考虑设计一个DSL(Domain-Specific Language)或者抽象出一个框架层,专门来解决这些类似的问题。使用DSL我们并不需要为特定终端编写多套代码,还可以利用宿主语言的抽象能力,?

  • 苹果将很快允许指定用户继承iCloud“数字遗产”

    在近日的 iOS 更新中,苹果正试图解决一个复杂“数字遗产”继承问题。此前遇到家人离世的时候,苹果一直没能提供一个简单访问其 iCloud 账户的方法,更别提在不知道密码的情况下解锁设备了。此外该公司在 iCloud 服务条款中写道 —— 即使提交了死亡证明,这些用户的数据也无法向继承人交付。Legacy Contacts 支持在 iPhone / iPad / Mac 计算机上设置早在今年 6 月的 WWDC 2021 开发者大会上,苹果就已经提出了这项“数字遗产”计

  • 苹果新增数字遗产功能 可指定联系人继承iCloud数据

    凤凰网科技讯(作者/贾楠)11月11日消息,苹果于最新的iOS开发者预览版本中加入了“数字遗产”功能,用户可以添加遗产联系人,并在去世后允许遗产联系人访问自己的iCloud数据与信息。“数字遗产”功能最早在今年6月的WWDC21上被推出。通过该功能,苹果允许用户设定遗产联系人,并在机主去世后访问其iCloud账户中的信息与数据。在最新的iOS 15.2 Beta2版本中,苹果开放了“数字遗产”功能的相关设置。在更新到最新的测试版本后,用?

  • Nextcloud牵头:欧洲科技企业联盟向微软发起反竞争投诉

    由云存储公司 Nextcloud 发起的一个“欧洲科技企业联盟”,刚刚向微软发起了“反垄断”投诉。成员中包括 Tutanota、OnlyOffice、欧洲自由软件基金会、文档基金会、以及欧洲数字中小企业联盟,它们控诉微软正在更深入地将 Microsoft 365 服务集成到 Windows 中,以推动 OneDrive 网盘和 Teams 协作等组件的默认采用。Nextcloud 指出,微软的这些反竞争行为,导致当地小企业难以与之展开公平竞争,因此希望欧盟积极采取行动。有数据?

  • 面向计算、数据、通信密集型应用需求 青云科技推出QingCloud EHPC

    企业级 ICT 服务商青云QingCloud (qingcloud.com,股票代码:688316)于 11 月23 日举行发布会,宣布QingCloud EHPC 服务正式上线。QingCloud EHPC高配 CPU/GPU 异构计算,存储 GP 级吞吐、百万级 IOPS,网络高吞吐、低延时可达100 Gb/s,300+ 应用软件……以超高算力、超低成本、超多软件、超优服务,让用户快速获取超算服务,更专注于业务。青云弹性高性能计算(QingCloud EHPC)基于青云云基础设施,为用户提供部署在公有云、?

  • BoCloud博云通过“云基准测评-云际混合云及云际存储”认证

    近期,由中国电子技术标准化研究院主办的“2021 新一代信息技术产业标准化论坛——云计算创新应用标准化分论坛”在深圳成功举办。本次论坛以“云基准测评助力新一代数字化基础设施创新发展”为主题,围绕云计算标准化创新应用,形成云基准测评全景图,并发布云解决方案、云际计算、超融合系统等多项测评结果。会上,BoCloud博云(苏州博纳讯动软件有限公司)云管理平台通过“云基准测评-云际混合云及云际存储”认证。云计算基准测?

  • Windows版iCloud更新了ProRes和ProRaw 支持密码生成器

    苹果发布了Windows版iCloud的新版本,支持其ProRes和ProRaw格式,以及新的iCloud密码和协作功能。

  • iCloud for Windows 13发布:支持ProRes/ProRAW 增强密码管理

    适用于 Windows 的 iCloud 近日获得重磅升级,在提升安全性能之外引入了对 ProRes/ProRAW 格式的支持。最新发布的 13 版本基于今年 8 月发布的 12.5 版本基础上,该更新为同时拥有 Windows 设备的苹果用户带来了适当的 iCloud Passwords 应用。● 支持 ProRes/ProRAW 格式iCloud for Windows 13 的一个重大变化是能够使用 iCloud 应用从 Windows PC 访问苹果 ProRAW 图像和 ProRes 视频。这项功能可以说对使用 iPhone 拍摄内容并使

  • Cloudflare成功拦截了一次带宽高达2Tbps的大型DDoS攻击

    Cloudflare表示,它已经成功阻止了一次分布式拒绝服务(DDoS)攻击,其峰值略低于2Tbps,成为有史以来最大的被攻击记录之一。这家互联网公司在一篇博文中说,这次攻击是由大约15000个机器人发起的,它们在被利用的物联网(IoT)设备和未打补丁的GitLab实例上运行原始Mirai代码的变种。这次DDoS攻击发生在安全机构Rapid7警告GitLab漏洞(在CVSS严重程度上被评为满分10.0)仅两周后,该漏洞就已经被外部利用,允许掌握它的攻击者在受

  • Cloudflare:第三季度全球 DDoS 攻击创纪录增长 44%

    ​该季度全球 DDoS 攻击数量达到了创纪录的水平,增长44%,期间出现过几次创纪录的 HTTP DDoS 攻击,达到 TB 级别,最高可达1720万 rps(每秒请求次数)。根据Cloudflare的研究,总体而言,世界各地的DDoS攻击增加了44%,而中东和非洲的攻击平均增加了80%,处于领先地位。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天