首页 > 传媒 > 关键词  > 正文

优刻得智能大数据平台USDP v3.2全新版本上线

2023-12-04 17:38 · 稿源: 站长之家用户

USDP是优刻得推出的智能化、轻量级大数据基础服务平台,可帮助企业用户快速构建大数据分析处理和服务管理运维的能力。

在过去的半年,优刻得积极倾听并收集老客户的反馈和新客户的试用意见,这让我们更加理解用户应用需求和更好地支持客户业务。USDP不断进行功能迭代,近日迎来了全新的v3. 2 版本。新版本提供更加丰富的管理功能、扩展了更为广泛的生态技术,通过全面便捷的工具和服务,帮助企业用户更有效地进行数据管理和分析,进一步提升平台体验和生产管理效率。

USDP v3.2 新增以下核心能力:

(1)集群计算任务实时监控,提高整体计算效率

支持对 YARN 和 Impala 算力集群中运行的应用任务进行实时监控。用户可通过监控便捷地查看任务所属类型、资源池、执行用户、资源消耗、运行时长以及累计占用 CPU 和内存资源等信息。此外,还可以查阅集群任务的执行历史,为管理员提供了更全面的整个系统监控能力。实际上,任何需要对计算资源进行动态分配和管理的大数据环境中,算力集群任务监控均发挥着关键作用。例如在批处理作业性能优化、实时流处理资源管理等使用场景中,集群计算任务监控十分重要。

批处理作业场景中,企业运行了大量的批处理作业(数据清洗、转换和分析等),通过监控可以实时追踪每个作业的执行情况,包括资源利用、任务进度、任务执行时间等;可以发现哪些作业占用了大量资源、哪些作业运行较慢,进而进行针对性的优化资源分配,提高整体计算效率。比如通过调整任务的优先级、调度策略,可以更合理地利用计算资源,减少等待时间。

实时流处理场景下,用户基于Flink或Spark Streaming的应用,任务的资源需求可能会在短时间内快速波动。对于需要快速响应和实时计算的场景,任务监控可以实时了解每个流处理任务的资源占用情况,及时发现异常和瓶颈。当某个任务突然消耗了过多的内存,可能是由于数据倾斜或其他问题引起的,监控可以帮助迅速定位问题并采取相应的调整措施,以保证实时流处理系统的稳定性和性能。

2)升级集群日志服务,企业智能监控大数据环境

日志服务通过收集、存储和分析大量的日志数据,可对整个集群所有运行的大数据服务组件的日志进行查看。用户可以根据需要,按照主机名、服务组件、实例、日志等级、自定义时间区间、日志内容关键字或 LogSql 等方式,灵活检索集群的日志数据。日志服务能够提供丰富的信息和洞察,在故障问题排查诊断、性能监控优化、安全审计监控等场景中很有用,可以很好地帮助企业提高系统稳定性、优化性能,对安全性、降低成本等提供重要支撑。

在大数据管理平台持续维护中,通常需要通过日志服务排查定位服务组件的一些问题,包括服务日志错误与错误监控、服务异常分析、服务性能监控优化、用户行为分析等,集中式的查询分析日志,极大地加速了分析问题、定位问题、处理问题的效率。

在大数据服务过程中,可能会面临不同级别的警告和错误,例如资源不足、连接超时等问题,日志服务可以实时采集服务产生的警告和错误日志,进行分类和分级,帮助团队快速发现潜在问题并采取及时措施,保障服务的稳定性。服务也可能因为一些未知原因异常退出,并因此导致服务中断、数据处理异常。基于日志服务可以实时追踪服务的异常退出情况、记录退出的时间、原因以及可能造成的影响。通过分析这些异常退出日志,大数据运维团队可以快速识别问题并改进服务,提高系统的可靠性。

3)负载均衡管理工具,助力大数据平台有效运行

支持基于 Nginx + Keepalived 实现四层/七层代理负载均衡配置管理服务。该功能提供一致性哈希和源地址哈希等六种负载均衡算法,确保流量能够被有效地分散到多个服务器上;用户可以根据实际需求,按照端口自定义负载配置。大数据分析计算任务涉及大量的数据传输和计算资源消耗,通过负载均衡可以避免单一节点负载过重的情况,提升集群资源整体利用率、为整个集群性能提供保障;此外,负载均衡可以帮助实现大数据服务请求吞吐的灵活扩展,确保大数据服务具备高可用性和容错性。通过负载均衡器,用户可以集中处理对外的请求,提高安全性。

某客户的大数据应用采用了多层次服务架构,包括基于HUE服务的Web业务数据开发和基于 IMPALA的数据查询分析服务。这些服务部署在集群中不同的服务器上,每种服务都有独特的资源需求。为了更好地管理和优化这些服务的性能,优刻得为用户推荐了负载均衡器的方案。

通过负载均衡器,业务数据开发用户的请求被分发到不同的 HUE 服务器上,使每个用户的Session 得到保持,此外,这种方法还为每个用户提供了稳定的数据处理能力和带宽。对于IMPALA数据查询分析服务需求,负载均衡器确保了每个任务可以获得足够的计算资源,保证了查询分析的性能和效率。

4)技术生态再扩展

USDP目前已支持30+丰富的生态服务技术,全面覆盖数据分析需求场景。新版本升级扩展 3 大技术:

>Alluxio:统一的数据编排与数据缓存加速层

为数据分析和AI提供统一的数据访问接口,上层计算框架(如Spark、Flink等)只需要连接Alluxio即可读取和写入存储在底层任意存储系统中的数据;Alluxio支持数据策略制定,以及数据缓存和预取,提供完整的数据呈现、加速数据访问;通过统一的命名空间,实现跨存储平台、跨数据中心等异构体系敏捷数据集成和编排能力

>StreamPark:一个简化流处理应用程序开发构建和管理框架。

StreamPark是大数据管理平台扩展的新服务组件,为大数据技术生态提供了实时数据仓库和流批一体的一站式解决方案,简化了Flink任务的日常操作和维护。StreamPark综合了实时数据平台和流式数仓平台的功能,支持低代码的Flink&Spark任务托管,融合了诸多理想实践。此外,它还支持单点登录和不同身份验证系统的集成,提供了集中式的身份验证机制,增强了可定制性和灵活性。

>Knox:一个开源的安全应用程序网关

Knox是大数据安全代理的开源项目,提供全面的安全和访问控制方案。作为安全代理,它保护集群资源,支持单点登录和身份验证集成,提高用户体验和系统管理效率;而在 API 网关层面,它提供RESTful API和协议转换功能,简化应用程序开发和维护;同时还支持SSL加密和数据传输安全,保护数据在传输过程中的机密性和完整性;Web操作界面和管理控制台方便管理员配置和监控安全策略、用户权限和集群访问情况;支持审计、日志记录和多租户配置,满足不同安全需求和环境。

5)USDP 信创版,解锁国产大数据时代

USDP v3. 2 专业版、企业版,UDH(优刻得大数据组件发行套件) v3. 2 均已全面完成与国产芯片、操作系统的兼容适配,企业大数据生态服务可在各信创平台上良好运行,让数据流畅运转。截止当前,USDP已取得包括鲲鹏、飞腾、海光在内的多家 CPU 厂商以及银河麒麟等 OS 厂商的互认证书。

这都标志着 USDP v3.2 已具备基于信创环境构建大规模大数据基础平台的能力,能够为客户提供更加稳定、可靠的大数据服务。共享信创机遇,促进合作共赢。

6)产品视觉升级,崭新 UI 控制台登场

在USDP v3. 2 版本中,为用户带来了全新的控制台视觉UI提升,并对用户体验和功能性进行了全方位优化。全新的UI 控制台以清新、直观的设计风格为特色,每个元素都经过精心设计,为用户提供更便捷、更直观、功能更强大的大数据管理平台。

USDP新版本的UI控制台更加注重易用性。新布局使得每个功能入口更为清晰,用户可以更迅速地找到所需的功能。交互设计方面,新版本优化了各类操作流程,简化了复杂任务的执行步骤,让用户能够更轻松地完成各项操作。

此外,控制台还新增了丰富的集群核心指标展示,用户可以直观地了解YARN集群的计算资源使用情况,包括集群CPU和内存等重要指标。用户还可实时监测YARN集群和HDFS集群的健康状况,了解存储使用情况以及YARN应用程序的运行统计等关键信息。这一切都集中在集群首页,让用户一目了然,从而更好地制定管理策略和进行性能优化。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • E3Gen:高效、表现力强、可编辑的数字头像生成

    E3Gen是一种新型的数字头像生成方法,能够实时生成高保真度的头像,具有详细的衣物褶皱,并支持多种视角和全身姿势的全面控制,以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中,解决了3D高斯与当前生成流程不兼容的问题,并探索了在涉及多个主体的训练中3D高斯的表现力动画。

  • Surface:使用AI提升表单转化率

    Surface是一个基于AI技术的在线表单构建工具,专为营销和需求生成团队、CRO专家以及领英生成团队设计。它提供了一个无代码表单构建器,能够创建与品牌匹配的多步表单,提升转化率并收集部分响应数据。通过AI技术,Surface可以提高潜在客户的筛选过程,确保用户专注于最有希望的潜在客户。此外,它还提供了强大的入站工作流程自动化,以及2000多个集成选项,帮助用户有效地捕获、培养和转化潜在客户。

  • MotionClone:训练无关的运动克隆,实现可控视频生成

    MotionClone是一个训练无关的框架,允许从参考视频进行运动克隆,以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动,并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外,为了协助生成模型合成合理的空间关系并增强其提示跟随能力,提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

  • Leonardo Phoenix:创新的AI基础模型,提供卓越的提示遵循能力。

    Leonardo Phoenix是Leonardo AI平台推出的一款基础模型,它在提示遵循、图像生成清晰度和AI研究方面取得了突破性进展。该模型通过架构创新,提供了更高质量的图像生成,特别是在人像、横幅、海报和标志的文本生成方面表现出色。此外,它还增强了创造性控制,允许用户通过提示增强和AI提示编辑来轻松获取和快速修改生成内容。尽管目前一些功能如图像引导、元素和照片写实尚未集成,但预计将在不久的将来加入。

  • Uizard Autodesigner 2.0:AI驱动的UI设计生成器,快速实现设计和原型制作。

    Autodesigner 2.0是Uizard公司推出的最新版AI UI设计生成器,它结合了ChatGPT的对话流和Uizard的生成设计能力以及拖放编辑器,使用户能够仅通过文本提示实时设计和迭代。该产品通过AI技术简化了UI设计流程,提高了设计效率,尤其适合产品经理、设计师、市场营销人员、初创公司创始人和开发者等不同背景的用户。

  • KREA AI Enhancer:视频和图像增强工具,提升画质清晰度。

    KREA AI - Enhancer 是一款在线视频和图像增强工具,利用AI技术提升视频和图像的清晰度和质量。它通过实时处理,帮助用户改善视觉内容,适用于需要高质量视觉素材的专业人士和爱好者。产品背景信息显示,KREA AI - Enhancer 通过AI算法优化,能够在短时间内提供高质量的输出,是内容创作者和编辑者的理想选择。

  • TwoShot:使用人工智能创作和混音音乐,200,000+样本或自创样本。

    TwoShot是一个在线音乐采样平台,提供超过200,000个音乐样本,用户可以重新想象这些样本或生成自己的音乐样本。它允许音乐制作人和爱好者探索和下载各种风格的音乐样本包,从而丰富他们的音乐创作。TwoShot的背景信息包括其创新的音乐采样技术,以及如何帮助用户在音乐制作中获得灵感和便利。

  • Dream Machine API:使用生成视频的Python脚本。

    Dream Machine API是一个Python脚本,使用Dream Machine API来生成视频,并异步检查视频生成状态,输出最新生成的视频链接。它需要Python 3.7+环境和requests、aiohttp库支持。用户需要登录LumaAI的Dream Machine网站获取access_token以使用该脚本。

  • Captain:自动化内容策略和潜在客户生成工具。

    Captain是一款利用人工智能引擎,无需编码即可创建内容、优化参与度,并实时识别网站访客的商业工具。它通过自动化的方式帮助企业填充销售渠道,提高转化率,从而实现更多的交易。

  • PyjamaHR:AI驱动的招聘软件,简化候选人跟踪流程。

    PyjamaHR是一款AI驱动的招聘软件,旨在简化从候选人源到录用的整个招聘流程。它提供了一个全面的招聘管道和候选人视图,集成了基于LLM的候选人预筛选和评估功能,使人才库更加智能和快速导航。PyjamaHR支持与LinkedIn、Google等20多个平台的集成,确保招聘生态系统的互联互通,提高招聘效率。此外,PyjamaHR还提供了移动应用程序,支持Android和iOS平台,确保用户能够随时随地访问招聘信息。

  • Illustration Generator:AI图像生成器,一键生成专业插图。

    Illustration Generator是Icons8推出的AI图像生成器,由专业艺术家和工程师团队打造。它能够根据用户提供的文本提示或参考图像,生成具有一致艺术风格的插图,满足网页、桌面和移动应用、社交媒体、市场营销等设计需求。AI模型基于Icons8艺术家制作的视觉素材进行训练,确保生成的AI艺术作品具有一致性和专业外观。

  • CoCoClip.AI:一站式AI视频编辑器,为社交媒体视频创作而生。

    CoCoClip.AI是一个专注于社交媒体视频内容创作的AI视频编辑器,提供多种视频生成模板和编辑工具,助力用户快速制作适合YouTube Shorts、TikTok和Instagram Reels的视频内容。它利用先进的AI技术,简化视频制作流程,提高内容的吸引力和传播力,帮助创作者在社交媒体上获得更高的关注度和收益。

  • AI课代表:智能视频学习助手,提升学习效率。

    AI课代表是一款专为视频学习设计的智能插件,利用先进的AI技术,为用户提供视频内容总结、知识问答、字幕搜索等功能。它通过精准的AI分析,帮助用户快速获取视频核心信息,提升学习效率。产品背景基于当前在线教育资源的丰富性以及用户对高效学习工具的需求,定位于辅助用户在B站等视频平台上的学习体验。

  • FontStudio:自适应扩散模型,生成多语言字体效果

    FontStudio是一个创新的字体效果生成模型,它利用自适应扩散技术,能够在不规则的字体形状画布上生成连贯一致的视觉内容。这项技术突破了传统矩形画布的限制,为多语言字体设计提供了新的解决方案。FontStudio系统在用户偏好研究中显示出明显的优势,甚至在与Adobe Firefly等顶尖商业产品比较时,也获得了78%的美学胜出率。

  • Xcode 16: 提供的功能和性能提升助力开发者用比以往更快的速度构建出色的 app,将开发者的生产力标准提升到了全新层次。

    Xcode 16 提供了功能和性能提升,助力开发者以比以往更快的速度构建出色的 app,提升开发者的生产力标准。Xcode 16 带来了全新的预测性代码补齐引擎,使用了专为 Swift 和 Apple SDK 训练的独特模型,为开发者提供编码建议。此外,Xcode 16 还优化了测试环境,让开发者在开始构建 app 的那一刻起,更容易地看到 app 在实际场景中的表现。

  • .NET 9 Preview 5:.NET 9的第五个预览版,包含多项库改进和新功能。

    .NET 9 Preview 5是.NET平台的最新预览版本,它为开发者带来了一系列新的功能和改进。其中包括增强的AI功能、性能优化、对Azure Cosmos DB的增强支持、对Blazor Hybrid模板的更新以及对ASP.NET Core的多项改进。这些更新旨在提高开发效率,增强应用程序的性能和可扩展性。

  • Private Cloud Compute:Apple的云端AI隐私保护技术

    Private Cloud Compute (PCC) 是Apple为保护用户数据隐私而开发的云端智能计算系统。它通过定制的Apple硅芯片和强化的操作系统,为云端AI计算提供了前所未有的安全性架构。PCC的设计满足了无状态计算、可执行保证、无特权运行时访问、不可针对性以及可验证透明度等核心要求,代表了云计算AI安全性的一次重大飞跃。

  • Translation Agent:使用反思工作流的代理翻译模型

    Translation Agent 是一个使用反思工作流的机器翻译演示项目。它由 Andrew Ng 以及合作者开发,主要利用大型语言模型(LLM)进行文本翻译,并反思翻译结果以提出改进建议。该模型的可定制性高,可以调整翻译风格、处理习语和专有名词,以及针对特定地区或方言进行优化。尽管目前该软件还不够成熟,但已经显示出与传统机器翻译系统相比有时更具竞争力的潜力。

  • Moki:美图AI视频短片创作工具,简化视频制作流程。

    Moki是美图公司推出的AI短片创作工具,专注于辅助视频创作者打造动画短片、网文短剧、故事绘本和音乐视频(MV)。基于美图自研的奇想智能大模型(MiracleVision),通过智能剪辑、自动配乐、音效添加和字幕生成等功能,大幅简化视频制作流程,提高创作效率。MOKI深度理解创作者需求,实现内容和成本的双重可控,让视频创作变得更加简单和高效。

  • MimicBrush:零样本图像编辑,一键模仿参考图像风格

    MimicBrush是一种创新的图像编辑模型,它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系,并一次性完成编辑。MimicBrush的开发基于扩散先验,通过自监督学习捕捉不同图像间的语义关系,实验证明其在多种测试案例下的有效性及优越性。

今日大家都在搜的词:

热文

  • 3 天
  • 7天