首页 > 传媒 > 关键词  > Kubernetes最新资讯  > 正文

我们开源啦!一键部署免费使用!Kubernetes上直接运行大数据平台!

2024-04-26 10:46 · 稿源: 站长之家用户

导语:市场上首 个 K8s 上的大数据平台开源了!

智领云自主研发的首 个完全基于Kubernetes容器化大数据平台

Kubernetes Data Platform (简称KDP)

开源啦!

开发者只要准备好命令行工具,一键部署

Hadoop,Hive,Spark,Kafka, Flink, MinIO ...

就可以创建以前要花几十万甚至几百万才可以买到的大数据平台

无需再花大量的时间和经费去做重复的研发

高度集成,单机即可体验大数据平台

在高 级安装模式下

用户可在现有的K8s集群上集成运行大数据组件

不用额外单独建设大数据集群

项目地址:https://github.com/linktimecloud/kubernetes-data-platform

辛辛苦苦研究出来的成果,为什么要开源?

这波格局开大,老板有话说

问题1:我们为什么要开源?

我们的产品一直是基于大数据开源生态体系建设的。之前就一直有开源回馈社区的计划,但是因为之前Kubernetes对于大数据组件的支持还不够成熟,我们也一直在迭代与Kubernetes的适配。现在我们的企业版已经在很多头部客户落地并且在生产环境下有效运行,觉得这个版本已经可以达到大部分生产级项目的需求,集成度以及可用性是能够帮到有类似需求的用户的,希望这次开源能够降低在Kubernetes上集成大数据组件的门槛,让更多Kuberenetes和big data社区的同行们可以使用。

问题2:开源版本的KDP,能干啥?

KDP可以很方便的在Kubenetes上安装和管理常用的大数据组件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一个一个去适配,可以直接开始使用。然后KDP也提供集成的运维管理界面,用户可以从界面管理所有组件的安装配置,运行状况,资源使用情况,修改配置。而且KDP会将一个大数据组件的所有负载(容器,pod)作为一个整体管理,用户不需要在Kubernetes的控制平面上去管理单独的负载。

问题3:最 大的亮点是?

只要你已经在使用Kubernetes,那么在现有集群上十几分钟就可以启动一个完整的大数据集群,马上开始使用,极大的降低了大数据平台的使用门槛。因为我们这个流程是高度集成的,整个安装过程在一个单机环境下也都能启动(例如使用单机kind虚拟集群都可以),所以在测试和实验环境下都可以有效使用。当然,启动之后Day2的很多好处,例如资源的有效利用和集成的运维管理,也是KDP提供的重要功能。

KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大数据平台。

将多套大数据组件集成在Kubernetes之上,同时提供一个整体的管理及运维工具体系,形成一个完全基于Kubernetes的大数据平台。企业级KDP更是支持在同一个Kubernetes集群中同时运行多个大数据平台以及多租户管理的能力,充分发挥Kubernetes云原生体系的优势。

KDP,通过对开源大数据组件的扩展和集成,实现了传统大数据平台到K8s大数据平台的平稳迁移。

作为市场上首 个可完全在Kubernetes上部署的容器化云原生大数据平台,智领云自主研发的KDP,深度整合云原生架构优势,将大数据组件、数据应用及资源调度混排,纳入Kubernetes管理体系,从而带你真正玩转云原生!

总体框架

简单来讲,KDP可以允许客户在Kubernetes上运行它所有的大数据组件,并把它们作为一个整体管理起来。

在Kubernetes上运行大数据平台有三个好处:

第 一,更有效的大数据组件集成:KDP提供标准化自动化的大数据组件部署和配置,极大地缩短了大数据项目开发和上线时间;

第二,更有效的大数据集群运管:KDP通过大数据组件与K8s的集成,在K8s之上搭建了一个大数据组件管理抽象层,标准化大数据组件生命周期管理,并提供UI界面进一步提升了部署、升级等操作的效率;

第三,更高的集群资源利用率:利用K8s的资源管理和配额机制,与其它系统共享K8s资源池,精细化资源管理,对比传统大数据平台约30%左右的资源利用率,KDP可大幅提升至60%以上。

社区

我们期待您的贡献和建议!最简单的贡献方式是参与Github议题/讨论的讨论。 如果您有任何问题,请与我们联系,我们将确保尽快为您解答。

贡献

参考开发者指南,了解如何开发及贡献 KDP。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 康佳集团深化数字生态布局 家庭场景大数据平台重塑智能家电体验

    康佳集团近期以数字技术为核心驱动,在智能家电、半导体及白电领域取得多项突破。旗下易平方公司打造的“家庭场景大数据应用服务平台”入选重庆市数字经济产业发展试点示范项目。在半导体技术商业化进程中,重庆康佳光电还实现关键突破:MicroLED红光芯片键合良率提升至98%,带动MiniLED直显屏单月出货量环比明显增长。其参与编制的《Mini/Micro LED显示屏Mura缺陷评价方�

  • 一键打击黑公关和水军!蔚来上线“一键上报”功能:最高奖100万

    今日晚间,蔚来法务部发文称,为打击黑公关和水军,蔚来法务部上线一键上报”功能。蔚来法务部表示,近期在广大用户和朋友的支持下,蔚来打击黑公关、水军及其他侵权行为取得了一定进展,多个侵权账号被封禁、行政处罚、判决侵权或已道歉赔偿。蔚来将给予提供线索者答谢,且金额必定超过他们作为水军所能获得的收入。

  • 扣子也可以一键转化为 MCP Server 了

    受 Dify 启发,我在扣子上开发了一个应用,可以一键把扣子的工作流转化为 MCP Server。你不需要知道什么是 MCP Server也不需要知道怎么写 MCP Server只需要按下面的要求填个表单,按提示复制、粘贴、再复制、再粘贴,就好了。给你要转化为的 MCP 服务起个名、描述一下它的功能和输入输出参数,就可以得到一段 Python 代码,复制存到你电脑上,按应用下面的配置说明,复制粘贴到�

  • 迅雷一键即可完成大模型下载

    近日,迅雷为提升用户使用体验,让用户能够更快更好地批量下载大模型所有文件,已针对大模型下载场景进行了优化,并上线了新版本插件,下载迅雷客户端且在浏览器安装迅雷插件即可使用。值得一提的是,在使用迅雷该插件功能创建任务时,将同时创建相对应的文件夹,下载完成后,所有文件都将在一个文件夹中,相比传统浏览器——需要用户逐个手动点击下载图标并�

  • 真人一键克隆上线,看百度如何“爆改”电商直播规则

    直播电商下半场,AI数字人成为新风口近两年来,头部主播带货频繁“翻车”,虚假宣传、不文明带货、价格误导等乱象层出不穷,让越来越多消费者开始对真人主播产生质疑,真人主播也陷入了前所未有的信任危机。在此背景下,由大模型驱动的AI数字人,能够有效避免真人主播可能出现的各种失误和风险,为直播电商行业带来了新的发展机遇。百度慧播星数字人将凭借更强大的智能化技术,进一步满足用户在多元化场景下的需求,引领电商直播迈入“无人时代”,为行业注入新的活力与可能。

  • 1小时暴涨100万用户!GPT-4o新功能彻底杀疯了,免费使用

    如果有人能提供10万单位的GPU资源并能尽快交付,请马上联系我们!同时正在逐步控制局面。但大家应该预料到,由于我们在应对算力方面的挑战,OpenAI的新发布内容将会延迟,可能会出现一些问题,并且服务有时也会变得很慢。从这点就能看出,他们最初发布的时候也没想到能火爆到这个地步。

  • 长虹将发布治愈系AI电视“追光熊猫”:可一键直达熊猫乐园

    长虹电视发布预热海报称,将于4月18日发布一款治愈系AITV追光熊猫”。长虹电视将携治愈系AITV”家族的新成员正式亮相卧龙大熊猫栖息地。其采用DRCBS双侧漫反射环境光补偿技术,减少强光刺激、缓冲明暗对比,均匀补偿环境光、渲染氛围,打造舒适护眼光环境。

  • 真·人人自媒体!手机端微信重磅升级:个人公众号一键注册、发布内容

    快科技4月17日消息,微信公众号是一个覆盖面非常广泛的公众平台,是自媒体时代的主流平台之一。不过,以往公众号都要在网页端操作,对于很多人,尤其是个人创作者非常不便。今天微信官方宣布重磅升级,手机端微信支持个人公众号一键注册和发布内容了。已拥有个人公众号的,进入「微信-公众号-右上角(个人中心)」,管理员能直接用手机撰写发布公众号图文/文章,回复留言私信,内容创作更即兴。还未有个人公众号的,点击「发表」按钮,填写信息就能快速注册,秒get创作者身份。这让当年人人都是自媒体”的成真了,每个人都能便捷的发布内?

  • 提升大模型自动修Bug能力 豆包正式开源首个多语言类SWE数据

    今日,字节跳动豆包大模型团队宣布,正式开源首个多语言类SWE数据集Multi-SWE-bench,可用于评估和提升大模型自动修Bug”能力。在SWE-bench基础上,Multi-SWE-bench首次覆盖Python之外的7种主流编程语言,是真正面向全栈工程”的评测基准。相比于以往聚焦Python的单语言任务,Multi-SWE-bench更贴近现实中的多语言开发场景,也更能反映当前模型在自动化软件工程”方向上的实际能力边界。

  • 1000万上下文!新开源多模态大模型,单个GPU就能运行

    今年2月初,谷歌发布的Gemini2.0Pro支持200万上下文,震惊了整个大模型领域。仅过了2个月,Meta最新开源的Llama4Scout就将上下文扩展至1000万,整整提升了5倍开启千万级时代。根据实验数据显示,Llama4Behemoth在MMLUPro、GPQA、MATH-500等测试的数据比GPT-4.5、ClaudeSonnet3.7、Gemini2.0Pro更好。