首页 > 业界 > 关键词  > Windmill最新资讯  > 正文

Windmill:快速自托管的开源工作流引擎 比Airflow快10倍!

2023-11-24 11:26 · 稿源:站长之家

要点:

  • Windmill经过基准测试,被证明是最快速的自托管通用工作流引擎,比Airflow、Prefect甚至Temporal都快,最高可达10倍速度提升。

  • Windmill的速度得益于其简单的设计、优化的系统架构以及对Postgresql和Rust的充分利用。

  • 与其他自托管工作流引擎相比,Windmill具有更广泛的语言支持(Typescript/Javascript、Python、Go、Bash和直接SQL查询),并提供易于使用的开发体验。

站长之家(ChinaZ.com)11月24日 消息:Windmill是一款快速的自托管开源工作流引擎,经过基准测试证明在速度上超越了Airflow、Prefect甚至Temporal,最高可达10倍的性能提升。这一成就得益于Windmill的系统设计和架构,以及对Postgresql和Rust的充分利用。相较于其他自托管工作流引擎,Windmill的语言支持更广泛,包括Typescript/Javascript、Python、Go、Bash以及直接的SQL查询。此外,Windmill提供了与其他引擎不同的开发体验,通过集成的开发环境,使得工作流的构建和测试变得简单快捷。

image.png

项目地址:https://github.com/windmill-labs/windmill

Windmill在工作流引擎中的高效性体现在三个方面:计算过渡的效率、数据传递的效率和工作节点的效率。在计算过渡方面,Windmill使用了简单而优化的设计,充分利用Postgresql和Rust,通过直接的Postgresql语句实现状态转换,实现了高效的计算过渡。数据传递方面,Windmill提供了三种主要的数据传递方式,包括通过Javascript表达式、预计算输入和通过s3进行数据传递。工作节点的效率得益于Windmill的简单设计和优化的系统架构,使其能够在非容器化的情况下运行,避免了容器带来的性能开销。

image.png

Windmill的快速性不仅体现在计算过渡和数据传递方面,还表现在工作节点的高效性上。普通模式下,Windmill的工作节点按顺序处理每个作业,根据作业的语言类型(Python、Typescript、Go、Bash等)启动相应的运行时,并运行作业。此外,Windmill引入了专门的工作节点,专门用于处理脚本和流程,通过预热进程的方式消除了冷启动的开销,使得Windmill在处理高频率作业时表现出色,每秒可处理1000个步骤。

综合来看,Windmill之所以成为最快速的自托管通用工作流引擎,既得益于其系统设计和架构,又得益于对Postgresql和Rust的充分利用。Windmill通过简单而高效的设计,在计算过渡、数据传递和工作节点的各个方面实现了优化,为用户提供了卓越的性能和开发体验。

举报

  • 相关推荐
  • 小米澎湃OS 3第二批Beta版开启招募:覆盖REDMI K80、小米MIX Flip2等五款

    据小米官方消息,澎湃OS 3第二批Beta版已经开启招募,覆盖五款机型,包括:小米MIX Flip 2、REDMI K80、小米平板7 Ultra、小米平板7、REDMI K Pad。 据了解,澎湃OS 3采用自研底层内核技术平台,深入微架构流水线,识别CPU空转时长,通过一体化调频技术提升效率,整体任务执行效率提升19%。 同时,澎湃OS 3终于登岛”,命名为小米超级岛”,支持三岛并存,能显示待取快递提醒、登�

  • 王腾因泄密被小米辞退 最后一次站台主讲的是REDMI Note 15系列

    8日深夜,小米集团职业道德委员会一封《关于对中国区员工王腾违规违纪行为处理的通报》引发业内与网友热议。 邮件显示,辞退原因是泄露公司机密信息,且存在利益冲突等严重违规违纪行为。 当晚,王腾本人也发布微博对此事进行了回应,他表示很惭愧跟大家说声抱歉,承认过去犯了一些错误,愿意接受该有的代价。 王腾最后一次公开亮相是在今年8月21日的REDMI Note15�

  • 远东股份:ALL IN“电能+算力+AI”,智能驱动未来

    远东股份(600869)凭借“电能+算力+AI”战略,在能源与算力融合领域形成先发优势。公司深耕特高压输电、新能源等关键技术,自主研发高导铝绞线提升输电效率,产品应用于多条国家级特高压线路。同时布局液冷技术研发,为数据中心提供高效散热方案。未来将持续推进“AI+能源”产业生态建设,助力制造业智能化升级和绿色高效算能模式构建。

  • 淘宝直播请call赵露思

    今年的暑假大戏,赵露思直播告一段落。 截至目前,距离她上次公开直播已经过去了十余天,她的社交动态也基本停留在这一刻暂未更新。就在8月19日直播中,赵露思首次表态,表示“现在很愿意做网红”,这一宣言并非偶然,就在前一天,她注销了拥有3119万粉丝的微博账号,彻底切断传统明星的流量锚点。

  • IBM携手AMD合作研发量子计算架构,微美全息(WIMI.US)系统布局卡位抢占先机!

    IBM与AMD宣布合作开发下一代量子计算架构,结合高性能计算与量子技术。双方计划今年晚些时候进行初步演示,IBM负责量子计算机与软件,AMD专注HPC/AI加速器。量子计算正加速应用于药物研发、新材料设计、金融分析等领域,全球产业规模预计2035年超8000亿美元。微美全息等企业积极布局量子科技,推动技术研发与场景应用。尽管量子计算商业化尚需时日,但其专用领域价值探索正如火如荼展开,成为大国科技竞争的核心战场。

  • 小米手机全球销量最高系列!REDMI 15C正式发布:百元良心神机

    小米在海外多个市场发布了REDMI 15C,起售价是119美元(约合人民币849元)。 该系列是小米集团最便宜的入门手机,此前几代都被誉为百元良心神机。 REDMI 15C采用直屏直边的设计,正面是一块LCD水滴屏,分辨率为HD (7201640),支持120Hz高刷新率和最高810尼特的峰值亮度。 提供月光蓝、暮光橙、午夜黑、薄荷绿四种颜色,支持侧边指纹,与电源键二合一。 背部相机模组有些类

  • 三星全线产品亮相北京京东MALL 全场景呈现有AI的科技·艺术·家

    9月12日,三星家电以“AI的呵护”为主题在北京京东MALL举办线下体验展,集中展示搭载AI技术的全线产品,包括冰箱、洗衣机、电视及手机等。重点展出了荣获IFA创新奖的AI神·黑钻热泵洗烘旗舰等产品,通过五大主题展区呈现科技与艺术融合的家电新形态。观众可现场体验食材管理、衣物护理等智能功能,感受AI技术带来的生活便利。展览将持续至9月17日,并提供互动礼品。

  • APOLLO年中展望:在滞胀的十字路口——下一步是什么?

    美国关税政策调整引发经济波动。特朗普政府推行的新关税制度使平均关税率升至15.8%,为近90年来最高水平,加剧市场不确定性。经济学家预测经济增长放缓、通胀上升,利率将长期维持高位。企业投资计划波动加剧,消费者信心下滑,预计2025年美国GDP增长仅1.2%。尽管衰退概率上升至25%,但专家认为短期内不会出现全面衰退,供需双方均面临阻力。全球经济增长预期下调至2.6%,低于此前3%的预期。

  • 史上第一次!REDMI K90 Pro用上潜望长焦:10月发布

    REDMI K90系列将在10月发布,也算赶上了第一批的骁龙8 Elite 2旗舰。 该系列全系标配2K直屏,预计支持超声波屏幕指纹。

  • 英伟达机器人底层技术突破,微美全息(WIMI.US)多维布局助推产业生态爆发

    英伟达发布机器人AI芯片,黄仁勋称AI下一波浪潮将是机器人。上海发布AI+制造方案,推动3000家企业智能化。人形机器人市场前景广阔,预计2030年产量达23万台。微美全息等企业积极布局,在工业与家庭场景加速落地。机器人技术从"炫技"走向实用,正重塑产业结构和生活方式。

今日大家都在搜的词: