首页 > 业界 > 关键词  > 天工MoE最新资讯  > 正文

昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE 性能强劲成本更低

2024-06-04 13:56 · 稿源:站长之家

站长之家(ChinaZ.com)6月4日 消息:在大模型技术迅速发展的背景下,昆仑万维公司开源了一个具有里程碑意义的稀疏大型语言模型Skywork-MoE。这个模型不仅在性能上表现出色,而且还大幅降低了推理成本,为应对大规模密集型LLM带来的挑战提供了有效的解决方案。

image.png

Skywork-MoE模型特点:

  • 开源和免费商用:Skywork-MoE的模型权重、技术报告完全开源,且免费商用,无需申请。

  • 推理成本降低:该模型在保持性能强劲的同时,大幅降低了推理成本。

  • 稀疏模型:Skywork-MoE是一个专家混合模型(MoE),通过将计算分配给专门的子模型或“专家”,提供了一种经济上更可行的替代方案。

  • 支持单台4090服务器推理:是首个支持用单台4090服务器推理的开源千亿MoE大模型。

技术细节:

  • 模型权重和开源仓库:模型权重可在Hugging Face上下载,开源仓库位于GitHub。

  • 推理代码:提供了支持8x4090服务器上8bit量化加载推理的代码。

  • 性能:在8x4090服务器上,使用昆仑万维团队首创的非均匀Tensor Parallel并行推理方式,Skywork-MoE可以达到2200tokens/s的吞吐量。

模型性能和技术创新:

  • 参数量:Skywork-MoE的总参数量为146B,激活参数量22B,共有16个Expert,每个Expert大小为13B。

  • 性能对比:在相同的激活参数量下,Skywork-MoE的能力在行业前列,接近70B的Dense模型,推理成本有近3倍的下降。

  • 训练优化算法:Skywork-MoE设计了两种训练优化算法,包括Gating Logits归一化操作和自适应的Aux Loss,以解决MoE模型训练困难和泛化性能差的问题。

大规模分布式训练:

  • Expert Data Parallel:提出了一种新的并行设计方案,可以在Expert数量较小时高效地切分模型。

  • 非均匀切分流水并行:提出了非均匀的流水并行切分和重计算Layer分配方式,使得计算/显存负载更均衡。

实验和经验规则:

Scaling Law实验:探究了影响Upcycling和From Scratch训练MoE模型好坏的约束。

训练经验规则:如果训练MoE模型的FLOPs是训练Dense模型的2倍以上,则选择From Scratch训练MoE更好;否则,选择Upcycling训练MoE可以减少训练成本。

Skywork-MoE的开源为大模型社区带来了一个强大的新工具,有助于推动人工智能领域的发展,特别是在需要处理大规模数据和计算资源受限的场景中。

项目页:https://top.aibase.com/tool/skywork-moe

模型下载地址:https://huggingface.co/Skywork/Skywork-MoE-Base

举报

  • 相关推荐
  • 重估昆仑万维:Meta式开源、Adobe级爆款、腾讯级生态

    中国AI公司昆仑万维凭借独特商业模式实现快速增长,其战略融合了Meta的开源技术、Adobe的垂直产品矩阵和腾讯的生态思维。公司90%收入来自海外市场,通过视频、音乐、社交等产品矩阵在东南亚、中东等新兴市场快速扩张。核心产品包括短剧平台DramaWave(年收入1.2亿美元ARR)和AI音乐平台Mureka(年收入1200万美元ARR),均实现盈利。技术层面,公司采用"垂直开源+商业验证"模式,推出SkyReels视频生成等开源模型,形成开发者生态闭环。其独特之处在于:既非单纯对标国际巨头的通用模型,也避免国内同质化竞争,而是通过开源底座+垂类产品+生态卡位的组合构建差异化优势。2024年财报显示,公司AI业务年收入达10亿元,研发投入同比增长23.4%。市场看好其"平台型AI矩阵"价值,近一月股价上涨20.7%。这家中型科技企业的突围路径,为行业提供了技术出海与生态共建的新范式。

  • 生成视频好看还不够,还要能自由探索!昆仑万维开源Matrix-Game,单图打造游戏世界

    世界模型的进度条,最近坐上了火箭。 去年11月,两家创业公司打造的 Oasis,首次在开源世界模型中实现了实时、可玩、可交互。生成的虚拟环境不仅包含画面,也体现出了对物理和游戏规则的理解。

  • 7个月ARR 1.2亿美元,昆仑万维靠“短剧+AI”找到了新增长点

    据某头部媒体发布的行业白皮书显示,海外短剧月均用户已达2000-4000万,未来短剧预计将覆盖亿级的海外用户,市场规模或突破百亿美元。正是在这一行业窗口期,昆仑万维以“后来者”姿态切入赛道,却迅速在全球市场中突围,吸引了我

  • AI日报:昆仑万维天工超级智能体发布;OpenAI核心API支持MCP;百度飞桨PaddleOCR 3.0开源

    【AI日报】汇总了近期AI领域重要动态:1)百度飞桨发布PaddleOCR3.0,提升文字识别精度13%;2)昆仑万维发布天工超级智能体,AI办公成本仅为OpenAI的40%;3)OpenAI API新增MCP支持简化开发流程;4)xAI推出实时网页搜索API;5)谷歌Sparkify可将问题秒变动画;6)Mistral发布高效代码模型Devstral;7)Video Ocean推出4K视频生成工具;8)谷歌推出AI内容识别工具SynthID;9)谷歌NotebookLM使用量半年增长56%;10)硅基流动升级128K长文本模型;11)DeepMind发布音乐生成模型Lyria2;12)多模态大模型MMaDA实现跨模态推理;13)微软发布网页智能体Magentic-UI;14)Framer推出AI建站套件。

  • 持续霸榜!可灵2.0模型登顶全球视频生成大模型榜单

    快手旗下可灵AI 2.0模型在权威AI评测中表现优异,以1124分超越自研1.6版本,连续三个月蝉联全球图生视频领域冠军。4月15日发布的2.0大师版在视频质量、语义理解和画面美学等核心指标持续领先行业。数据显示,自2023年6月上线以来,可灵AI全球用户突破2200万,月活激增25倍,累计生成视频1.68亿个、图片3.44亿张。商业化方面,其单月流水已超千万元,并与伊利、vivo等头部品牌达成深度合作,展现出AI视频生成技术的广阔商业前景。

  • 字节AI加速文生图技术新突破,GOOG/微美全息引领开源大模型释放科技势能

    字节跳动发布豆包1.5深度思考模型,升级文生图能力。该模型在专业领域和通用任务中表现突出,采用MoE架构,总参数量200B,激活参数20B,推理成本优势显著。同时,其图像生成模型Seedream 3.0性能追平GPT-4o等顶尖模型。全球AI产业加速发展,开源模型降低技术门槛,推动商业化落地。微美全息等企业构建开放AI生态,DeepSeek等公司通过开源策略促进技术普惠。行业迎来"开源AI+"新阶段,企业需把握机遇应对挑战。

  • 音箱智商史诗升级 AI大模型渗透率已超20%

    目前上市的新品已经全面搭载AI大模型技术,例如小度大金刚Pro和小米智能音箱等搭载大模型技术的新品在4月上市,兼顾了声学、美学和语音技术的多方面升级。

  • 秒杀同行!Kimi开源全新音频基础模型,横扫十多项基准测试,总体性能第一

    Kimi-Audio是一款开源的通用音频基础模型,在语音识别、音频理解、音频转文本、语音对话等任务中表现优异。该模型采用集成式架构设计,包含音频分词器、音频大模型和音频去分词器三大核心组件,支持多模态输入处理。在十余项音频基准测试中,Kimi-Audio均取得领先性能,如LibriSpeech ASR测试WER仅1.28%,VocalSound测试达94.85%。模型使用1300万小时多语言音频数据进行预训练,并构建了自动处理流水线生成高质量训练数据。评估结果显示,Kimi-Audio在语音识别、音乐理解、语音情感分析等任务上全面超越同类模型,在OpenAudioBench和VoiceBench对话测试中也表现最佳。目前模型代码、检查点和评估工具包已在GitHub开源。

  • 一场文心大模型的「AI马拉松」

    对于百度而言,既要保持长期主义的战略定力,也要在技术路径上灵活应变,这种「变与不变」的平衡或许正是其在这轮科技革命中的制胜之道。 2025年,模型能力的重要性依然无需多言。 从预训练的角度来看,虽然连 OpenAI 前首席科学家 Ilya Sutskever 都说,预训练数据即将用尽,但海量的图像、视频等多模态数据资源依然有待挖掘。 从后训练的角度来看,强化学习新范式正�

  • 奔驰新款CLA接入豆包大模型

    4月22日,奔驰与火山引擎合作的首款国产纯电车型CLA全球首发亮相。该车搭载奔驰自研MB.OS架构,接入火山引擎大模型,支持个性化智能交互体验。智能系统可识别4种情绪并给予反馈,交互效率提升50%,唤醒仅需0.2秒。虚拟助手能解答百科问题并协助车辆功能设置。这是双方继2024年8月达成AI战略合作后落地的首款量产车型,结合生成式AI和大数据技术,为中国用户打造更智能的用车体验。