首页 > 传媒 > 关键词  > 正文

「天工2.0」MoE大模型发布

2024-02-06 13:49 · 稿源: 站长之家用户

北京时间2月6日,昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP,这是国内首 个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP,体验昆仑万维「天工2.0」MoE大模型的卓越性能。

「天工2.0」是昆仑万维自去年4月发布双千亿级大语言模型「天工」以来的最 大规模版本升级,其采用业内顶 尖的MoE专家混合模型架构,应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。

此次更新全面升级了AI搜索、对话、阅读、创作的回答质量与响应速度,搭载强大的多模态能力,支持图文对话、文生图等多模态应用,支持最 高100K的超长上下文窗口(超过15万个汉字),并新增了AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多项新兴玩法,让AI更聪明、更实用、更有趣,成为每个人日常生活中的全能AI小助手。

昆仑万维致力于人工智能模型算法的创新与开拓,不断探索通用人工智能技术前沿。除了双千亿级大语言模型「天工」、MoE专家混合大模型「天工2.0」外,昆仑万维还围绕「天工」系列大模型,推出了百亿级开源大语言模型系列「天工Skywork-13B」、AI Agent开发平台「天工SkyAgents」、多模态大语言模型「天工Skywork-MM」等前沿AI产品,并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵,是国内模型技术与工程能力最 强、布局最全面的人工智能大模型企业之一。

MoE:全球顶 尖的大模型核心技术路径

MoE(Mixture-of-Experts,专家混合模型)是当前大语言模型赛道技术最顶 尖、研发最前沿的底层架构,是全球最领先的大模型核心技术路径之一。

自2023年6月以来,昆仑万维不断针对MoE架构技术最前沿进行研发探索,并成功发布国内首 个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用——「天工AI智能助手」APP。

「天工AI智能助手」以昆仑万维「天工2.0」MoE大模型为核心技术引擎,其技术原理是将复杂的大模型任务拆解为多个更小、更细分的子任务,每个子任务都由垂直领域的专家模型处理,从而使得昆仑万维「天工2.0」不仅大幅提高了模型训练与推理的性能和效率,更能实现多个垂直领域的知识融合,使模型能够更好地理解和处理不同应用场景下的复杂问题,为用户提供更准确、更全面的回答方案。

同时,昆仑万维技术团队更是通过一系列针对性的MoE技术攻关,在投入大量研发训练资源后,最终解决了困扰整个MoE产业的模型不收敛、特定任务泛化效果较差等核心性能问题,使「天工2.0」的模型性能得到显著提升。

模型性能更强、速度更快、架构更灵活

「天工2.0」的技术领先性体现在其核心MoE架构的卓越优势。MoE架构主要由门控模型/路由器(Gating Model/Router)和一组专家模型(Experts Models)构成,当数据输入门控模型/路由器时,系统会根据任务类型将每个token分配给一个或多个专家模型,使得每个专家模型可以专注于处理该部分数据,从而获得模型性能的整体提升。

较之传统大模型架构,「天工2.0」具有以下优势:

1.应对复杂任务能力更强:「天工2.0」MoE模型集成了多个专家模型,每个专家模型都能针对不同的数据分布和构建模式进行搭建,从而显著提升大模型在各个细分领域的专业能力,整体模型通过整合各自专家模型的输出结果,使得「天工2.0」在处理复杂任务、多模态任务时拥有显著性能提升。

2.速度更快、效率更高:由于MoE模型推理计算过程中只有少数特定专家模型被激活,相较于同等参数规模的稠密模型,「天工2.0」MoE模型呈现出极 高的稀疏性,使其拥有更高的推理计算效率,从而让用户获得更快的AI响应速度。

3.灵活、多样、可扩展性更强:一方面,模型稀疏性使得「天工2.0」能够在不增加计算量的前提下显著扩张模型规模,在同等计算资源下获得更强的模型性能;另一方面,通过增加专家模型数量、调整专家模型的权重配比,「天工2.0」能够极大丰富模型的可扩展性,构建更为灵活、多样、可扩展性更强的新时代大模型。

「天工AI智能助手」APP全面升级

「天工AI智能助手」APP基于昆仑万维自研「天工」系列大模型打造,是一款能搜、能聊、能写、能画的AI智能助手,其拥有强大的自然语言处理和智能交互能力,能够实现个性化AI搜索、智能问答、AI绘画、聊天互动、文本生成、编写代码、语言翻译等多种应用场景,并且具有丰富的知识储备。

伴随着「天工2.0」大模型的重磅升级,「天工AI智能助手」也迎来了版本的全面更新。

1.强大的多模态能力:「天工AI智能助手」所采用的多模态大模型基于一体化的开发策略,在底座模型的基础上进行深入开发与优化,引入多分辨率的视觉编码器和强大的语言基座模型,使其能够支持任意尺寸的图片输入和复杂的用户指令。

在强大的多模态大模型能力加持下,新版「天工AI智能助手」具备优秀的视觉理解、推理和指令遵循能力,能够满足图文对话、图文创作、知识问答等多种用户需求。同时,得益于模型杰出的理解能力,新版「天工AI智能助手」生成的图像在内容丰富度、精细度和图像质量上均表现卓越。

与此同时,在强大的多模态能力加持下,「天工AI智能助手」还能生成图文并茂的答案内容,让用户问出“螺蛳粉怎么做?”“怎么用吉他弹《稻香》?”“2024春节放假安排?”这类问题时能够得到图像/视频辅助呈现,使得AI回答的结果更直观,内容更丰富。

2.支持100K超长上下文窗口:「天工AI智能助手」的超长上下文窗口技术基于100K原生文本进行训练,能够支持最 高100K(超过15万汉字)的文本对话,并能够通过扩展技术可以支持200K超长文档理解。在InfiniteBench评测中,「天工」系列大模型多项指标全球第 一,10项指标平均分47.5分,超过Claude2,接近GPT4-128k的52.6分。

在针对超长上下文模型的“大海捞针”测试中,研究人员会在海量的文档集里面插入特定信息,然后对文档集进行提问,期待模型能从“茫茫文海”中找出正确的关键信息,以验证模型的长上下信息提取能力。在“大海捞针”测试中,「天工」模型取得了100 %正确结果。

3.搜得更准、写得更好、读得更快:新版「天工AI智能助手」拥有更强大的关键词与语义分析能力更精准识别用户任务需求,在AI搜索、对话、阅读、创作等不同应用场景中,都能针对用户的不同需求提供更准确、更具体的回答与追问建议。同时,新版「天工AI智能助手」AI搜索质量、安全能力、答案丰富程度都进一步提高。

例如,在「天工AI智能助手」中,用户可使用“AI阅读”功能快速提炼总结文献内容,并针对文献内容细节进行追问,得到快速、准确、具体的答案内容。

4.丰富有趣的AI Agent:新版「天工AI智能助手」新增了如AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多款官方AI Agent,让「天工AI智能助手」在能搜、能聊、能写之余,新增更多有趣而实用新兴玩法,不断探索AIGC技术的应用边界,成为每个人日常生活中必不可少的全能AI小助手。

从2月8日开始,由昆仑万维主办的“巧绘龙年”AI绘画大赛也将在「天工AI智能助手」APP内开启,用户使用APP内“AI绘画”功能绘制图画作品并投稿至活动专区,即可有机会获得最 高10万元人民币的现金大奖。

这是国内首 个面向全体C端用户免费开放、奖金规模达到数十万量级的AI绘画大赛。得益于「天工」系列大模型卓越的多模态技术能力,高水准的文字意图识别确保用户能够尽情发挥创意,绘制出内容丰富、细节精致、审美高 级的个性化AIGC图像。

一直以来,昆仑万维始终秉承着“实现通用人工智能,让每个人更好地塑造和表达自我”的公司使命,不断降低大模型技术在各行各业的应用和学习门槛,携手探索未知世界、共创科技未来。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 腾讯发布星脉网络2.0,让AI大模型训练效率提升20%

    随着大模型的火热持续迭代,AI基础设施愈发成为云厂商的核心竞争力之一。7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,升级后的星脉网络2.0搭载全自研的网络设备与AI算力网卡,支持超10万卡大规模组网,网络通信效率比上一代提升60%,让大模型训练效率提升20%。大模型时代的来临,将开创下一代云服务,腾讯云致力于打造“最适合大模型的云”,也将持续升级底

  • OpenAI发布PVG:用小模型验证大模型输出,解决“黑盒”难题

    7月18日凌晨,OpenAI在官网发布了最新技术研究——Prover-Verifier-Games。随着ChatGPT在法律、金融、营销等领域的广泛使用,确保模型的安全、准确输出同时被很好理解变得非常重要。如果使用的验证模型存在偏差,那么验证的内容还是会出现非法输出的可能。

  • 蚂蚁集团WAIC发布大模型密算平台,助力大模型破解数据供给挑战

    大模型向下扎根深入行业,必须要破解高质量数据供给的挑战。7月5日,2024年世界人工智能大会进入第二天,作为数据要素领域的主要技术服务商,蚂蚁集团发布“隐语Cloud”大模型密算平台,通过软硬件结合的可信隐私计算技术,在大模型托管和大模型推理等环节实现数据密态流转,保护模型资产、数据安全和用户隐私。今年5月底,蚂蚁集团对外公布了以人工智能和数据要素技术为核心的科技战略,随后成立了独立运营的密态计算公司——浙江蚂蚁密算科技有限公司,将提供密算相关的产品和服务,包括一套端到端的数据安全保障、一套软硬件结合的计算加速解决方案和一个隐私计算云服务平台,推动数据安全可信的跨云跨端低成本流通。

  • SuperCLUE最新测评发布,360智脑大模型稳居大模型第一梯队

    7月9日,国内权威大模型评测机构SuperCLUE发布《中文大模型基准测评2024上半年报告》,360智脑大模型在SuperCLUE基准6月测评中,取得总分72分,超过GPT-3.5-Turbo-0125,位列国内大模型第4名次,稳居大模型第一梯队,并入选SuperCLUE“卓越领导者”模型象限。《中文大模型基准测评2024上半年报告》选取国内外具有代表性的33个大模型,采用多维度、多层次的综合性测评方案,通过理科、文科和Hard三大维度真实反映大模型通用能力。360重塑国民级产品,相继推出360AI浏览器、360AI搜索等产品,其中360AI搜索连续登榜全球AI产品数据增速榜榜首,领跑国内AI搜索引擎市场。

  • 谁才是大模型“四小龙”?

    这两年热闹的大模型创业潮,被业内称为“AI2.0”。与之对应的“AI1.0”,指的是2015年左右开始的那一波AI创业潮,当时诞生了商汤、旷视、云从、依图等明星创业公司,它们以CV技术为主导,大量融资,风头无两。它们面对的挑战,丝毫不比“AI四小龙”小。

  • 大模型的招投标订单都被谁拿走了?

    大模型技术席卷全球科技界,中国也迅速跟进这一浪潮,在诸多领域开始落地,提升了企业运营效率和消费者体验。大模型企业也面临技术成熟度、成本、数据安全、行业差异、用户接受度等挑战,商业化仍然是一个摆在所有厂商面前的问题。在可预期的未来,大模型技术将在更多领域发挥作用,在这个技术、市场和商业模式等维度都快速变迁的行业,未来的走向还需要拭目�

  • 专访诺奖得主:大模型是记忆还是理解?

    物理学家理查德·费曼曾将自然世界比作众神的游戏,比如国际象棋——我们不知道游戏规则,但却可以观察棋盘,也许只是其中的一角,然后根据这些观察,试图找出游戏规则。费曼的比喻,道出了科学研究的核心,也生动描绘了许多经济学家的工作,他们同样致力于从纷繁复杂的经济现象中,洞悉隐藏的模式和规律。机器之心:哈哈,这不也是一种快乐的生活吗?萨金特教授:这么说也不错,某种意义上。

  • 大模型真的在吞噬人类的一切数据吗?

    在弗兰克·赫伯特的《沙丘》中,沙漠星球厄拉科斯的沙丘下隐藏着一种无价之宝:香料。这种神秘物质使太空旅行成为可能,能延长寿命,并具有扩展意识的效果,是宇宙中最宝贵的财富。只不过如果知道十年前在社交媒体上发布的内容,有朝一日会成为推动技术进步的“香料”,或许我们会更加慎重地对待自己的数字足迹。

  • 科沃斯机器人大模型算法通过备案,AI大模型与智能清洁结合带来哪些超级体验?

    据吴中区政府公众号吴中发布报道,科沃斯家用机器人有限公司研发的科沃斯机器人大模型算法成功通过国家网信办深度合成服务算法备案,这也是国内家用机器人领域首 个通过国家备案的大模型算法。该模型作为国内首 个在家用机器人领域中通过国家备案的大模型算法,其应用场景包括智能家用机器人的自主决策、智能客服系统的高效问答等。具体而言,该大模型支持将用

  • 国内首批!华为云盘古汽车大模型通过可信AI汽车大模型评估

    快科技7月11日消息,近日在信通院组织的可信AI汽车大模型首轮评估中,华为云盘古汽车大模型顺利完成了评估,获得4 级证书,成为国内首批通过该项评估并获得当前最高评级的行业大模型。据悉,华为云盘古汽车大模型在2023年的全联接大会首次发布,覆盖了汽车设计、生产、营销、研发等业务场景。上个月,华为开发者大会2024上又发布了全新升级的盘古大模型5.0,重塑自动驾驶的开发,通过技术创新,更好的理解世界,生成自动驾驶训练视频。华为表示,盘古汽车大模型过去一年持续深耕行业,已覆盖汽车业务超20多个L2场景,并已深入到汽车生产、

  • 万彩商图:快速更换商品图片背景,提升商品展示效果。

    万彩商图是一个在线设计工具,专注于帮助用户快速更换商品图片的背景,以提升商品的视觉效果和吸引力。它利用AI技术实现一键式操作,简化了传统图片编辑的复杂流程,使非专业用户也能轻松制作出专业的商品展示图。

  • AIEmoji:快速找到适合你情感的Emoji表情。

    AIEmoji是一个基于人工智能技术的Emoji搜索网站,它允许用户通过自然语言描述来搜索和找到匹配的Emoji表情。这项技术简化了Emoji的搜索过程,提高了用户在社交、写作和其他需要表情符号的场合的效率和表达能力。

  • Brev.ai:AI音乐生成器,几秒钟创作高质量音乐。

    Brev.ai是一款利用人工智能技术,根据用户输入的文本描述快速生成独特音乐作品的在线音乐创作工具。它基于Suno V3.5技术,支持多种音乐风格和流派,适用于视频、播客、游戏配乐等多场景。Brev.ai的主要优点包括高效率、成本效益高、易于使用,以及能够提供高质量的音乐输出。

  • 知了zKnown:致力于信息降噪 / 阅读提效的个人知识助手

    知了 zKnown 是一款 AI-Native 构建的个人知识助手,专注于信息降噪和阅读提效。它通过多端同步、多渠道总结、长文本支持等功能,帮助用户高效地管理和整理信息。产品的主要优点包括:- 多端同步:用户可以在移动app、桌面客户端、网页版、小程序等多个平台同步使用。- 多渠道总结:支持微信公众号、知乎、简书、36Kr、少数派等多个渠道的文章总结。- 长文本支持:最长支持总结3万字的文章内容。- 摘要导出:用户可以将摘要保存到 Notion、Flomo 等平台。- 产品背景:知了 zKnown 致力于通过 AI 技术提升用户的阅读和信息管理效率,适合需要高效处理大量信息的用户。

  • MBox AI Meet:实时转录与会议总结的谷歌会议扩展

    MBox AI Meet是一款免费Chrome扩展,专为Google Meet设计,提供实时转录和自动生成会议总结的功能。它利用AI技术帮助用户在会议中专注于讨论,而无需担心记笔记。该工具通过实时转录捕捉会议的每一个细节,并在会议结束后自动生成总结,确保用户不会错过任何重要信息。MBox AI Meet的隐私优先策略确保会议安全,不存储任何音频或视频内容。此外,该扩展还计划在未来更新中增加更多AI功能,如发言人识别、实时AI助手等。

  • Klee:本地安全AI,保障数据隐私。

    Klee是一款macOS原生的AI助手应用程序,专注于本地处理数据,确保数据安全和隐私。它使用先进的AI技术,如RAG(检索增强生成)和开源大型语言模型,如Llama 3和Mistral,为用户提供高效、智能的笔记、搜索和知识管理功能。Klee的主要优点包括本地运行以保护隐私、支持团队协作、免费使用以及优化的macOS体验。

  • Kipps.AI:快速构建AI助手,提升业务效率

    Kipps.AI 是一个在线平台,允许用户在短短两分钟内构建自己的AI助手,并将其集成到业务中。该平台支持多种数据源,如PDF、Notion、网站链接和文本,用户只需提供这些数据,Kipps.AI 会处理其余部分。它还与常用的工具如GoDaddy、Wordpress、Drupal、Squarespace、Magento和Wix等进行集成,使得用户可以轻松地将AI助手集成到现有的业务流程中。

  • CrossPrism for MacOS:图像识别、标注和关键词生成工具

    CrossPrism for MacOS 是一款专为摄影师设计的图像识别、标注和关键词生成工具。它利用多核 CPU、GPU 和神经引擎,能够识别物种、生成标题和描述,并支持模型训练的可定制性。用户可以在本地自动标注无限量的原始照片,确保所有照片安全地存储在 Mac 上,无需担心云服务中断、数据锁定或文件传输问题。其20多个专家模型可以对从鸟类到地标的各种内容进行分类,并提供新的视角来整理目录和重新发现旧照片。此外,它还支持视频处理、Lightroom 插件、图像质量评估等功能,使其成为一个强大的筛选工具。

  • ZETIC.ai:构建零成本的设备端AI。

    ZETIC.ai提供了一种革命性的设备端AI解决方案,使用NPU技术帮助企业减少对GPU服务器和AI云服务的依赖,从而显著降低成本。它支持任何操作系统、任何处理器和任何目标设备,确保AI模型在转换过程中不损失任何核心功能,同时实现最优性能和最大能效。此外,它还增强了数据安全性,因为数据在设备内部处理,避免了外部泄露的风险。

  • Kerqu.Ai:一站式AI内容生成器,助力跨境电商提升效率。

    Kerqu.Ai是一个为跨境电商卖家提供一站式AI解决方案的平台,整合了先进的AI技术,帮助用户节约成本、提升品牌影响力和销售转化率。产品通过AI技术实现模特换场景、AI图片创作、批量抠图、图片变高清等功能,同时提供一键撰写文案、优化文案和多语言翻译服务,满足多站点经营需求。

  • ReviewHawk:通过分析用户评论,降低用户流失率。

    ReviewHawk是一个专注于分析应用商店评论的工具,旨在帮助企业降低用户流失率,获取用户反馈,从而改善产品。它通过数据驱动的决策和用户满意度分析,帮助企业了解用户真正想要的功能,从而提升用户留存率和产品满意度。

  • Airtable Cobuilder:快速创建与管理数据的应用程序

    Airtable Cobuilder 是一款强大的应用程序构建工具,旨在通过简单的拖放界面和AI辅助功能,帮助用户快速创建和管理数据。它允许用户连接和简化他们最关键的数据,通过可视化数据、自定义视图和集成其他业务工具,提高团队协作和数据管理的效率。该工具特别适合需要高度定制化和灵活性的业务应用场景。

  • Alertfor:追踪网络信息,及时获取答案变化

    Alertfor 是一个在线平台,通过其专有的AQTA (Ask Question Track Answer) 流程,允许用户提交复杂问题,并在网页上寻找最相关的答案。它通过持续追踪提供连续的更新,确保用户能够获得准确且及时的信息。

  • Unskool:家长支持工具,助力家庭教育

    Unskool是一个由家长为家长制作的辅助工具,旨在简化家庭教育过程。它通过去除繁琐的行政工作,让家长能够专注于创造一个丰富的学习环境,让家长和孩子都能茁壮成长。Unskool提供了跟踪、记录和灵感激发的功能,并通过人工智能生成定制的、按需的课程计划,帮助家长更高效地进行家庭教育。

  • AI Generated Diagram:智能生成图表工具

    AI Generated Diagram 是一款利用人工智能技术生成图表的工具。它通过用户输入的提示(prompts)来创建图表,支持多种布局类型,如水平布局(Horizontal)。用户可以通过编辑、配置等操作来调整图表的细节,并支持导出为SVG格式或导出数据。该工具不仅提高了设计图表的效率,还通过AI技术提升了图表的美观度和准确性。

  • Free AI Image Extender:使用人工智能扩展图像边界

    AI Image Extender 是一款利用人工智能技术扩展图像边界的工具,通过生成新内容与现有图像无缝融合,增强图像的视觉延展性。该产品通过先进的AI算法,能够智能识别图像内容并生成自然过渡的扩展区域,适用于需要图像扩展或背景生成的各种场景。

  • Capacities:一个为你的思维打造工作室的APP

    Capacities是一个旨在改善人们思考方式和工作流程的应用程序。它通过使用对象而非传统文件和文件夹来组织信息,帮助用户更直观地理解和连接复杂的信息结构。该应用支持网络化笔记,使用户能够自然地构建信息网络,激发新的创意。Capacities还提供AI助手,帮助用户与笔记中的对象动态互动,并提高写作质量。此外,该应用注重数据安全和隐私保护,符合GDPR标准,数据存储在欧盟的加密服务器上。

  • CLASI:高质量、类人同声传译系统

    CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟,采用多模态检索模块来增强特定领域术语的翻译,利用大型语言模型(LLMs)生成容错翻译,考虑输入音频、历史上下文和检索信息。在真实世界场景中,CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例(VIP),远超其他系统。

  • image-matting:AI抠图项目,使用开源模型实现图像抠图。

    image-matting 是一个基于开源模型 briaai/RMBG-1.4 的AI抠图项目。该项目旨在通过学习AI技术、GUI开发、前端学习以及i18n国际化等技术,实现本地模型算法的图像抠图功能。它支持单张和批量抠图,用户可以通过拖拽和粘贴的方式快速进行图像处理。项目还提供了打包后的运行文件下载链接,方便用户使用。

  • OnlyPans:AI定制周晚餐计划

    OnlyPans是一个利用人工智能技术为用户提供定制化晚餐计划的应用程序。它通过与用户的简短聊天来了解用户的预算、口味偏好、语言习惯、饮食限制以及日常生活的忙碌程度,然后快速生成符合用户需求的晚餐计划。随着用户使用时间的增长,OnlyPans会不断学习和优化,提供更加个性化的服务。此外,OnlyPans还提供智能购物清单功能,帮助用户避免食品浪费和不必要的紧急购物。OnlyPans注重用户隐私保护,承诺不会出售用户的任何信息。

今日大家都在搜的词: