首页 > 传媒 > 关键词  > 正文

一口气读完一本三体,Moonshot AI大模型产品支持20万字上下文

2023-10-10 14:11 · 稿源: 站长之家用户

        2023 年 10 月 9 日,成立仅半年的大模型初创公司 —— Moonshot AI宣布在“长文本”领域实现了突破,推出了首 个支持输入20万汉字的智能助手产品Kimi Chat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度,标志着Moonshot AI在这一重要技术上取得了领先水平。

       从技术上看,参数量决定了大模型支持多复杂的“计算”,而能够接收多少文本输入(即长文本技术)则决定了大模型有多大的“内存”,两者共同决定模型的应用效果。支持更长的上下文意味着大模型拥有更大的“内存”,从而使得大模型的应用更加深入和广泛:比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等,都可以在超长文本技术的加持下,成为我们工作和生活的一部分。

       相比当前市面上以英文为基础训练的大模型服务,Kimi Chat具备较强的多语言能力。例如,Kimi Chat在中文上具备显著优势,实际使用效果能够支持约 20 万汉字的上下文,2.5倍于Anthropic公司的Claude-100k(实测约8万字),8倍于OpenAI公司的GPT-4-32k(实测约2.5万字)。同时,Kimi Chat通过创新的网络结构和工程优化,在千亿参数下实现了无损的长程注意力机制,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。

       目前,Moonshot AI 的智能助手产品Kimi Chat已开放了内测。

       大模型输入长度受限带来的应用困境

       当前大模型输入长度普遍较低的现状对其技术落地产生了极大制约,例如:

       目前大火的虚拟角色场景中,由于长文本能力不足,虚拟角色会轻易忘记重要信息,例如在Character AI的社区中用户经常抱怨“因为角色在多轮对话后忘记了自己的身份,所以不得不重新开启新的对话”。

       对于大模型开发者来说,输入prompt长度的限制约束了大模型应用的场景和能力的发挥,比如基于大模型开发剧本杀类游戏时,往往需要将数万字甚至超过十万字的剧情设定以及游戏规则作为prompt加入应用,如果模型输入长度不够,则只能削减规则和设定,从而无法达到预期游戏效果。

       在另一个大模型应用的主要方向——Agent中,由于Agent运行需要自动进行多轮规划和决策,且每次行动都需要参考历史记忆信息才能完成,这会带来了模型输入的快速增加,同时也意味着不能处理更长上下文的模型将因为无法全面准确的基于历史信息进行新的规划和决策从而降低Agent运行成功的概率。

       在使用大模型作为工作助理完成任务的过程中,几乎每个深度用户都遇到过输入长度超出限制的情况。尤其是律师、分析师、咨询师等职业的用户,由于常常需要分析处理较长的文本内容,使用大模型时受挫的情况发生频率极 高。

       而上述所有的问题在大模型拥有足够长的上下文输入后都将会迎刃而解。

       长文本打开大模型应用的新世界

       那么拥有超长上下文输入后的大模型会有怎样的表现?下面是一些Kimi Chat实际使用的例子:

       公众号的长文直接交给Kimi Chat ,让它帮你快速总结分析

       新鲜出炉的英伟达财报,交给Kimi Chat,快速完成关键信息分析:

       出差发票太多?全部拖进Kimi Chat,快速整理成需要的信息:

       发现了新的算法论文时,Kimi Chat能够直接帮你根据论文复现代码:

       只需要一个网址,就可以在Kimi Chat中和自己喜欢的原神角色聊天:

       输入整本《月亮与六便士》,让Kimi Chat和你一起阅读,帮助你更好的理解和运用书本中的知识:

       通过上述例子,我们可以看到,当模型可以处理的上下文变得更长后,大模型的能力能够覆盖到更多使用场景,真正在人们的工作、生活、学习中发挥作用,而且由于可以直接基于全文理解进行问答和信息处理,大模型生成的“幻觉”问题也可以得到很大程度的解决。

       不走捷径,解决算法和工程的双重挑战

       长文本技术的开发,存在一些对效果损害很大的“捷径”,主要包含以下几个方面:

       “金鱼”模型,特点是容易“健忘”。通过滑动窗口等方式主动抛弃上文,只保留对最 新输入的注意力机制。模型无法对全文进行完整理解,无法处理跨文档的比较和长文本的综合理解(例如,无法从一篇 10 万字的用户访谈录音转写中提取最有价值的 10 个观点)。

       “蜜蜂”模型,特点是只关注局部,忽略整体。通过对上下文的降采样或者RAG(检索增强的生成),只保留对部分输入的注意力机制。模型同样无法对全文进行完整理解(例如,无法从 50 个简历中对候选人的画像进行归纳和总结)。

       “蝌蚪”模型,特点是模型能力尚未发育完整。通过减少参数量(例如减少到百亿参数)来提升上下文长度,这种方法会降低模型本身的能力,虽然能支持更长上下文,但是大量任务无法胜任。

       简单的捷径无法达到理想的产品化效果。为了真正做出可用、好用的产品,就不能走虚假的捷径,而应直面挑战。

       训练层面,想训练得到一个支持足够长上下文能力的模型,不可避免地要面对如下困难:

       如何让模型能在几十万的上下文窗口中,准确的 Attend 到所需要的内容,不降低其原有的基础能力?已有的类似滑动窗口和长度外推等技术对模型性能的损害比较大,在很多场景下无法实现真正的上下文。

       在千亿参数级别训练长上下文模型,带来了更高的算力需求和极严重的显存压力,传统的 3D 并行方案已经难以无法满足训练需求。

       缺乏充足的高质量长序列数据,如何提供更多的有效数据给模型训练?

       推理层面,在获得了支持超长上下文的模型后,如何让模型能服务众多用户,同样要面临艰巨挑战:

       Transformer模型中自注意力机制(Self Attention)的计算量会随着上下文长度的增加呈平方级增长,比如上下文增加 32 倍时,计算量实际会增长 1000 倍,这意味着如果只是用朴素的方式实现,用户需要等待极其长的时间才能获得反馈。

       超长上下文导致显存需求进一步增长:以 1750 亿参数的 GPT- 3 为例,目前最 高单机配置( 80 GiB * 8 )最多只能支持 64k 上下文长度的推理,超长文本对显存的要求可见一斑。

       极大的显存带宽压力:英伟达A800 或 H800 的显存带宽高达 2-3 TiB/s,但面对如此长的上下文,朴素方法的生成速度只能达到 2~5 tokens/s,使用的体验极其卡顿。

       Moonshot AI的技术团队进行了极 致的算法和工程优化,克服上述困难完成了大内存模型的产品化,发布了支持 20 万字输入的千亿参数LLM产品。

       “登月计划”第 一步:欢迎来到 Long LLM 时代

       Moonshot AI创始人杨植麟此前在接受采访时曾表示,无论是文字、语音还是视频,对海量数据的无损压缩可以实现高程度的智能。

       无损压缩的进展曾极度依赖「参数为王」模式,该模式下压缩比直接与参数量相关,这极大增加了模型的训练成本和应用门槛,而Moonshot AI认为:大模型的能力上限(即无损压缩比)是由单步能力和执行的步骤数共同决定的。单步能力与参数量正相关,而执行步骤数即上下文长度。

       Moonshot AI相信,更长的上下文长度可以为大模型应用带来全新的篇章,促使大模型从 LLM时代进入Long LLM (LLLM)时代:

       每个人都可以拥有一个具备终身记忆的虚拟伴侣,它可以在生命的长河中记住与你交互的所有细节,建立长期的情感连接。

       每个人都可以拥有一个在工作环境与你共生(co-inhabit)的助手,它知晓公域( 互联网)和私域(企业内部文档)的所有知识,并基于此帮助你完成OKR。

       每个人都可以拥有一个无所不知的学习向导,不仅能够准确的给你提供知识,更能够引导你跨越学科间的壁垒,更加自由的探索与创新。

       当然,更长的上下文长度只是Moonshot AI在下一代大模型技术上迈出的第 一步。Moonshot AI计划凭借该领域的领先技术,加速大模型技术的创新和应用落地。

       登月计划的伙伴说:

       Monolith砺思资本专注于新一代数字产业和科技智造领域的投资,是Moonshot AI第 一轮融资的 3 家投资机构之一,并一直以实际行动支持着公司发展。砺思资本创始合伙人曹曦表示,杨植麟是全球大模型领域里最被认可的华人技术专家,其团队在人工智能技术,特别是大语言模型LLM领域拥有深厚的技术积累,并已在国际上获得了广泛认可。眼下,美国硅谷的OpenAI和Anthropic等公司获得了多方关注,实际上在国内,拥有足够多技术储备的Moonshot AI也正成长为全球领先的AGI初创公司。多模态大模型是各家AI厂商竞争的关键领域,其中长文本输入技术更是其核心技术之一,Moonshot AI团队最 新发布的大模型和Kimi Chat在这方面实现了重要突破,并已成功应用于多个实际场景。砺思将继续加码并支持Moonshot AI团队在AGI领域大胆创新和技术突破,引领中国人工智能技术的未来发展。

       真格基金合伙人戴雨森对公司的发展表达了肯定和期许:“我们认为近期AI应用的爆火只是一场革命的序幕,AI技术要想真正改变世界创造巨大价值,在智能程度上还需要大的突破,这需要具备顶 级技术能力的团队,以坚持追寻Moonshot的勇气,持续挑战智能提升的边界。杨植麟作为XLNet等多项知名科研工作的第 一作者,具备非常丰富的科研和实践经验,多年来他一直坚信通过大模型实现对高维数据的压缩是人工智能发展的必经之路,也团结了一支人才密度超高,配合默契,又充满挑战巨头摇滚精神的创业团队。真格基金非常荣幸能够再次从天使轮开始支持杨植麟的新征程。”

       关于 Moonshot AI

       Moonshot AI 创立于 2023 年 3 月,致力于寻求将能源转化为智能的优解,通过产品与用户共创智能。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发,多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。Moonshot AI 融资超 2 亿美元。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • AI Detector:检测AI生成的内容

    AI Detector是一个在线工具,使用先进的算法和机器学习来检测文本是否由AI生成。它可以分析写作风格和句子结构,判断内容是否由ChatGPT、GPT 4、Bard、Claude或人类创作。您可以免费使用AI Detector,每次最多检测1000个字,并获得95%的准确率。

  • WitChat:AI支持的最佳客户服务系统

    WitChat是一款具有AI集成的客户服务系统。我们的软件通过文本、手机、电话、电子邮件、聊天和社交媒体等多种渠道增强客户互动体验。

  • editoReview.com:基于AI的论文和应用界面的同行评审

    editoReview是一个为学术编辑和营销代理提供咨询服务的平台,旨在评估研究文章或服务插件API在AI界面上的可搜索性和可用性。用户可以通过AI聊天记录或模板文档开始新的评审,引用参考文献或应用程序以与作者或开发者安排会议,支付咨询费用,并发布可共享的评审记录。editoReview通过智能搜索和智能使用的方式帮助编辑和营销人员明确论文或服务插件在界面上的可行性,并在arXiv文献和Zapier市场的其他论文和应用上进行了整合。

  • Draph Art:AI生成的背景去除和高质量产品图片

    Draph Art是一款能够自动生成背景去除、道具、光照、阴影和模特等所有元素的AI产品。无需专业技术,任何人都可以制作出吸引人的产品图片。通过Draph Art,您可以使用相关的产品照片来吸引顾客的注意力。从一张原始照片到多种主题的产品照片,只需告诉我们您想要的主题,AI将分析上传照片的背景氛围和颜色,然后为所选择的主题生成多张照片。

  • 百度文库-智能漫画·智能画本:一站式智能漫画创作工具,从创意到作品一键实现

    百度文库推出的智能漫画创作工具,具有以下优势:1.一站式创作流程,从创意到成品无缝衔接。2.多种漫画风格可选,如韩系卡通、浪漫厚涂等。3.人物形象、表情、场景等描绘精细生动,媲美漫画家水准。4.内置智能编辑器,可对细节进行精修。5.无需专业绘画技能,有创意即可创作。6.目前处于公测阶段,可关注公众号预约体验。

  • 星辰语义大模型-TeleChat:星辰语义大模型,智能对话助手

    TeleChat是由中电信人工智能科技有限公司研发的星辰语义大模型,具备强大的对话生成能力,支持多轮对话,适用于多种场景的智能问答和内容生成。模型经过大量高质量中英文语料训练,具备优秀的通用问答、知识类、代码类、数学类问答能力。

  • Live2D Virtual Human for Chatting based on Unity:基于Unity的Live2D虚拟人实时聊天系统

    AI女友是一款基于Unity开发的Live2D虚拟人实时聊天系统,它利用Live2D技术提供动态的虚拟人形象,结合Unity的实时渲染功能,实现与用户的动态交互和聊天。主要功能包括Live2D虚拟人形象集成、实时聊天、图像处理和人脸检测,支持高清分辨率显示,并且可自定义和扩展。

  • School AI:个性化AI学习助手,提升学习效率

    School AI是一个专为K12学生设计的AI平台,提供个性化学习体验和即时反馈,支持多语言环境,帮助学生以母语进行互动,增强教育的普遍性和包容性。平台对教师免费开放,内置监控和控制工具,帮助教育工作者设计更好、更个性化的课堂体验。

  • MetaAI:使用 Meta AI 助手完成任务、创建免费 AI 生成图像和获取任何问题的答案

    Meta AI 是一款功能强大的 AI 助理,建立在 Meta 的先进 AI 技术之上。它可以帮助您完成各种任务,如创建备忘单、润色电子邮件写作、回答问题等。同时它还具有图像生成功能,可以根据您的文字描述生成相应的图像。Meta AI 免费使用,致力于为用户提供高效、智能、多功能的 AI 体验。

  • Meta Llama 3:Meta 新一代开源大型语言模型,性能卓越

    Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

  • HuggingChat App:连接先进AI与用户的革命性平台

    HuggingChat是一款iOS应用程序,旨在促进用户与多家提供商(如Mistral AI、Meta和Google)的多个顶尖大型语言模型之间的无缝沟通。它可以满足多种场景需求:激发创意,提供专家指导,促进教育与自我提升,提高工作效率,快速响应日常问题等。作为变革性AI技术的先锋采用者,HuggingChat将让您体验与先进大语言模型对话的无限可能。

  • SpeedLegal:个人AI合同谈判助手

    SpeedLegal是一个利用机器学习技术(特别是深度学习、大型语言模型和通用AI)来突出合同中的条款和关键风险的技术初创公司。我们分析您的文档并发送给您一个简化的报告,以便您在签名前做出更明智的决策。

  • FCK.School:AI写作工具

    FCK.School是一个为学生提供AI写作工具的在线平台。它可以帮助学生改善写作技巧,提升学术表现。通过FCK.School的AI驱动工具,学生可以进行文本改写、文摘、语法纠错等操作,还能生成各种写作素材,如标题、论点、大纲等。FCK.School提供免费工具以供试用,同时还有付费订阅计划。

  • CompliantChatGPT:AI医疗助手,HIPAA合规

    CompliantChatGPT是一款专为医疗保健行业设计的AI助手,它通过HIPAA合规的方式,帮助医疗工作者安全、高效地处理医疗相关任务。产品具备以下特点: - 保护患者数据安全,通过令牌化技术确保个人健康信息(PHI)的安全。 - 提供个性化的医疗模式,包括血液分析、PHI匿名化、诊断和治疗规划等。 - 用户友好的界面设计,支持语音到文本的笔记功能,便于记录和回顾。 - 定价策略灵活,提供免费试用,以及多种付费套餐选择。 - 适用于医疗提供者、专业人士、医疗机构、研究中心和健康科技初创企业。

  • Healax:AI驱动的心理健康解决方案

    Healax是一款创新的AI驱动的心理健康解决方案,专为学生设计,帮助他们主动应对日常生活中的压力和焦虑。该产品通过建立学生、行政人员和提供者之间的信任沟通渠道,提供定制化活动和内容,以促进更全面的教育体验。

  • Snowflake Arctic Embed:开源的先进文本嵌入模型

    Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型,专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能,为组织在结合专有数据集与大型语言模型(LLMs)进行检索增强生成(RAG)或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型(xs)到大型(l),具有不同的上下文窗口和参数数量,以满足不同企业的延迟、成本和检索性能需求。

  • DuerOS X:全球首个AI原生操作系统

    DuerOS X是小度基于百度文心大模型推出的全球首个AI原生操作系统。它彻底颠覆了传统的人适应系统的模式,实现了端到端连接用户的意图与任务,极大地拓展了操作系统的边界。DuerOS X全面应用了文心大模型,通过模型路由架构,能够灵活调度不同的文心模型去解决不同难度的问题,更高效、更精准、更经济。个性化长短记忆的存储、提取和理解能力,使得DuerOS X能够更清楚地记住历史内容与用户个性化偏好。此外,多模态感知技术的应用,让DuerOS X产生更丰富的感知力,无论是通过语音、文字还是表情与小度沟通,都能准确地理解用户的意图,并给出恰当的回应。

  • abab 6.5:万亿参数MoE文本大模型

    abab 6.5系列包含两个模型:abab 6.5和abab 6.5s,均支持200k tokens的上下文长度。abab 6.5包含万亿参数,而abab 6.5s则更高效,能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色,接近行业领先水平。

  • mistral-common:Mistral模型工具集

    mistral-common是一套帮助您处理Mistral模型的工具。它不仅包含文本到token的转换,还增加了工具解析和结构化对话。目前发布了三个版本的tokenizer,分别适用于不同的模型集合。

  • AI Grammar Checker & Paraphraser – LanguageTool:提供语法检查和改写的工具

    AI语法检查与改写工具- LanguageTool是一款免费的语法检查工具,可以检测文本中的语法错误并提供改写建议。它能够检测出拼写错误、语法问题、常见词汇混淆和标点符号错误,并提供改写建议、同义词替换和简洁句子重写。该工具适用于多种语言,支持多个平台和应用场景,如社交媒体、电子邮件和网页。

今日大家都在搜的词: