首页 > 业界 > 关键词  > 正文

万卡训练史上参数模型!百度文心大模型4.0最快下周见

2023-10-09 15:25 · 稿源: 快科技

快科技10月9日消息,日前有媒体报道称,百度正加紧训练文心大模型4.0,已经接近可发布状态,这将是文心大模型3.5版本后,又一个重磅版本。

消息称,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。

根据我们获得的最新消息,上述消息基本属实。目前了解到,文心大模型4.0实际上已经在小流量测试。

根据我们拿到的消息,文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM,也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。

万卡集群什么概念?国内之前只有华为、阿里透露已建成万卡AI集群,但我们都没看到基于它推出的具体模型。万卡集群就不容易建了,如果用起来发挥最大化作用则更难了。

据分析,正是因为飞桨的深度联合,才能高效地基于万卡集群训练起如此规模的模型。

不仅训练成本在增加,文心4.0的推理成本比3.5增加很多,我们还没拿到具体每千token的推理成本,但据传大概是此前的8-10倍,这还是在高利用率(MFU)的情况下。如果利用率更低,估计成本还会继续增加。

不得不说,大模型真的很费钱。可见,打造领先的底层基础打模型,就是一场巨头的游戏。

根据IDC发布的首个大模型评估报告《AI大模型技术能力评估报告,2023》,百度文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型第一,行业覆盖第一,综合能力在众多国产大模型中遥遥领先

经过全面升级后,文心大模型4.0的训练速度、推理速度等将进一步提升,能否与GPT-4一战甚至超越后者的表现,我们拭目以待。

举报

  • 相关推荐
  • 大家在看
  • 百度文心大模型4.0正加紧训练 已接近可发布状态

    百度正在加速训练文心大模型4.0,并预计在10月17日的百度世界大会上发布。这个新版本的大模型是继文心大模型3.5之后的又一重要升级,将着重在基础模型上实现大提升。自全面开放以来,文心一言的App下载量猛增,甚至一度登上苹果AppStore免费应用榜的榜首,成为首个登顶应用商店榜首的中文AI原生应用。

  • 消息称百度文心大模型4.0正加紧训练 四大核心能力将提升

    凤凰网科技讯10月8日,据《科创板日报》援引消息人士消息,百度正在加紧训练文心大模型4.0,或将在10月17日百度世界大会上发布。文心大模型4.0的进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆四大核心能力都将提升,尤其在逻辑推理、代码和数学等方面提升最明显。在百度披露的一张测试图中,prompt为:“如果一个公司想要在他们的产品线中添加新的手表,以应对市场中的新趋势和客户的新需求,那么他们如何利用已有的数据和工具进行有效的商业分析,以确定这个新产品的商业潜力呢?”文心一言从市场调研、数据分析、目标客户分析、预测分析等方面给出了操作建议。

  • 百度放大招!消息称文心大模型4.0即将发布:理解、逻辑大提升

    目前,国内有多家科技大厂陆续发布自家大模型,被业内看作为AI大模型百模”大战已经打响。百度正加紧训练文心大模型4.0,预计将在10月17日的百度世界大会上发布,这将是文心大模型3.5版本后,又一个重磅版本。文心一言全面开放后App下载量猛增,一度登上苹果AppStore免费应用榜排行第一,成为首个登顶应用商店榜首的中文AI原生应用。

  • 国内首个“产业级”医疗大模型百度“灵医”发布:文心大模型加持

    目前,国内已有多家科技大厂扎堆发布自家大模型,被业内看作为AI大模型百模”大战已经打响。在各家大战的同时,百度日前正式发布了国内首个产业级”医疗大模型灵医大模型,这也是国内首个实现商业化落地的医疗大模型。技术底座方面,根据IDC发布《AI大模型技术能力评估报告,2023》,灵医大模型的技术底座百度文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型第一,行业覆盖第一。

  • 百度发布医疗大模型“灵医大模型

    9月19日,百度正式发布国内首个“产业级”医疗大模型——灵医大模型。百度正式宣布面向大健康上下游产业开放灵医大模型测评、试用,推动医疗行业的数字化和智能化进程。在辅助诊疗方面,灵医大模型可实现通过多轮对话了解病人病情,实时辅助医生确诊疾病,推荐治疗方案,提升就诊全流程的效率和体验,并成为患者的24小时“健康管家”,提供智能客服服务。

  • 百度文心一言软件著作权获批

    中国版权保护中心显示,9月13日,北京百度网讯科技有限公司“文心一言软件”著作权获登记批准,当前版本号为V1.0.0。8月31日,百度「文心一言APP」宣布向全社会全面开放。广大用户可以在应用商店下载“文心一言APP”或登陆“文心一言官网”体验。

  • 百度CIO李莹接棒小度 大模型或助力小度增长

    百度宣布百度集团副总裁、CIO李莹博士出任小度科技CEO。李莹于2004年加入百度,在多个核心业务IntegerField上获得丰富经验,任百度CIO期间,她运用AI优化内部流程。小度可望借助百度在AI方面的技术优势,在大模型加持下获得进一步发展。

  • 华为发布全新昇腾AI计算集群 支持超万亿参数大模型训练

    华为在全联接大会2023期间发布了全新架构的昇腾AI计算集群Atlas900SuperCluster,该集群可支持超万亿参数的大模型训练。该集群采用了全新的华为星河AI智算交换机CloudEngineXH16800,并使用了创新的超节点架构,大大提升了大模型训练能力。该集群还通过提升系统可靠性,将大模型训练的稳定性从天级提升到月级。

  • AI视野:文心大模型4.0将发布;Stability AI发布移动端语言模型Stable LM3B;OpenAI举办ChatGPT应用开发大赛;视觉中国、华为云携手打造视觉大模型

    百度正在加速训练文心大模型4.0,并计划在10月17日的百度世界大会上发布。这一新版本将是文心大模型3.5的重要升级,重点提升基础模型能力,尤其在逻辑推理、代码和数学等方面取得显著进展。GoogleDeepMind提出DRaFT算法以高效优化扩散模型GoogleDeepMind最新提出的DRaFT算法用于高效优化扩散模型,提高了文本到图像生成等实际应用的效率和性能,成为机器学习领域的有价值工具�

  • 兴科技发布百亿级参数多媒体大模型 “天幕”

    在近日的2023世界计算大会上,万兴科技宣布将发布国内首个以视频创意应用为核心的百亿级参数多媒体大模型“天幕”。“天幕”多媒体大模型将以视频、绘图、文档等数字创意软件业务场景为依托,为创作者提供更专业化的AI创新解决方案。这些产品通过集成大模型能力,实现了数字创意软件的升级和智能化。

  • ComfyUI-Hallo:一个定制的ComfyUI节点,用于Hallo模型。

    ComfyUI-Hallo是一个为Hallo模型定制的ComfyUI插件,它允许用户在命令行中使用ffmpeg,并从Hugging Face下载模型权重,或者手动下载并放置在指定目录。它为开发者提供了一个易于使用的界面来集成Hallo模型,从而增强了开发效率和用户体验。

  • AI Word Summarizer:AI驱动的文档摘要工具,快速生成文档摘要。

    AI Word Summarizer是一款利用高级人工智能技术快速生成Microsoft Word文档摘要的在线工具。它通过用户友好的在线界面,帮助用户节省时间,提高工作效率。该工具支持将DOCX/DOC格式的文档转换为文本,并在几秒钟内生成摘要。它还提供了与文档对话的功能,允许用户提出问题并获得即时的洞察和澄清。

  • AI Math GPT Solver Powered by GPT-4o:AI驱动的数学问题解决器

    AI Math GPT Solver是一个由GPT-4o提供动力的在线数学问题解决平台,它覆盖了代数、微积分和几何等数学领域,集成了微软数学求解器等领先技术,提供快速、准确的解决方案。该平台通过网页和移动应用程序提供免费、用户友好的服务,允许用户随时随地解决问题。

  • GPT4o.so:革命性AI技术,多模态智能互动

    GPT-4o是OpenAI的最新创新,代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能,包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性,革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色,提供流畅直观的AI互动,适合从学术研究到特定行业需求的多种应用。

  • 知闻AI:基于AI技术的新闻聚合平台

    知闻AI是一个利用人工智能技术为用户提供高质量新闻内容的新闻聚合平台。它通过分析大量新闻源,筛选出准确、及时的新闻,帮助用户获取有价值的信息。平台特点包括智能评估、多元视角、AI摘要等,以提高用户的阅读效率和信息获取质量。

  • MidJourney Sref Codes Library:探索和标记您喜爱的MidJourney Sref代码。

    MidJourney Sref Codes Library是一个在线资源网站,提供MidJourney平台上的高质量Sref代码集合。这些代码用于生成具有独特和一致风格的图像,为艺术家和创作者提供了实现特定视觉效果的强大工具。

  • Humanize.im:将AI文本转化为自然人类语言。

    Humanize.im是一个先进的AI文本人性化工具,旨在将AI生成的文本转化为更自然、更具吸引力的人类语言。它利用高级算法进行上下文分析和情感分析,确保文本在上下文和情感上适当且一致,同时增强可读性和相关性。该工具支持多语言,具有跨设备功能,并且注重数据安全。Humanize.im通过持续的反馈循环不断改进,以确保生成的文本与人工撰写的文本无异,有效绕过AI检测系统如GPTZero。

  • 免费在线转换文字为语音:将文本转换为逼真语音的在线工具

    该产品是一个先进的在线文字转语音工具,使用人工智能技术将文本转换为自然逼真的语音。它支持多种语言和语音风格,适用于广告、视频旁白、有声书制作等场景,增强了内容的可访问性和吸引力。产品背景信息显示,它为数字营销人员、内容创作者、有声书作者和教育工作者提供了极大的便利。

  • Kling AI:文本到视频的革命性生成模型

    Kling AI是由快手科技开发的文本到视频生成模型,能够根据文本提示生成高度逼真的视频。它具有高效的视频生成能力,长达2分钟的30帧每秒视频,以及3D时空联合注意机制和物理世界模拟等先进技术,使其在AI视频生成领域具有显著的竞争优势。

  • LocalhostAI:与Chrome和Gemini Nano无缝协作的AI助手。

    LocalhostAI是一款旨在提高用户生产力的AI助手应用。它与Chrome浏览器和Gemini Nano设备紧密集成,使用户能够利用先进的AI模型来提升工作效率。该产品的主要优势在于其内置的Chrome AI模型、支持离线使用、注重隐私保护、运行速度快且完全免费。

  • TravelTrail:智能旅行规划助手,轻松管理你的旅程。

    TravelTrail是一款旅行规划应用,通过人工智能技术帮助用户创建和组织旅行计划。它允许用户保存梦想目的地的列表,探索每个城市的详细信息,并根据个人喜好定制旅行体验。应用支持多语言,包括中文、英文等,为用户提供了便捷的旅行规划工具,无需担心语言障碍。

  • i18nlocale:AI驱动的多语言翻译工具,本地化且易于使用。

    Local + Effortless i18n Translation是一个AI驱动的翻译工具,支持200多种语言的本地化翻译,不接触服务器,与JSON格式无缝集成。它提供了一次性购买的可负担价格,并且提供免费试用,以帮助企业轻松实现多语言内容的本地化。

  • AI Content Mate:AI驱动的Figma插件,实现文本的智能替换。

    AI Content Mate是一个Figma插件,它通过AI技术帮助用户在设计中自动选择和替换文本。它能够理解文本的上下文,提供智能且相关的替代选项,同时允许用户添加自定义的注释和指南以确保生成的文本符合特定需求。这个插件提供了免费访问,通过Grok-cloud API密钥,用户可以享受AI驱动的文本转换功能,无需任何成本。

  • ReelGen:AI驱动的内容生成平台,轻松创造高质量播客和博客。

    ReelGen是一个利用先进人工智能技术的内容生成平台,旨在帮助用户轻松创建高质量的播客和博客文章。用户无需具备技术技能,通过ReelGen的用户友好界面,几分钟内即可开始创作。平台提供定制化服务,允许用户根据品牌的声音和风格调整内容,从音频质量到文本转语音的细节,确保内容与用户愿景相匹配。ReelGen专注于内容生产,让用户专注于创作,而将生产过程中的重活交给平台,从而在不牺牲质量的前提下,用更少的时间生产更多的内容。

  • AI Reveals:使用AI技术创造惊人的标志动画。

    AI Reveals是一个利用人工智能技术,帮助用户创建动态标志动画的在线工具。它通过用户上传的透明背景标志图片,自动生成具有吸引力的动画效果,增强品牌形象和市场竞争力。该技术的主要优点包括操作简便、效果多样、实时预览等,适合需要快速制作高质量动画的设计师和企业。

  • ChatGPT Folder Master:组织和保存重要ChatGPT对话的终极工具。

    ChatGPT Folder Master 是一款专为Chrome浏览器设计的插件,旨在帮助用户高效地组织和保存与ChatGPT的对话。它通过文件夹和子文件夹系统,让用户能够轻松地对对话进行分类和存档,确保重要信息不会丢失。产品界面友好,易于导航和使用,同时提供安全的本地存储,确保用户对话的隐私和安全。此外,该插件提供月度和终身订阅计划,满足不同用户的需求。

  • Thousand Brains Project:探索大脑智能的AI项目

    Thousand Brains Project是由Jeff Hawkins和Numenta公司发起,旨在通过理解大脑新皮层的工作原理来开发新型的人工智能系统。该项目基于Thousand Brains Theory of Intelligence,提出了与传统AI系统根本不同的大脑工作原理。项目的目标是构建一种高效且强大的智能系统,能够实现人类所具备的智能能力。Numenta公司开放了其研究资源,包括会议记录、代码开源,并建立了一个围绕其算法的大型社区。该项目得到了盖茨基金会等的资金支持,并鼓励全球研究人员参与或加入这一激动人心的项目。

  • Plansom:AI驱动的项目管理工作助手,提升效率。

    Plansom是一款AI驱动的项目管理应用程序,旨在通过简化复杂任务来实现运营卓越。它利用AI技术帮助用户快速创建详细的商业计划,智能分析并优先排序任务,提供AI辅助以解决复杂任务,并支持团队协作和实时跟踪团队进展。用户可以自定义策略模板,以确保组织内的一致性和效率。

  • Xterminal:更高效的开发工具,SSH/控制台/更多功能集成。

    Xterminal是一款集成了SSH、本地控制台、AI赋能命令提示等功能的高效开发工具,旨在为开发者提供更便捷的开发环境。它支持多种操作系统,包括Windows、macOS和Linux,拥有免安装版本和兼容旧版系统的版本,满足不同用户的需求。

  • NIPRGPT:美国空军推出的AI聊天机器人

    NIPRGPT是美国空军为现代化努力的一部分,由空军首席信息官与空军研究实验室合作,加速提供给守护者、空军人员、文职员工和承包商一个负责任地实验生成性人工智能(Generative AI)的平台,同时确保有适当的安全措施。这个平台允许用户进行类似人类的对话以完成各种任务,是一个在安全计算环境中可以回答问题和协助处理通信、背景文件和代码的CAI工具。

今日大家都在搜的词: