首页 > 业界 > 关键词  > FP8最新资讯  > 正文

用FP8训练大模型有多香?微软:比BF16快64%,省42%内存

2023-11-02 14:13 · 稿源: 机器之心公众号

低精度训练是大模型训练中扩展模型大小,节约训练成本的最关键技术之一。相比于当前的16位和32位浮点混合精度训练,使用 FP88位浮点混合精度训练能带来2倍的速度提升,节省50% -75% 的显存和50% -75% 的通信成本,而且英伟达最新一代卡皇 H100自带良好的 FP8硬件支持。但目前业界大

......

本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

(举报)

  • 相关推荐
  • 从 Windows 到信创生态,AiPy 上架微软应用商店完成全平台拼图

    知道创宇旗下AI桌面助手AiPy Pro(爱派)11月9日正式上架微软应用商店,Windows用户搜索“AiPy”即可下载安装,无需手动配置环境。该产品主打任务执行与结果交付,支持数据分析、办公自动化、网页采集、自然语言编程及量化研究等场景,并同步升级至2.1.1版本,优化长上下文处理与多模型兼容。目前AiPy已覆盖Windows、macOS及麒麟、统信UOS等国产系统,进一步完善多平台生态布局。

  • LG推出TONE Free FP9/FP8两款TWS耳机:提供多项独特体验

    虽然宣布放弃智能手机业务,但是 LG 并未完全离开移动数码世界。近日,LG 推出了 TONE Free FP9 和 TONE Free FP8 两款 TWS 无线耳机,拥有你可能在其他 TWS 耳机中无法获得的功能和体验。在官方宣传中,LG 表示这两款耳机配备了 Meridian Audio 空间处理技术,这是首次在 TONE Free 系列耳机中装备,承诺提供寻常耳塞中无法提供的环绕声体验。此外这两款耳机配有主动降噪功能,每个耳机里面含有 3 个麦克风。在两款新产品中主打的

  • 伏特物联FP82B0,场景化智能应用,加速智慧零售创新

    智能零售是第三次零售革命。第一次和第二次分别是实体零售和虚拟零售此次的第三次零售革命正由中国引领,就是我们现在正在经历的虚实结合智能零售。是一款极具性价比的嵌入式工控机。

  • LG推出Tone Free DFP8W真无线ANC耳机:售180欧元

    尽管 LG 已经淡出智能手机市场,但该公司并未完全放弃消费电子产品线,比如本文介绍的 LG Tone Free DFP8W 真无线耳机。其特点是支持主动降噪(ANC)、长达 24 小时的电池续航,以及可清洁硅胶耳垫和网罩的 UVnano 充电收纳盒。除了携手 Meridian Audio 研发的 8mm 动态驱动单元,该耳机还配备了三个麦克风,其中两个专用于通话,剩余那个则用于 ANC 降噪。LG Tone Free DFP8W 真无线耳机支持蓝牙 5.2 连接,可与多达 5 个设备进行

  • CSS FP50宣布启动新成员招募,发掘安全未来力量

    6月10日下午,在互联网安全领袖峰会(Cyber Security Summit,简称“CSS”)FP50安全新锐力量俱乐部沙龙上,FP50宣布启动新成员招募和行业优秀案例征集,并计划将征集成果凝练成《2019 FP50互联网安全解决方案白皮书》,于CSS 2019的FP50分论坛上发布。(图:CSS FP50安全新锐力量俱乐部沙龙现场)Future Power50安全新锐力量俱乐部由知道创宇与腾讯安全联合发起。作为安全行业内企业、专家、资本的交流平台,依托腾讯安全开放共享

  • FP50横空出世,你可知安全行业的未来会变得怎样?

    2018年8月28日,一场安全界首创的奥斯卡颁奖礼——Future Power 50安全新锐力量分论坛(简称FP50)成功举办,这场由知道创宇和腾讯安全于第四届互联网安全领袖峰会(简称CSS)上联合主办的创新活动,通过汇集重要行业权威专家的意见,发掘推选了30家代表安全行业未来发展的新锐企业,并共同成立了FP50安全新锐力量俱乐部。FP50安全新锐力量合影到底什么是“FP50”?为什么要办这样的活动,甚至是给竞争对手捧场?FP50和行业中众多?

  • 英特尔预估Aurora超算具有超过2 ExaFlops的FP64性能

    作为英特尔2021创新活动的一部分,该公司简要介绍了正在为阿贡国家实验室建造的 Aurora 超级计算机。作为美国在建的两台百亿亿级超算中的第一台,我们终于知晓了 Aurora 处理器的一些关键细节,同时进一步收紧了对其性能的预估 —— 预计该系统的双精度计算性能将超过2ExaFlops 。

  • 恩美路演融资合伙人(FP)模式重建融资顾问行业未来

    FA在中国的前世今生 1998年中国互联网黄金时代拉开序幕,很多优秀的企业,受限于净利润、规模、曝光、信息不对称等因素很难对接上资本,当时国内投资市场也才刚起步;王冉为首的一批国际一流投行的精英敏锐的嗅到中国互联网对标的资本市场这个巨大无比的金矿,于是纷纷回国开疆拓土,借助他们在国际上深厚的人脉网络和灵活老道的财务运作手段,吸纳外资;国外新型投行的一块业务——FA财务顾问的概念也因此被带入了中国。FA(Financi

  • 产业升级召唤安全行业新担当,FP50聚力赢未来

    新锐力量锋芒初露,照亮安全未来之路。 7 月 31 日,第五届互联网安全领袖峰会(Cyber Security Summit,简称“CSS”) Future Power50 安全新锐力量专场(简称FP50)在北京举行,主题为“行业新担当,聚力赢未来”,希望能够带领更多的安全新锐成长力量在行业发展共识下找到成长的路径。在产业互联网对各行各业的数字化升级过程中,安全产业正在迎来前所未有的机遇。由腾讯安全与知道创宇联合发起的FP50 安全新锐力量专场也在 “?

  • 荐英伟达迷你超算遭友商嘲讽:宣传FP4算力,实际“不如买个游戏电脑”

    老黄在CES上发布的迷你超算ProjectDIGITS,开启了AI超算的PC时刻。但随即也引发了不小争议遭到了大佬的贴脸嘲讽。不过至少在目前看来,黄仁勋依然认为与联发科的合作是一个双赢的结果。

今日大家都在搜的词: