首页 > 业界 > 关键词  > FP8最新资讯  > 正文

用FP8训练大模型有多香?微软:比BF16快64%,省42%内存

2023-11-02 14:13 · 稿源: 机器之心公众号

低精度训练是大模型训练中扩展模型大小,节约训练成本的最关键技术之一。相比于当前的16位和32位浮点混合精度训练,使用 FP88位浮点混合精度训练能带来2倍的速度提升,节省50% -75% 的显存和50% -75% 的通信成本,而且英伟达最新一代卡皇 H100自带良好的 FP8硬件支持。但目前业界大

......

本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 美股4万亿美元市值上市公司已达3家 苹果、微软、英伟达组成三巨头

    10月28日,苹果与微软股价同步上涨,双双突破4万亿美元市值大关,与超4.6万亿美元的英伟达共同构成全球市值最高的“三巨头”格局。微软因与OpenAI资本重组推动股价涨超3%,持有后者价值1350亿美元股权;苹果则凭借新一代iPhone强劲需求实现股价逆袭,年内首度由跌转升。英伟达仍以最高市值稳居全球第一,凸显全球科技产业对算力需求的爆发式增长。

  • iPad mini 8外观巨变:去掉扬声器开孔

    iPad mini 8将采用全新设计,去掉扬声器开孔并提升防水性能,同时苹果也在为iPad mini 8研发一套新的扬声器系统。 据悉,iPad mini 8可能采用屏幕激励器方案,通过驱动屏幕振动来发出声音,其原理是将振动机械能直接传输到屏幕,然后让屏幕代替传统扬声器振膜发声。 具体来说,它是通过在机身内部的微驱动单元(激励器)来激励中框 ,从而带动屏幕振动发声。

  • iPhone 18 Pro迎双重升级:主摄和长焦脱胎换骨

    iPhone 18 Pro系列影像将迎来双重升级。 首先是主摄,爆料称iPhone 18 Pro系列主摄支持可变光圈,这将是苹果史上第一款支持可变光圈的机型。 据悉,可变光圈技术是通过物理调节镜头光圈大小来控制相机传感器的进光量。在暗光环境下,光圈开大能接收更多光线;在明亮场景中,光圈缩小防止过度曝光。这项技术的核心优势在于让用户能够像使用专业相机一样,自主选择光圈�

  • AI日报:腾讯发布全新ima2.0;微软发布 Copilot 一系列重磅更新;阿里夸克AI眼镜开启预售

    本文汇总近期AI领域重要动态:月之暗面再获数亿美元融资,显示资本对国产大模型的信心;Anthropic为Claude推出记忆功能,兼顾个性化与隐私保护;中科大与字节发布MoGA长视频生成模型,实现分钟级高质量生成;腾讯ima2.0升级任务模式,可自主拆解复杂流程;阿里夸克AI眼镜开启预售,融合拍摄与智能功能;微软Copilot新增群聊、记忆与Edge AI模式;Opera推出深度研究代理ODRA提升�

  • 迅雷会员双11大促:SVIP年卡低至2.8折享多重权益

    迅雷会员“双11狂欢大促”火热开启,推出SVIP年卡与双年卡套餐:年卡低至2.8折,169元享15个月超级会员及3项额外权益;双年卡318元得30个月会员及4项权益。开通后可解锁迅雷三大产品40+项特权,覆盖下载加速、网页浏览、视频观看等场景。活动限时,每账号限购一次,旨在以高性价比提升用户体验。

  • 华为nova Flip S小折叠开售:首发3388元起

    华为nova Flip S折叠屏手机10月24日开售,官方指导价3488元起,叠加首发优惠后实际到手价3388元,成为华为目前最便宜的折叠屏手机。该机延续nova Flip外观设计,新增天青蓝、羽砂黑两款配色,预装鸿蒙OS5.1系统。外屏采用2.14英寸1:1方形设计,支持多种趣味功能;内屏为6.94英寸OLED屏,支持1-120Hz LTPO自适应刷新率。采用玄武水滴铰链系统,获SGS 120万次折叠认证。内置4400mAh电池,支持66W快充,后置5000万+800万像素双摄组合。

  • REDMI K90 Pro Max整机通过IP68测试 后置扬声器具备两层防护

    Redmi K90系列在官方问答中回应了用户关注的扬声器防尘问题。K90 Pro+Max采用双层防护:外层金属防尘罩阻挡大颗粒灰尘,内层防尘网过滤微小颗粒,并通过IP68防尘防水测试确保密封性。用户可通过语音指令"扬声器清灰"自动清理,或前往售后进行深度清洁。此外,相机功能全面升级:全系支持超级月亮模式,自动识别月亮并优化细节;水印功能新增多款模板,支持自定义位置、边框等参数,可在相机顶部菜单中开启编辑。

  • iPhone 18系列或将首发自研基带C2

    苹果计划在明年推出自研基带C2,采用台积电4nm工艺,由iPhone 18系列首发,取代高通方案,实现更自主的通信技术。今年iPhone 16已首发C1基带,支持5G,赢得市场关注。C2将支持5G毫米波技术,提升网络体验。随着苹果自研基带逐步上线,高通在苹果调制解调器市场份额预计到2026年降至20%,对其市场地位产生重大影响。此外,iPhone 18还将首发台积电2nm工艺的A20芯片,标志iPhone进入2nm时代,带来更优性能与能效。

  • 告别8GB时代!iPhone 18将升级为12GB内存:苹果已提前采购

    今年9月苹果发布的四款iPhone中,有三款均搭载12GB内存,仅iPhone 17标准版配备8GB内存。 韩国最新一份报告指出,iPhone 18标准版内存将提升至12GB,不过消费者需等到2027年上半年才能入手这款手机。 据媒体报道,苹果已开始从三星采购LPDDR5X内存,此举旨在保障iPhone 18系列的内存供应,避免人工智能企业的需求压力影响到苹果,消息称苹果已向三星预购1300万套LPDDR5X内存。 苹果�

  • 华为nova Flip S小折叠手机开启预售:3488元起

    华为10月17日发布新款小折叠手机nova Flip S,起售价3488元,成为品牌最便宜小折叠机型。配备2.14英寸方形外屏,支持丰富主题及高频应用快捷操作;内屏为6.9英寸大屏,支持1-120Hz LTPO自适应刷新率。采用玄水滴铰链系统,获瑞士SGS 20万次折叠认证。内置4400mAh电池,支持66W快充。后置双摄包括5000万像素主摄和800万超广角,前置3200万像素。搭载HarmonyOS 5.1系统,厚6.88mm、重195g,提供六种配色。256GB版3488元,512GB版3788元,以高性价比切入小折叠市场。

今日大家都在搜的词: