首页 > 业界 > 关键词  > Llama最新资讯  > 正文

不用4个H100!340亿参数Code Llama在Mac可跑,每秒20个token,代码生成最拿手|Karpathy转赞

2023-09-02 09:13 · 稿源: 新智元公众号

【新智元导读】现在,34B Code Llama模型已经能够在M2Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」。开源社区的一位开发者Georgi Gerganov发现,自己可以在M2Ultra上运行全F16精度的34B Code Llama模型,而且推理速度超过了20token/s。毕竟,M2U

......

本文由站长之家合作伙伴自媒体作者“新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

(举报)

  • 相关推荐
  • 国行iPad/Mac能用上AI了!iPadOS/macOS 27.3测试版上线Apple智能

    苹果今天凌晨正式推送了iPadOS 27.3与macOS 27.3第二个测试版中,将Apple智能的支持范围从iPhone扩展至国行iPad与Mac。 此前Apple智能国内功能随iOS 27.3首个Beta登陆iPhone,平板与笔记本版本首批未开放,上海网信办曾于11月9日表示苹果已完成将Apple智能引入平板和笔记本的注册。 国内开发者/用户更新至第二个iPadOS 27.3、macOS 27.3测试版后即可测试相关功能,支持机型涵盖搭载M系列Apple S

  • 苹果新款Mac开售 来京东Apple产品服务站可享受新品自提和数据迁移等服务

    11月6日,苹果首款触屏MacBook Pro、MacBook Pro M6、iMac M6和新iPad mini开售,京东同步。京东APP搜“Apple产品京东自营旗舰店”下单,可选附近服务站自提,享数据迁移、激活、AI装机等。11.11叠加国补、教育优惠、以旧换新、免息,至高省3700元;触屏MacBook Pro低至21499元,MacBook Pro M6低至15999元,iMac与iPad mini同享补贴。iPhone 18 Pro系列另享300元券,以旧换新至高补1200元。

  • 苹果首款触屏MacBook Pro正式开售:售价22999元起

    苹果首款触屏MacBook Pro今天正式开售,国行售价22999元起,提供14英寸和16英寸两种尺寸。 这是苹果第一次让MacBook Pro支持屏幕触控,打破了Mac笔记本长期不支持触控操作的传统。除了触控,新机还首次引入灵动岛设计,经典的发光苹果Logo也重新回归。 入门版本搭载M5Pro芯片,拥有15核CPU和16核GPU,标配24GB统一内存及1TB固态硬盘。新机还提供性能更强的M5Max芯片可选,最高支持12

  • 国行iPad/Mac能用上AI了!Apple智能备案新增平板、笔记本

    网信上海今天发布公告,根据《生成式人工智能服务管理暂行办法》相关要求,Apple智能”生成式人工智能服务新增苹果平板和苹果笔记本电脑两类场景。 快科技获悉,Apple智能于7月8日完成首次备案,备案编号为Shanghai-AppleZhiNeng-202506160057,7月15日由网信部门连同另外6款手机端侧生成式AI服务一并公告,当时覆盖的只有手机这一种场景。

  • 十年情结圆了!MacBook Pro发光Logo回归:只需一行代码就能关闭

    苹果在最新发布的MacBook Pro中正式恢复了标志性的发光Logo设计,这距离2016年该功能被取消已过去十年之久。 意想不到的是,苹果在发布硬件的同时,还罕见地发布了一份官方技术支持文档,详细说明了用户应如何通过系统终端彻底关闭这一发光功能。

  • 全新MacBook Pro发布!苹果CEO特努斯/高管回应为何加入触屏

    今天凌晨,苹果正式发布全新MacBook Pro,首次加入了触摸屏,引起不少讨论。 这是Mac产品线首次在标准笔记本形态中搭载原生触控屏,打破了苹果延续十余年的产品立场。 苹果CEO约翰特努斯表示,Mac的核心定位仍是以键盘和触控板为核心的间接输入设备,触屏仅作为特定场景下的便捷补充。 苹果始终坚持,加入触屏功能不能以牺牲产品形态为代价,不能让机身变得更厚更重

  • MacBook Pro加入触控屏!最高卖12万元 用不了苹果手写笔

    苹果公司在本周推出了首款搭载触控屏的MacBook Pro。这款新品的发布意味着苹果正式推翻了坚守近20年的产品理念。此前,苹果联合创始人史蒂夫乔布斯曾公开抨击触控Mac,称其在人体工程学上极为糟糕。 尽管支持触控操作,但苹果线上专家称,这款笔记本目前暂不支持Apple Pencil来代替手指,相关话题随即引发热议。也就是说,触控功能虽然已经落地,但苹果对触控笔的支持�

  • 苹果发布首款触控屏MacBook Pro:发光Logo时隔10年回归!

    今日,苹果正式发布首款触控屏MacBook Pro,国行起售价22999元,将于10月30日接受预购,11月6日(星期五)正式发售。 据了解,这是苹果首次为MacBook引入触控屏,打破了多年来Mac笔记本不支持触控操作的传统,用户可以直接在屏幕上滑动网页、缩放照片、拖拽文件等,带来更加直观的交互体验。

  • 12499元起!苹果M6版iMac开启预购:相比Intel机型最高提速18倍

    苹果M6版iMac开启预购,售价12499元起。这款台式一体机迎来M6芯片强势进驻,在速度、效率以及设备端AI表现上实现大幅跨越。 新款iMac延续轻薄抢眼的设计,提供蓝色、紫色、粉色、橙色、黄色、绿色、银色七种亮眼配色。 新款iMac的核心动力源于M6芯片。官方数据显示,得益于中央处理器速度提升,新机型相比原Intel版iMac机型最高提速至18倍,相比iMac M1机型最高提速至12倍。

  • 苹果全新iMac发布:搭载M6芯片 售价12499元起

    ​苹果今天正式发布全新iMac,搭载M6芯片,起售价12499元。预购从10月29日凌晨1点10分开始,11月6日正式发售。 外观延续纤薄的一体式设计,提供蓝色、绿色、粉色、黄色、紫色、橙色和银色七款配色,兼顾桌面空间利用和个性化选择。 屏幕为24英寸4.5K视网膜显示屏,分辨率4480×2520,亮度达到500尼特,支持P3广色域,可显示超过10亿种色彩。新机还提供纳米纹理玻璃选项,能�

今日大家都在搜的词: