首页 > 业界 > 关键词  > Scaling法则最新资讯  > 正文

Ilya认错,Scaling Law崩了?自曝SSI秘密技术路线取代OpenAI

2024-11-12 22:41 · 稿源: 新智元公众号

Ilya终于承认,自己关于Scaling的说法错了!现在训练模型已经不是「越大越好」,而是找出Scaling的对象究竟应该是什么。他自曝,SSI在用全新方法扩展预训练。而各方巨头改变训练范式后,英伟达GPU的垄断地位或许也要打破了。昨天,The Information爆料,传统的大模型Scaling Law已经

......

本文由站长之家合作伙伴自媒体作者“新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 清华团队破解具身智能Scaling Law,GPT时刻在即!宁德时代联创终于出手

    半年两次大融资后,这家具身智能黑马再次获得融资!作为柏睿资本首次投资的具身智能企业,千寻智能不仅拥有出身自伯克利系联创,在技术、硬件、商业化上,也让人极有信心。我们意外发现,具身智能领域的明星初创公司千寻智能,悄悄完成了工商变更。具身智能这盘大棋,接下来就看千寻智能如何交卷了。

  • Scaling Law或将终结?哈佛MIT预警:低精度量化已无可走,重磅研究掀翻AI圈

    就连「量化」也不管用,scalinglaw真的要终结了吗?一提scalinglaw,人们重点关注的是参数规模、数据量等因素,却忽视了「精度」这一关键变量。哈佛斯坦福MIT等机构研究人员竟发现,低精度训练会降低模型的「有效参数量」!对此,他们提出了「精度感知」scalinglaw。他的研究旨在通过对简单建模变化的深入实证调查来改进LLM。

  • 续命Scaling Law?世界模型GPT-4o让智能体超级规划,OSU华人一作

    ScalingLaw又能续命了?如何通过语言智能体的高级规划来Scaling推理时计算?答案就是——使用LLM作为世界模型。使用GPT-4o来预测网站上操作的结果,可以提供强大的性能,同时还能提高安全性和效率。其他还有多模态,基础、规划与推理,合成数据和智能体安全。

  • 甲子光年对话RockAI刘凡平:以群体智能挑战OpenAI的造神之

    相比于单体智能,群体智能才是智能的本质。作者|甲小姐田思奇‍‍‍ChatGPT呼啸来的近两年,市场的大共识是AI即未来。我们相信基础层的创新能对应用层和未来的市场价值带来巨大的改变,所以我们愿意去做一家创新的科技企业。

  • OpenAI变深,百度变宽

    距离ChatGPT发布整整两年后,中美两地的大模型代表厂商,仍在完善模型产品功能和使用体验上不断发力:11月初,OpenAI在ChatGPT中上线了AI搜索;11月中旬,百度则推出了一系列智能体应用,尝试构建AI应用生态。行业领头羊的不同思考,得以让外界一窥它们在大模型领域的共识和分歧。当用的人逐渐变多,李彦宏口中“智能体即将迎来爆发点”的判断,才有望越早到来。

  • 炸裂!OpenAI的Sora惨遭泄露,有人用上了!

    OpenAI的王牌文生视频模型,全球用户最期待的生成式AI应用——Sora,被人在huggingface上恶意泄露了API,使其短暂的开放了1小时左右。即便是如此短的时间,也有人通过Sora生成了大量视频,整体效果非常惊艳。生成我的世界游戏视角视频一只猴子正在玩拼图魔方期待Sora正式公测的到来,让我们见到更多惊艳的视频,改变影视行业的制作流程。

  • 不做Sora背后:百度的多模态路线是什么?

    当ChatGPT掀起国内“百模大战”,百度率先交卷文心一言。Sora再掀视频生成风潮,却传出李彦宏内部讲话“Sora无论多么火,百度都不去做”。大量的行业应用所产生的数据,又能为AGI的发展提供丰富的养分,形成良性循环,推动数据飞轮的高速运转,从加快我们迈向AGI的步伐。

  • 佛山一小区附近每晚都下鸟屎雨:系家燕、有固定迁徙路线

    屎淋到头”并不是句玩笑话始作俑者可能就是一群家燕。街坊反映在佛山乐从金威郦都小区附近,每晚都有大量鸟飞过,会下起鸟屎雨”,路人被迫中奖”,车辆和路面都是鸟粪,小区物管负责人王经理称,大概有上万只用烟花处理了一下,但还是没有太大效果。因此尽量避免将爱车露天停放在鸟类活跃的地方,如果发现车上有鸟粪等,需要尽快进行使用清水、湿纸巾等进行清洁。

  • 因算力瓶颈难产!OpenAI:今年将不会发布GPT-5

    据报道,OpenAI的首席执行官SamAltman近期透露,公司的创新能力正面临计算能力瓶颈的挑战,这一限制导致新产品推出的节奏未能如预期般迅速。针对市场广泛关注的下一代大型AI模型GPT-5,Altman已明确表态,OpenAI今年将不会推出该模型,但计划在年内稍后时间带来一些极为出色的新版本”,以缓解外界的期待。即便是对GPT-5等未来大型AI模型持乐观态度的观察家,也对其核心推理能力能否实现质的飞跃抱有谨慎态度,认为这仍是一个待解的未知数。

  • ChatGPT两岁,OpenAI 10亿用户计划曝光!

    【新智元导读】ChatGPT已经2岁了!OpenAI下一个目标瞄准十亿用户,预计明年放出AI智能体产品。就在生日这天,马斯克还送上了大礼:阻止OpenAI全面盈利的一份诉状书。随着人工智能变得更加自主和独立,它将变得更加神奇。

热文

  • 3 天
  • 7天