11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
令人失望的Llama4,只是前奏已。接下来我们恐将看到——全球局势的改变,将彻底阻止AI进步!最近,一位AICEO做出长视频,逐级对Llama4身上的六大疑点进行了扒皮。GaryMarcus正在寻找对开发更可靠替代方法有兴趣的投资者。
【新智元导读】DeepSeek新论文来了!在清华研究者共同发布的研究中,他们发现了奖励模型推理时Scaling的全新方法。DeepSeekR2,果然近了。他们用包含300个样本的降采样测试集测试了DeepSeek-R1,发现其性能甚至不如236BMoERFT模型,这表明延长推理任务的思维链并不能显著提升通用RM的性能。
蒸馏模型的性能可以量化估算了。知识蒸馏技术当前正被大模型领域广泛使用,它可以在大幅压缩模型体量的同时保持一定的性能、降低模型时延、提升模型精度,与此同时还能对知识域进行集成和迁移。正如监督扩展减轻了监督预训练中的风险一样,新工作为生产更小、更强大的模型提供了路线图,并增强了测试时扩展的可行性。
明天就是辞旧迎新的春节假期,咱来点不一样的——送上一份「年初展望」,站在2025年伊始,把AI科技领域不同领域的热点趋势,浅浅盘了一圈。从人型机器人、AI眼镜,从推理模型到AICoding……分别从产品侧和技术侧,把今年最有料的8个大热门趋势一网打尽,干货过年。若有挂一漏万之处请诸位海涵,也欢迎小伙伴们在评论区指出和探讨。
【新智元导读】来了来了,月之暗面首个「满血版o1」来了!这是除OpenAI之外,首次有多模态模型在数学和代码能力上达到了满血版o1的水平。AI大神Karpathy曾说过,「英文是最热门的编程语言」。k1.5已经带来了诸多惊喜真是有点期待下一代模型的到来。
ScalingLaw又能续命了?如何通过语言智能体的高级规划来Scaling推理时计算?答案就是——使用LLM作为世界模型。使用GPT-4o来预测网站上操作的结果,可以提供强大的性能,同时还能提高安全性和效率。其他还有多模态,基础、规划与推理,合成数据和智能体安全。
就连「量化」也不管用,scalinglaw真的要终结了吗?一提scalinglaw,人们重点关注的是参数规模、数据量等因素,却忽视了「精度」这一关键变量。哈佛斯坦福MIT等机构研究人员竟发现,低精度训练会降低模型的「有效参数量」!对此,他们提出了「精度感知」scalinglaw。他的研究旨在通过对简单建模变化的深入实证调查来改进LLM。
Ilya终于承认,自己关于Scaling的说法错了!现在训练模型已经不是「越大越好」是找出Scaling的对象究竟应该是什么。SSI在用全新方法扩展预训练。如果GPT的发展没有加速,是不是就意味着末日论者错了——AI不会进入所谓的递归自我改进循环,在这个循环中,AI会一次又一次地找出如何制造下一个更好版本的自己?对此,MarcAndreessen认为,这种明显的平台期意味着这样的恐惧目前看
半年两次大融资后,这家具身智能黑马再次获得融资!作为柏睿资本首次投资的具身智能企业,千寻智能不仅拥有出身自伯克利系联创,在技术、硬件、商业化上,也让人极有信心。我们意外发现,具身智能领域的明星初创公司千寻智能,悄悄完成了工商变更。具身智能这盘大棋,接下来就看千寻智能如何交卷了。
OpenAIo1的发布,再次给AI领域带来了一场地震。o1能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。从SambaNova的RDU开始,人工智能领域可能正在翻开全新的一页。