11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。这些差异可能是由于训练任务的变化造成的。
OpenAI突然发布了GPT-4o的迷你版本——GPT-4omini。这个模型替代了原来的GPT-3.5,作为免费模型在ChatGPT上提供。这是否会挑战更大、基于云的模型的主导地位还有待观察,但它无疑为AI在企业环境中的整合开辟了新的可能性。
近日,月之暗面宣布Kimi开放平台正式公测新技术——上下文缓存,该技术在API价格不变的前提下,可为开发者降低最高90%的长文本大模型使用成本,并且显著提升模型的响应速度。据了解,月之暗面是国内首家面向开发者推出上下文缓存技术的大模型公司。Kimi开放平台陆续上线了工具调用、PartialMode、上下文缓存等能力,持续帮助开发者高效打造更有想象力的AI应用。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、前百度高管景鲲创业AI搜索估值18亿推出首款产品Genspark作为前百度高管,景鲲创立了新公司MainFunc并推出首款产品Genspark,旨在通过AI技术提供优质搜索体验。参与者更倾向于使�
OpenAI出手再次惊艳世界,谷歌果然坐不住了。GPT-4o掀起的一片“AGI已至”的惊呼声中,刚刚,GoogleDeepMind首席执行官哈萨比斯亲自携谷歌版《Her》登场:同样能会还有,不仅能几乎没有延迟地和人类流畅交流,通过摄像头,这个名为ProjectAstra的AI助手甚至能直接帮忙读代码谷歌还祭出了自己的硬件优势,带来一波AR和大模型的梦幻联动。有关谷歌I/O的更多细节,可以戳:https://blog.go
腾讯开源了混元DiT图像生成模型,对英语和中文都有着精细的理解能力。Hunyuan-DiT能够进行多轮多模态对话,根据对话上下文生成并细化图像。它通过结合Transformer结构、文本编码和位置编码,以及训练一个多模态大型语言型,实现了对中英文的细粒度理解,并在图像生成等任务中取得了显著的效果。
大型语言模型往往会追求更长的「上下文窗口」,但由于微调成本高、长文本稀缺以及新token位置引入的灾难值等问题,目前模型的上下文窗口大多不超过128k个token最近,MicrosoftResearch的研究人员提出了一个新模型LongRoPE,首次将预训练LLM的上下文窗口扩展到了2048k个token,在256k的训练长度下只需要1000个微调步骤即可,同时还能保持原始短上下文窗口的性能。论文链接:https://arxiv
微软研究人员提出的LongRoPE方法首次将预训练的大型语言模型的上下文窗口扩展至2048k个token,实现了8倍的扩展同时保持原始短上下文窗口的性能无需进行架构变化和复杂微调。该方法的关键创新点包括通过高效搜索识别并利用了位置插值中的两种非均匀性,为微调提供更好的初始化,并在非微调情况下实现了8倍扩展;引入了渐进扩展策略,首先微调256k长度的LLM,然后在微调扩�
【新智元导读】模仿人类阅读过程,先分段摘要再回忆,谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能,有效上下文提升了3-20倍。基于Transformer的大语言模型具有很强的语言理解能力,但LLM一次能够读取的文本量仍然受到极大限制。还可以看到ReadAgentS大大优于ReadAgent-P,性能改进的代价是检索阶段的请求数量增加了六倍。
来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型,被称为LWM系列模型。这一模型采用了大量视频和书籍数据集,通过RingAttention技术实现了长序列的可扩展训练,使得模型的上下文长度达到了1Mtoken。其优秀的性能表现和开源特性吸引了众多开发者的关注和参与,为人工智能领域的进步和创新带来了新的契机。
大模型厂商在上下文长度上卷的不可开交之际,一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现,随着窗口长度的不断增加,大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude2是开源的Llama2和Mistral,都未能幸免。目前尚未找到既能完美解决问题又不显著影响模型效果的办法,Anthropic选择发布通告将这项研究公之于众,也是为了让整个业界都能关注这个�
苹果开发出了一项能够实时理解和识别用户屏幕上显示内容的人工智能技术无需依赖屏幕截图或图像数据输入。这项技术被称为ReALM,它使得在与用户交流的过程中,智能助手能够看到用户所看到的一切内容,并理解用户当前正在进行的活动,从随时提供帮助。当结合其他最近的苹果研究论文,允许“一次性”响应——即AI可以从单个提示中获得答案——这表明苹果仍在大力投资于AI助手领域不仅仅依赖外部模型。
【新智元导读】苹果公司发布了一款参数量仅为80M的最新模型——ReALM,能够将各种形式的上下文转换为文本进行理解,包括解析屏幕、多轮对话以及上下文引用,提升了Siri等智能助手的反应速度和智能程度。会读心的Siri想不想要?今天,苹果发布了自家的最新模型ReALM,仅需80M参数,就能在上下文理解能力上打平甚至超越GPT-4!论文地址:https://arxiv.org/pdf/2403.20329.pdfReALM可以将任何形式的上下文转换为文本来进行理解,比如解析屏幕、多轮对话、以及上下文中的引用。随着模型大小的增加,所有数据集的性能都有所提高屏幕相关数据集的差异最为明显,因为这项任务在本质上更加复杂。
就在刚刚,埃隆马斯克旗下的人工智能初创公司xAI宣布正式推出Grok-1.5,官方推送啥也没说,直接甩链接,主打一个字少事大”。Grok-1.5有哪些升级呢,主要是两个方面:1、长上下文理解对于上下文窗口,Grok-1.5直接提升到了之前的16倍,从8192增长到128k,和GPT-4齐平。Grok-1.5在HumanEval基准测试上得分74.1%,超越中杯Claude3Sonnet、GeminiPro1.5、GPT-4,仅次于大杯Claude3Opus。
XAI发布了其最新的大型语言模型更新——Grok-1.5。该版本在编码和与数学相关的任务中表现出了显著的性能提升。我们期待看到这些新功能在未来几天的发布,以及它们将如何改变我们对大型语言模型的认知和使用。
AI21发布了世界首个Mamba的生产级模型:Jamba。这个模型采用了开创性的SSM-Transformer架构,具有52B参数,其中12B在生成时处于活动状态。这意味着Jamba模型在处理需要理解大量文本和复杂依赖关系的任务时,既能保持高效率,又不会牺牲性能或精度。
MistralAI最新开源了Mistral7Bv0.2BaseModel,在一个名为CerebralValley的黑客松活动上宣布。这次更新将上下文提升到32K,取消了滑动窗口,同时设置了RopeTheta为1e6。MistralAI将继续努力,与同行竞争,并为客户提供更优质的人工智能解决方案。
备受期待的GeminiPro1.5以及其百万上下文功能已经向所有用户开放。这一新功能的推出,无疑将为AI领域的应用带来更多可能性。我们期待看到更多的创新和突破。
KimiAI智能助手是由月之暗面科技推出的一款智能聊天机器人APP,旨在通过其大容量知识库提供智能闲聊、解答问题和生活助手服务。KimiAI智能助手拥有高度的智能交互能力,可以让用户随时随地与之聊天,寻找乐趣。为了体验「KimiAI智能助手」的强大功能,请访问网站查看更多介绍。
“Claude3、Gemini1.5,是要把RAG给搞死了吗?”随着新晋大语言模型们的上下文窗口变得越发得长,业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。之所以如此,是因为它们二者都是为了解决大模型的幻觉问题,可以说是属于两种不同顶尖技术流派之间的对峙。更多CPU支持向量数据库的解决方案内容,请点击“阅读原文”获取。
月之暗面把AI模型支持的上下文长度提升了一个数量级,实现了200万字上下文的「无损压缩」。一个能读200万字的AI助手是什么概念?这意味着,它可以一口气读完整个《甄嬛传》剧本,然后和你讨论剧情。如果你也有对超长无损上下文能力的需求,可到Kimi智能助手网页版kimi.ai首页申请抢先体验。
2024年3月18日,通用人工智能创业公司——月之暗面宣布在大模型长上下文窗口技术上取得新的突破,Kimi 智能助手已支持200万字超长无损上下文,并于即日起开启产品“内测”。对大模型超长无损上下文能力有需求的用户,可到Kimi智能助手网页版kimi.ai 首页申请抢先体验。3月18日启动200万字超长上下文的内测申请后,月之暗面会逐步开放更多用户来体验具备超长无损上�
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放【AiBase提要:】🚀马斯克旗下xAI公司开源了3140亿参数的混合专家模型「Grok-1」及权重和网络架构。⭐OpenRouter�
月之暗面近日宣布,其智能助手KimiChat已开放200万字上下文的内测申请,引发了广大用户的热烈关注。作为MoonshotAI公司的产品,KimiChat以其超大的内存和强大的功能吸引了众多用户的目光。KimiChat已经开放了内测申请,对此感兴趣的用户可以申请试用,体验KimiChat带来的便捷和高效。
3月,国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。具体推出的节奏,零一万物此次没有透露。
Cohere团队于2024年3月11日发布了Command-R,一款旨在实现生产规模人工智能的新型检索增强生成模型。该模型专注于检索增强生成和工具使用,是可扩展的生成模型,旨在帮助企业从概念验证迈向实际生产。期待用户对Command-R的反馈,并期待在未来提供更多可扩展的模型,助力企业成功迈向生产规模的人工智能应用。
斯坦福大学的研究人员最近发布了一种名为C3PO的新方法,旨在解决语言模型定制化面临的挑战。在人工智能领域不断发展的今天,语言模型的定制化对于确保用户满意度至关重要。这项研究的意义超出了技术成就的范畴,预示着人工智能可以无缝适应个人偏好、增强其实用性和可访问性的未来。
RAG还有存在的必要吗?要说最近最郁闷的公司,谷歌肯定算得上一个:自家的Gemini1.5刚刚发布,就被OpenAI的Sora抢尽了风头,堪称AI界的「汪峰」。谷歌这次推出的是用于早期测试的Gemini1.5的第一个版本——Gemini1.5Pro。下面是相应幻灯片的快照:@elvis表示,他已经开始着手进行第二轮测试,感兴趣的同学可以去X平台上围观。
零一万物发布了Yi大模型API,并启动了公测。这次邀测提供了两种模型:Yi-34B-Chat和Yi-34B-Chat-200K。Yi大模型API与OpenAIAPI完全兼容,可以平滑迁移,享受Yi大模型的超凡魅力。
GoogleGemini1.5推出了一项令人瞩目的技术突破,该版本引入了一个拥有高达一百万个令牌的上下文窗口功能。这项新功能旨在处理完整的书籍甚至电影,其准确性关注。如果其可靠性低于90%,那么实际中的巨大容量的上下文窗口运用中可能并不具备专业的帮助。