站长之家（ChinaZ.com）12月21日 消息:近年来，大型语言模型（LLMs）在自然语言处理任务中表现卓越，但其对计算和内存的高需求对于内存有限的设备构成了挑战。
本文提出了一种在设备内存有限的情况下，通过将模型参数存储在闪存中，并在推断时按需将其加载到DRAM，实现了高效运行LLMs的方法。
论文地址:https://arxiv.org/pdf/2312.11514.pdf
方法包括构建与闪存内存行为协调的推断成本模型，通过减少从闪存传输的数据量和以更大、更连续的块读取数据的方式进行优化。
在这个框架内，引入了两种关键技术:窗口化策略通过重用先前激活的神经元来减少数据传输，行列捆绑技术通过适应闪存的顺序数据访问增加了从闪存读取的数据块的大小。
这两种方法使得能够运行比可用DRAM容量大两倍的模型，相较于朴素加载方法，CPU和GPU的推断速度分别提高了4-5倍和20-25倍。同时，结合稀疏感知、上下文自适应加载和硬件导向设计，为在内存有限的设备上进行LLMs推断打开了新的可能性。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
北京大学最近发布了一种新的图像生成框架，名为VAR。这一突破性的技术首次使GPT风格的自回归模型在图像生成上超越了扩散transformer，同时展现出了与大语言模型观察到的类似Scalinglaws的规律。VAR算法为计算机视觉中的自回归算法设计提供了新的见解，有望推动这一领域的进一步发展。
4月18日，雷军在小米北京交付中心开启了一场全新的直播，谈及多个话题，尤其是小米SU7。雷军透露，小米SU7的销量比预计高了三到五倍，这是比较头疼的一点，但是合作伙伴都比较给力，提速很快。其实在小米汽车发布前，雷军就说过，既怕不火，又怕太火，结果真成了幸福的烦恼。有网友在直播互动中催促雷军去工厂打螺丝，加快汽车交付，没想到雷军很较真地回复称，�
有研究表明，5年后1分钟或只有59秒，除非人类采取行动，否则全球将面临计时危机这将扰乱从计算机网络到金融市场等方方面面。最近美国加州大学圣地亚哥分校的科学家通过模拟发现，由于受全球气候变暖的影响，南北极冰盖正在大规模融化，改变了地球形状，导致地球自转减速比之前更快。因此科学家建议增加一个负闰秒，不过由于从来都没有过负闰秒，因此对全球言都是一项艰巨的任务。
快科技4月18日信息，今天数码博主i冰宇宙”发布推文表示，三星的下一代旗舰手机GalaxyS25标准版依然是8GB内存起步。目前国内的千元安卓手机内存都已经卷到了12GB、16GB，部分机型更是直接上了24GB内存。S25系列在不同的市场将分别搭载Exynos2500或高通骁龙8Gen4处理器，最高端的S25Ultra则可能仅提供高通处理器版本。
小米SU7自上市以来，便迅速成为车圈的焦点，持续占据各大平台的热搜榜，几乎每日都有关于它的热门话题引发热烈讨论。这款车型的成功，不仅超越了小米的预期，更在市场中引发了广泛关注。正是这样的方法论和文化价值观，成就了小米SU7在市场上的辉煌表现。
【新智元导读】Anthropic发布最新研究，发现Claude3Opus的说服力与人类大致相当，该成果在评估语言模型说服力方面迈出了重要的一步。人工智能模型在对话说服力方面表现如何?对这一问题大家可能都心存疑惑。Anthropic也表示，他们已经采取了一系列措施来降低Claude被用于破坏性事件的风险。
通义千问近期开源了新的Qwen1.5-32B模型，该模型在语言理解、支持多语言、编程和数学能力方面表现出色。Qwen1.5-32B模型不仅支持多语言融合了GQA技术，使得模型在推理方面的效率更高，同时降低了部署成本。Qwen1.5-32B模型的开源将为语言理解和推理技术的发展带来重大影响，为解决复杂问题提供了更加强大的工具和资源。
太蓝新能源在其官方公众号上宣布，在车规级全固态锂电池”的研发方面取得重大进展。其号称研发出世界首块车规级单体容量120Ah，实测能量密度达到720Wh/kg的超高能量密度体型化全固态锂金属电池，刷新了体型化锂电池单体容量和最高能量密度的行业纪录。其实现了电池综合性能的全面提升，有望从根本上解决传统锂离子电池的续航和安全焦虑问题。
在很多人的认知中，健康离不开清淡饮食清淡饮食离不开少盐少油，这几乎成为了当今的“常识”。在2020年4月，一篇发表在期刊《Nature》上的论文公布了一个违背上述常识的结论:高盐饮食可以激活免疫监测，抑制实验小鼠肿瘤的生长。但相关研究蓬勃发展，或许这个结论会像瑞维拓所经历的一样，最终迎来新突破。
纵观生成式AI领域中的两个主导者:自回归和扩散模型。一个专攻文本等离散数据，一个长于图像等连续数据。通讯作者为一二作的导师StefanoErmon，他是斯坦福计算机科学系副教授。
ColdCraft是一个AI平台，可以帮助您将简单的要点和LinkedIn个人资料转化为有效的冷邮件。它可以节省时间并提高回复率。该插件可以直接在Gmail中将要点转化为完整的冷邮件，并可以从LinkedIn个人资料直接撰写和发送电子邮件。
Nexai是一个基于人工智能的聊天机器人，它可以通过自然语言处理技术理解用户的问题并提供相关信息。它具有快速、准确的搜索能力，可以回答各种问题，并提供实用的建议和指导。Nexai还可以进行智能对话，与用户进行交流和互动。
Inboxly是一个AI邮箱，可以帮助用户整理、优先处理和回复来自各个平台的邮件。它的主要优点是提高工作效率、节省时间和保护隐私。Inboxly适用于个人和小型企业，提供AI助手、自动回复、智能过滤等功能。它是一个具有高影响力的低成本解决方案。
TruvaAI是一款AI助手，为软件平台提供智能导航和自动化操作功能，帮助用户更轻松地使用应用程序。通过TruvaAI，用户可以快速定位到正确的工具、功能和信息，并且还可以代表用户执行操作。TruvaAI不仅提高了用户的NPS，还为每个用户提供了个人账户经理的体验，实时可用。TruvaAI还能够根据用户的反馈和行为学习，不断改进自身。
AI Middle of Us Community是一个AI社区，旨在为用户提供最新的AI资金新闻、创新的AI工具和深入的AI见解。它是一个聚集AI爱好者和专业人士的平台，旨在推动人工智能领域的创新和发展。该社区的主要优点包括提供最新的资金新闻、分享创新的AI工具、深入的AI见解和提供有价值的AI免费资源。
Brainrot Translator是一个将文本转换成Skibidi的网站。它的主要优点是可以将普通文本转换成具有特殊效果的Skibidi文本，增加了文本的趣味性和创意性。
BeagleGPT是一款建立整个工作人员数据习惯的工具，受到F500公司的信任。它能回答各种问题，提供洞察力，并提供个性化的数据建议，帮助用户做出更明智的决策。BeagleGPT具有预测和建议模块，能够回答为什么和怎么样的问题，并为用户制定行动计划。
Genius Poker Planning是一个多功能工具，旨在简化和增强敏捷扑克规划会议。它提供了一个用户友好的界面，为团队评估和优先处理任务提供了高效的方法。这个工具赋予敏捷团队协作评估用户故事复杂性的能力，确保更准确和高效的冲刺计划。无论您是一个软件开发团队还是其他敏捷专注的团队，Genius Poker Planning简化了评估过程，使其成为您敏捷工作流程中不可或缺的资产。
Uncensored Chat是第一个开源的ChatGPT替代品，它采用了人工智能技术，具有自动生成对话的能力。它的主要优点是开源、可定制、免费使用，并且能够为用户提供智能对话服务。
Userscom是一个简单、智能、基于AI的票务软件，能够帮助用户更快地建立有意义的客户关系，提高工作效率。它具有清晰的用户界面和智能设计，通过AI生成待办事项、整理工单，并提供内置的跟进工作流程，帮助用户更好地组织工作。此外，Userscom还能自动生成回复，节省用户的时间，提供个性化的客户见解，并支持多种与网站集成的方式。
Quran Stories是一个通过故事了解古兰经的学习平台。它利用人工智能生成图像来辅助记忆，通过故事来帮助学习者理解古兰经中的词汇。通过分解复杂的故事为可管理的课程，学习者可以按照自己的节奏进行学习。该平台提供了许多古兰经故事，以及听故事的朗诵，使学习过程更加身临其境。通过提供有趣的学习活动，如测验、单词游戏和重复技巧，使学习过程更有趣并加强记忆。
Press Ranger是一款使用人工智能的公关工具，可以轻松构建媒体联系人列表并与记者进行联系。它拥有超过50万名全球记者的网络，您可以与他们进行网络联系，或将我们的公关活动外包给我们的专家团队。
VetRec是一个使用人工智能驱动的兽医临床笔记自动化解决方案，帮助兽医助手和技术员节省时间。它可以在每次访问后的几秒钟内生成SOAP笔记，让你可以更专注于最重要的宠物和兽医。VetRec可以记录、处理和生成会话笔记，并分析会话以提取关键细节。它还可以根据你的需求定制模板，并保留详细的笔记和咨询记录，方便日后查阅。
Dreamseer是一款APP，通过数据科学解读梦境，帮助用户深入了解自己，并实现个人成长和进化。它的主要优点包括提供深入洞察力、推动社区协作、扩展梦境世界等。Dreamseer定位于个人成长和社区合作的领域。
Herodot是一款AI旅游助手，通过讲述有趣的故事来为用户提供关于地图上任何对象的信息。它使用人工智能技术，可以为用户提供丰富的历史和文化知识，并帮助规划旅行行程。Herodot的主要优点是提供个性化的旅行指南和故事，让用户更好地了解目的地的背景和文化。
MarketerGrad是一个提供高质量的营销人员和设计师的平台，通过匹配具有2到10年经验的人才来帮助您快速增长。该平台由Pangea AI提供支持，具有灵活的合同结构，使您能够更快地招聘到合适的人才。
Edubrain是一个AI作业助手，通过提供可靠的解决方案来帮助学生解决作业问题。它可以为任何学科和学术水平提供个性化的解答。Edubrain具有无限制的使用次数，完全免费，可以在10秒内生成可靠的答案。
SHIPGPT是一个前后端完整的AI模板，提供了各种AI用例的脚手架，使您能够构建自己的AI应用程序或将AI集成到现有技术中，无需雇佣全栈开发人员和AI开发包装器。
ComfyFlow 是一个基于 ComfyUI 的工作流程应用创建平台，能够快速创建工作流程应用并与他人分享。它使用稳定扩散（Stable Diffusion）和 ComfyUI 技术构建，具有简单易用、完全托管、免费使用等优点。
AI Experts是一家专注于数字营销的AI顾问机构，通过AI驱动的工具，帮助企业高效地生产高质量的内容，并通过数据分析提供有价值的见解，引导业务策略。AI Experts的主要优点包括节省时间和资源、提高内容质量、提供数据驱动的决策支持等。产品背景信息：AI Experts是由真人运营的AI机构，致力于帮助企业将人工智能技术应用于业务中。
