首页 > AI头条  > 正文

8GB显存也能玩转128K超长上下文!开源本地大模型工具Strata 0.2. 10 发布

2026-11-03 14:02 · 来源: AIbase基地

开源本地 AI 工具Strata近日正式迎来了0.2.10版本更新。作为一款专为消费级显卡设计的本地大模型运行神器,本次更新在降低显存门槛、提升推理速度以及优化多显卡协同方面带来了突破性进展,让普通电脑运行千亿参数大模型变得更加轻松。

显存大幅瘦身:8GB 显卡如何玩转128K 超长上下文?

在以往的本地运行场景中,如果用户尝试在8GB 显存的设备上开启64K 甚至更高的上下文,往往会因为专家缓存空间耗尽而直接导致启动失败,甚至不得不妥协降至48K 左右。

而在 Strata0.2.10中,官方优化了底层资源分配机制:当显存不足时,系统会优先动态调整显存与内存之间的数据分配,尽最大可能保留用户设置的上下文长度。这意味着,用户现在完全可以在8GB 显存的设备上成功启动 Qwen3.8IQ3_S 等大模型,并维持高达128K(即131,072Token)的超长上下文。

其核心原理在于,Strata 会根据实时显存余量自动缩减驻留在 GPU 中的 KV 缓存窗口,必要时还会将部分缓存平摊至系统内存或硬盘。官方测试数据显示,在8GB 显存限制下开启 DFlash2模式时,生成速度可达63至73Token/s;即便是使用英特尔 Arc A7508GB 真实显卡,也能顺利启动128K 上下文并保持12.7至14.8Token/s 的生成速度。

不过,开发者也需要注意:显存硬件的压力虽然通过内存和固态硬盘得到了分摊,但也对电脑的内存配置提出了更高要求。官方建议,内存容量最好达到32GB 起步,48GB 较为合适,拥有64GB 内存才能真正从容应对各类复杂场景。

默认启用 DFlash2加速器:额外节省4GB 显存

本次更新的另一大核心亮点,是将全新的 DFlash2正式设为了默认的推测解码器。

作为一种高效的推测解码技术,DFlash2的基本逻辑是让一个轻量化的辅助模型提前预测接下来的生成内容,再交由主模型进行批量验证。相比此前使用的 MTP 推测层需要占用约5.2GB 的显存空间,DFlash2的显存占用直接大幅压缩至约625MiB,单此一项就额外节省了约4GB 的宝贵显存。

在生成速度方面,无论是 Windows 端搭载的 Ryzen AI Max、RTX PRO5000,还是苹果的 Apple M5Max 等设备,DFlash2均展现出了明显的单请求性能优势。不过,传统的 MTP 在多并发处理和硬件兼容性上依然保有独特长处,官方因此将 DFlash2定位为单请求场景下的优先策略。

多显卡分工再升级:代码编辑生成速度接近翻倍

针对拥有多张显卡的硬核极客用户,Strata0.2.10引入了全新的 All-cards Split Engine(多卡联合分割引擎)。

过去多显卡运行模型时,通常是将模型的不同层机械地分配到不同显卡上;而新版本则支持多张显卡共同处理模型的每一层,让它们同时参与并行计算。官方测试表明,在使用两张 RTX A6000在 Linux 系统下运行模型时,代码编辑任务的处理速度直接从过去的195Token/s 飙升至377至394Token/s,性能接近翻倍。

专属编程模型与 Agent 体验优化

为了满足开发者的深度需求,新版本还引入了名为 ISTA-DAS Coder 的编程专用模型。该模型基于 DeepSeek-V4.1-Flash 进行专家裁剪,在保留强大编程与 Agent 能力的同时降低了冗余开销。不过,由于其模型权重与 Engram 数据文件体积较大,首次完整下载和运行仍需要较大的存储空间支持。

此外,针对智能体(Agent)和日常图形界面的交互痛点,0.2.10版本进行了全方位的修复与升级:

当 AI 回复较长时,界面上的 Approve 和 Deny 审批按钮不会再因页面滚动而被遮挡。

允许子 Agent 接收用户后续追加的指令。

历史对话的自动摘要功能会优先匹配用户原本的语言习惯。

在 AI 正在生成内容时,用户可以自由选择等待、排队发送新消息或直接中断。

支持精准引用之前的某轮对话或选中的特定文本。

优化了 Claude Code 遇到上下文溢出时的报错提示,引导其尝试进行自动压缩。

修复了 Windows 在特定后台启动场景下因磁盘读取优先级过低导致模型加载变慢的 Bug。

目前,Strata 已经全面覆盖 Windows、macOS 和 Linux 平台,图形界面用户可通过内嵌的更新通道直接升级至最新版本,终端用户则可以通过相关命令完成更新。

  • 相关推荐
  • 全球开源第一!小米MiMo-V2.6-Pro上线WorkBuddy:支持1M超长上下文

    今日,小米技术官微宣布,Xiaomi MiMo-V2.6-Pro大模型正式上线WorkBuddy,面向专业、长程及复杂工作流提供AI能力支持。 据小米介绍,MiMo-V2.6-Pro在Artificial Analysis智能指数评测中获得46分,位居全球开源模型第一。 在核心能力方面,MiMo-V2.6-Pro支持1M超长上下文窗口,能够处理大规模文本及复杂信息,同时具备多智能体分工协作能力,可将复杂任务拆分,由多个智能体协同完成。 多

  • 月之暗面发布最强模型Kimi K3.1 Pro:3万亿级参数、100万Token上下文

    月之暗面发布Kimi K3.1 Pro,3万亿参数、支持100万Token上下文,为K3后训练版,经大规模强化学习全面提升;同步推出输出快2—3倍的高速版。两款模型即日上线Kimi各平台及API,11月4日前发布权重。升级聚焦代码与长程Agent,多项基准接近最强闭源模型,可调用游戏引擎、Blender/CAD建模,并落地金融建模研报。官方称事实错误率显著下降,安全上过滤网络攻防数据。

  • 腾讯乐享发布可信索引与AI巡检,推动企业知识成为Agent可信上下文

    8月30日,腾讯乐享在2026腾讯全球数字生态大会上升级发布企业可信AI知识中枢,推出可信索引与AI巡检两项新能力。可信索引融合本体、知识图谱与LLM Wiki,让Agent调用企业知识时能分清业务对象、文档版本和使用条件;AI巡检持续排查知识库中的重复、冲突和过期内容,交由责任人确认修改。腾讯云副总裁吴运声表示,企业AI的可靠首先取决于知识的可信。乐享产品定位已从“企业知识管理平台”调整为“企业Agent知识中枢”,并与WorkBuddy企业版集成。中信建投证券、云南白药、OPPO、潮宏基等企业展示了知识支撑专业服务、员工培训与一线运营的落地实践。

  • 美团发布新一代大模型LongCat-2.5:国模国芯 多指标登顶第一

    美团昨日推出新一代大模型LongCat-2.5,在多个智能Agent测试榜单里拿到不错成绩,不少项目直接冲到第一。 这次测试覆盖代码、通用任务、视觉Agent三大类,一共9个不同的评测基准。对比的对手都是海外热门模型,包括Claude-Opus-5、GPT-5.6-Sol、GPT-5.5、Claude-Opus-4.8。 在AutomationBench、BrowseComp、LongCatClawBench、3DCodeBench 这些榜单,LongCat-2.5得分领先。 AutomationBench拿到51.8分,超过Claude-

  • FastGPT详解大模型工具调用失败判定与回退

    FastGPT剖析工具调用失败的判定与回退。LLM集成外部工具时,模型支持、工具描述、参数解析、多工具选择与循环调用等均可致失败。FastGPT提出模型层、平台层、应用层三层回退,v4.14.7自动过滤未配置工具、补空arguments、连续5次重复调用禁用tool_choice、保留错误信息且商业版不计费,并指出模型能力与外部工具稳定性等限制。

  • 2499元 REDMI M100 Pro发布:天玑7300 Ultra、电池四年耐用

    日前,REDMI M100 Pro上架小米商城,提供12GB 256GB存储版本,售价2499元。 REDMI M100 Pro采用前后双曲面设计,提供黑、白、青、紫四款配色,支持IP68级防尘防水。 新机正面配备一块6.67英寸OLED曲面屏,分辨率为2712x1220,支持120Hz刷新率,局部峰值亮度可达3000尼特,并采用康宁大猩猩Victus 2玻璃保护。 屏幕还支持1920Hz高频PWM调光、12bit色深、节律护眼等功能,并配备光学屏下指纹识�

  • 荐Jev引爆决策模型,大模型进入无限游戏

    决策模型正在从一个新概念变成模型、API和数据平台,都在发布的产品类别。 决策模型也称“System One模型”,以TypeSafe的Jev开始,在随后不到一个月内涌现出十余款模型,微软、AWS、Perplexity、Snowflake等厂商相继入场。 一时间,整个行业梦回“百模大战”,这样的速度即使在AI行业也罕见。 决策模型的兴起,本质上是将智能体的决策层从推理层中解耦出来。这一趋势背后的�

  • 星火医疗大模型V3.7发布,讯飞晓医三大核心能力重磅升级

    10月22日,科大讯飞1024开发者节在京举行。讯飞晓医升级,星火医疗大模型V3.7以99.6分登顶MedBench5.0。其支持多报告综合解读、健康风险洞察、中医体质辨识及养生计划;临床端病历生成合理率85%、影像诊断提升15%。AI患者管理平台3.0同步发布,已落地300余家医院,管理超50万人次。

  • 荐AI日报:ChatGPT上线锁定聊天功能;Ming-3.0-tts登顶国际评测双榜首;Mistral 发布 Voxtral 3 语音 Agent SDK

    AI日报要点:OpenAI上线ChatGPT“锁定聊天”;蚂蚁开源Ming-3.0-tts登顶TTS评测;谷歌车载Gemini打通Gmail、日历、地图;Mistral发布Voxtral 3语音Agent SDK;Meta Muse 40天下载破千万;Spotify清理超5000万首AI垃圾歌;王腾ISHO Ring智能戒指将发;办公Agent前三为WorkBuddy、百度搭子、千问办公。

  • 史上最大升级!iPad mini 8下周发布:首次OLED屏、A20 Pro+12GB内存

    苹果已经官宣,将于美国当地时间10月28日上午10点(北京时间10月29日凌晨1点)举办新品特别活动。 根据爆料,苹果这次会发布iPad mini 8,还有触屏OLED的MacBook Pro、搭载M6芯片的14英寸MacBook Pro及M6 iMac同台。 其中,iPad mini 8被认为是系列史上最大升级,首次采用OLED面板,由现款LCD更换,色彩更丰富、对比度更高、纯黑表现更佳。 尺寸由现款8.3英寸扩大至约8.7英寸并收窄边框,

今日大家都在搜的词: