Lovable 是一家使用 Claude 模型的 Vibe 编程工具公司,该公司表示:部署 Claude 4 之后,其代码错误率降低了 25%,运行速度提升了 40%。
5 月 22 日,Anthropic 开始陆续推出两款新模型:Claude Sonnet 4 和 Claude Opus 4。其中,Sonnet 向免费用户开放,而 Opus 则需付费订阅,并且在编程方面的表现优于 Sonnet。
Anthropic 在官方博客中确认,Claude Opus 4 在软件工程基准测试 SWE-bench 中得分为 72.5 分(SWE 是“Software Engineering Benchmark”的缩写)。
Claude 4 的表现
在测试中,Claude Opus 4 在需要长时间专注、包含数千步操作的任务中表现出稳定的性能。Anthropic 还声称,该模型曾连续运行 7 小时专注于编码任务。
使用 Claude 模型进行“基于提示的网页和应用构建”的公司 Lovable,在升级为 Claude 4 后也观察到类似的改进。
该公司在 X(原 Twitter)发文称,自从部署 Claude 4 后,其在所有项目(包括旧项目)的创建和编辑任务中,整体错误率下降了 25%,运行速度提升了 40%。
Claude 4 在 Lovable 上的表现:
Claude 4 显著减少了语法错误。Lovable 创始人 Anton Osika 还在另一条贴文中确认说:“Claude 4 几乎消除了 Lovable 的大多数错误”,特别是指在 Vibe 编程中出现的 LLM(大语言模型)语法错误。
Claude 4 是优秀的编程模型?
虽然外界对 Claude 4 的评价褒贬不一,但作者个人指出,在开发 Dart/Kotlin 应用时,Claude 4 相比 Gemini 产生的代码错误更少。
当然,这取决于具体项目和上下文。但在不需要超长上下文的项目中,Claude 4 的表现优于 Gemini。
尽管 Claude 系列一向有“最擅长编程”的口碑,但最近也面临谷歌的激烈竞争。谷歌发布的 Gemini 2.5 Pro 拥有 100 万 token 的上下文窗口,相比之下,Claude 4 及早期版本为 20 万 token,在上下文容量方面有劣势。但这并不意味着 Gemini 2.5 在编程方面就一定优于 Claude 4。
这两个模型有时都能令人惊艳,也可能出错,全看提示工程的质量。
理想的组合方式可能是:用 o3 或 Gemini 进行规划,再用 Claude 4 或 Gemini 进行具体编程任务。
(举报)