微软推出大语言模型评估工具库PromptBench
微软近日发布了专为评估大语言模型而设计的PromptBench工具库。该工具库支持多种模型和任务，提供标准、动态和语义评估方法，并集成了多种提示工程方法和对抗性测试。支持多种数据集和模型，提供可视化分析和词频分析等解释评估结果的工具。PromptBench的简便界面允许快速构建模型、加载数据集，并评估模型性能，为研究人员提供全面的性能测试和分析支持。
- 相关推荐
-
GPTBots 迎来增强版 DeepSeek-R1-0528 模型
GPTBots.ai平台宣布集成深度求索(DeepSeek)最新开源模型DeepSeek-R1-0528，该模型在推理能力上媲美OpenAI和Google的顶级模型，性能显著提升：数学竞赛准确率从70%提升至87.5%，编程性能从63.5%提升至73.3%。该模型支持JSON输出与函数调用，可无缝嵌入企业工作流，同时推出轻量级版本DeepSeek-R1-0528-Qwen3-8B，仅需16GB GPU内存即可运行。此次集成将强化GPTBots为企业提供金融、医疗、教育等领域的AI解决方案能力，助力企业构建定制化AI应用。平台秉持开源理念，采用MIT许可协议，支持商业使用与定制开发。
-
荐AI日报： ChatGPT免费开放记忆功能；华为WATCH 5智能手表接入双大模型；Claude Pro升级重磅功能
本期AI日报主要报道了多项AI领域重要进展：1）OpenAI向所有ChatGPT用户免费开放记忆功能；2）蚂蚁集团推出"AI健康管家"，服务4000万用户；3）Anthropic与DeepLearning.AI合作推出免费MCP课程；4）谷歌DeepMind开发无需3D模型即可生成逼真运动视频的新技术；5）Exa与OpenRouter合作为400+大模型提供实时网络搜索功能；6）中国知网推出CNKI AI学术研究助手；7）Anthropic推出Claude Explains博客项目；8）Claude Pro新增研究模式和远程MCP整合功能；9）Fish Audio发布基于200万小时数据训练的OpenAudio S1语音模型；10）OpenAI升级Codex编程工具；11）华为WATCH5接入盘古和DeepSeek双大模型。
-
极光旗下EngageLab及GPTBots双品牌通过SOC 2 Type II认证
极光旗下EngageLab和GPTBots双品牌通过SOC 2 Type II认证，彰显数据安全与国际合规能力。该认证由美国注册会计师协会制定，覆盖安全性、可用性等五大维度，验证了平台在连续数月的稳定运营表现。作为中国领先的客户互动与营销科技服务商，极光通过旗下客户互动平台EngageLab和企业级AI智能体GPTBots，为全球客户提供行业领先的数据安全保障。此次认证巩固了极光在智能客户互动与AI服务领域的行业地位，其客户覆盖科技、金融等多个领域，遍布全球多个国家和地区。
-
OpenAI 或将推出“使用ChatGPT登录”功能，支持第三方应用接入
“使用 ChatGPT 登录”这一潜在功能，或将帮助 OpenAI 与苹果、谷歌、微软等巨头展开竞争……
-
与 ChatGPT 一起“越陷越深”
ChatGPT 似乎正在让一些用户走上妄想甚至阴谋论的道路，或者说，至少在某种程度上强化了这类思维模式……
-
OpenAI 说要“誓死”捍卫数亿 ChatGPT 用户的隐私
OpenAI 强烈反对法院命令保存所有 ChatGPT 日志，包括已删除的聊天记录……
-
荐AI日报：Midjourney重磅推出视频生成模型V1；OpenAI将在今年夏季发布GPT-5；谷歌推Search Live语音搜索功能
本期AI日报聚焦多项AI领域重要进展：1) Midjourney推出首款视频生成模型V1，支持21秒视频生成；2) OpenAI CEO确认GPT-5将于今夏发布；3) Google上线语音对话搜索功能Search Live；4) OpenAI开源客户服务代理框架；5) MiniMax发布智能代理Agent；6) 恶意工具WormGPT出现新变种；7) OpenAI推出企业版ChatGPT折扣；8) DeepSite V2支持3D网页动画生成；9) AI工具可秒变PPT；10) 比亚迪与字节跳动合作开发动力电池技术；11) 马斯克否认xAI巨额亏损传闻。
-
DigitalOcean 携手 AMD 推出 AMD Instinct MI300X GPU Droplet，加速 AI 创新
DigitalOcean与AMD达成合作，将推出搭载AMD Instinct MI300X GPU的云服务器，支持AI/ML/HPC工作负载。该GPU具备192GB HBM3内存，能完整加载数十亿参数模型，显著提升训练和推理效率。服务定价每小时1.99美元起，支持1-8个GPU配置，并与Kubernetes无缝集成。未来还将推出MI325X GPU，并面向中国市场提供服务。此次合作旨在为开发者提供经济高效的AI开发解决方案，简化云端GPU部署流程。
-
极光GPTBots成功完成“生成式人工智能服务登记”
极光旗下AI开发平台GPTBots.ai近日在广东省网信部门完成生成式人工智能服务登记，成为合规经营的AI服务提供商。该平台严格遵循国家《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法规要求，标志着其在技术创新、服务模式和数据安全等方面获得关键合规认可。此次登记体现了极光对法律法规的严格遵守和对安全责任的高度重视，为区域AI生态发展注入新活力。未来，极光将继续优化技术与服务，保障用户权益，推动生成式AI技术的健康规范发展。
-
荐AI日报：豆包大模型1.6发布；OpenAI推o3-pro模型、o3价格暴降80%；Figma官方MCP重磅上线
【AI日报】今日AI领域重要动态：1)火山引擎发布豆包大模型1.6和视频生成模型Seedance1.0pro，性能显著提升；2)OpenAI推出o3-pro模型，专注可靠性但响应较慢；3)Figma推出Dev Mode MCP服务，实现设计到代码一键转换；4)Krea AI发布图像生成模型Krea1，解决传统AI绘图问题；5)火山引擎豆包日调用量突破16.4万亿次；6)法国Mistral发布推理模型Magistral；7)苹果系统整合ChatGPT图像生成功能；8)OpenAI大幅下调o3价格80%并推出o3-pro；9)Hugging Face开源榜单显示中国团队Qwen与DeepSeek进入全球前15；10)阿里开源MaskSearch框架，提升AI解决复杂问题能力。