首页 > 传媒 > 关键词  > AI技术最新资讯  > 正文

腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座

2025-06-09 18:13 · 稿源: 站长之家用户

随着生成式AI技术的爆发式增长,AI大模型开始渗透至手机领域,一线厂商已经把AI应用集成到各自最 新的产品中,并且在以惊人的速度迭代。为了进一步提升大模型部署的效能,荣耀基于应用腾讯云TencentOS Server AI中提供的TACO-LLM加速模块部署DeepSeek-R1等开源大模型,并应用荣耀企业内部等场景,稳定性、可靠性、推理性能均大幅提升。

在推理平台场景中,荣耀侧重关注框架效能、稳定性、运行状态监控及应急预案等特性。使用TACO-LLM进行推理任务后,在DeepSeek-R1满血版场景下,相对于荣耀原始线上业务性能,TTFT(首Token 延迟)P95的响应时间最 高降低6.25倍,吞吐提升2倍,端到端延迟降低100 %。在社区最 新版本sglang场景下,TTFT P95的响应时间最 高降低12.5倍。

腾讯云TACO-LLM之所以能够对荣耀业务的性能提升如此明显,主要的得益于多种投机采样技术核心能力:大语言模型的自回归解码属性无法充分利用GPU的算力,计算效率不高,解码成本高昂。而TACO-LLM通过投机采样的方式,从根本上解决了计算密度的问题,让真正部署的大模型实现“并行”解码,从而大幅提高解码效率。

荣耀大数据平台部相关负责人表示:“荣耀使用腾讯云 TACO-LLM 打造高性能的AI底座,部署稳定可靠,提升了性能加速体验。”

TencentOS Server AI加速版中提供的TACO-LLM加速模块,针对企业级AI模型私有化部署挑战,对大语言模型业务进行了专门的内核运行优化,用于提高大语言模型的推理效能,提供兼顾高吞吐和低延时的优化方案,能够“无缝”整合到现有的大模型部署方案中。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 腾讯云助力文博会打造AI会展助手“文小博”,提升参展方交易磋商效率

    第二十一届中国(深圳)国际文化产业博览交易会于5月22-26日在深圳国际会展中心举办。本届文博会开启智能会展新时代,推出由腾讯云AI技术打造的"文小博"智能助手,通过深度重构会展服务体系,为参展方带来全新AI体验。"文小博"依托腾讯混元大模型+DeepSeek双模底座能力,可自动生成参展商精准画像,实现智能匹配、实时翻译等功能。展会设置8大展馆,展览面积达16万平方米,吸引超30万专业采购商参与。文博会还与腾讯云合作打造"演艺出海推介舞台",推动国际文化交流。AI助手贯穿展会全场景,提供智能问答、交易风险评估等服务,并打通微信生态实现服务闭环。腾讯云宣布将大模型知识引擎升级为"智能体开发平台",助力企业构建专属智能体。"文小博"作为"大模型+知识库"创新标杆,标志着文博会正式迈入智能会展新时代。

  • 四川省文化大数据公司与腾讯云签署战略合作协议,共同打造“文化+AI”新标杆

    5月25日,四川省文化大数据公司与腾讯云在深圳文博会上签署战略合作协议。双方将围绕文化数字化建设、人工智能技术应用及生态运营三大领域展开深度合作,共同推进四川省文化数据服务平台扩容升级与智能化转型。重点打造"文化大数据人工智能一体化平台",整合AI技术提供知识问答、内容生成、文旅导览等服务,推动四川特色文化资源数字化应用。未来还将深化短视频分发、用户画像分析等领域的合作,助力文化数据资源资产化、服务化转型。此次合作将加速四川文化数字化进程,为国家文化数字化战略实施提供新动能。

  • 深耕大数据与AI,我来数科夯实科技底座

    文章介绍了金融科技行业数字化转型的快速发展,重点聚焦"我来数科"这一领先金融科技平台。该平台以大数据和人工智能技术为核心,通过自主研发的实时大数据处理平台,在风控、营销预测等场景实现秒级数据分析,已累计服务超6000万用户。平台通过与金融机构、互联网巨头等深度合作,优化产品逻辑和用户体验,解决普惠金融痛点。未来将持续深耕"科技+服务"双轮驱动模式,在合规与创新间寻求平衡,探索更具创造力的数字金融解决方案。

  • 再次入选!腾讯云入选Gartner®云WAAP市场指南代表厂商

    Gartner发布《云Web应用和API保护市场指南》报告,腾讯云WAF产品连续第二年入选代表厂商。报告指出,云WAAP解决方案通过集成检测和预防控制组合,提供Web应用防火墙、BOT流量管理、API安全和DDoS防护等核心功能。腾讯云WAF依托20余年安全运营经验,打造基于AI的一站式Web业务防护方案,支持SaaS、CLB和混合云等多种接入方式,其创新"旁挂式"CLB-WAF架构具有快速接入、低延迟等特点。在BOT管理、API安全等场景具备独特优势,其中AI驱动的Anti-BOT方案拦截准确率达99.9%,API安全方案可全面梳理API资产并识别风险。典型案例显示,该方案曾帮助某医院避免百万级敏感数据泄露,并在茶饮品牌营销活动中成功拦截4000万次攻击。

  • AI日报:美团AI编程工具NoCode将上线;火山引擎发布MCP Servers;腾讯混元上线游戏视觉生成平台

    本文汇总了近期AI领域的重要动态:1)美团将推出对话式编程工具"NoCode";2)火山引擎发布大模型生态平台MCP Servers;3)B站开源动画视频生成模型Index-AniSora;4)字节跳动升级AI耳机Ola Friend的英语学习功能;5)GitHub推出AI编程助手自动修复代码漏洞;6)腾讯混元上线游戏视觉生成平台;7)微软将VS Code转型为开源AI编辑器;8)Windows 11原生支持MCP协议;9)Anthropic发布AI代理开发指南;10)谷歌推出编程AI代理Jules;11)NotebookLM推出iOS版;12)Genspark创3600万美元ARR纪录;13)Bright Data发布开源MCP服务器;14)马斯克宣布Grok模型将登陆Azure平台。这些进展展示了AI技术在编程、内容生成、操作系统等领域的快速发展和应用创新。

  • 腾讯云天御发布海外交易风控解决方案,AI+情报双擎护航企业全球化安全

    中国企业在全球化浪潮下加速出海布局,截至2024年底,中国对外直接投资存量近3万亿美元,位列全球第三。但跨境交易面临复杂安全威胁,包括数据泄露、账户盗用等风险。2023年全球电商欺诈损失达480亿美元,其中跨境支付欺诈占比显著。腾讯云天御推出智能风控方案,通过AI动态风控和全球情报中枢双引擎,实现支付欺诈拦截率99.5%,合规适配效率提升70%。方案构建三层防护体系:智能人机验证识别真人用户、设备指纹技术穿透虚拟环境、分层分级实时拦截恶意行为。依托腾讯威胁情报云,方案能同步全球黑产特征库,并持续投入AI大模型研发提升风控能力。目前该方案已帮助某电商将欺诈率从0.9%降至0.25%,支付成功率从85%提升至89%,平衡了安全与业务增长需求。

  • AI日报:Anthropic推最强编码AI模型Claude4;苹果计划推AI智能眼镜;QQ浏览器上线首个高考Agent

    【AI日报】今日AI领域重要动态:1)Anthropic发布Claude4系列AI模型,编程能力超越竞争对手;2)苹果计划2026年推出集成AI技术的智能眼镜;3)字节跳动与清华合作推出时序多模态大模型ChatTS;4)3DTown框架实现单张照片生成逼真3D场景;5)OpenAI秘密开发无屏幕AI设备;6)商汤科技推出儿童AI下棋机器人;7)微软记事本新增AI写作功能;8)深圳设立70亿元基金支持AI硬件初创企业;9)谷歌发布3D视频通信平台Beam;10)阿联酋推出"星际之门"计划,免费提供ChatGPT服务;11)法国Mistral推出开源模型Devstral;12)Anthropic API新增四大功能;13)美国众议院通过法案限制各州监管AI;14)QQ浏览器推出高考AI助手。

  • 为何头部企业都选 Testin云测?揭秘 AI 测试的核心竞争力

    文章探讨了软件定义时代下数字化转型带来的质量新命题。在金融、汽车、人工智能三大领域,软件已成为企业战略核心载体:金融科技投入持续增长,汽车行业"软件定义汽车"重构竞争格局,AI与传统软件融合催生新范式。同时指出软件质量缺陷可能引发的连锁反应,强调软件测试已突破传统质控范畴,成为企业数字化竞争的基础设施。Testin云测通过AI测试技术,在大模型应用、金融行业、智能座舱三大场景实现突破:构建全机型覆盖矩阵、创新无码化脚本开发、优化自动化分层策略,显著提升测试效率与资产复用率。未来趋势将向智能化、场景化、全生命周期管理演进,AI技术从辅助测试向自主决策升级,推动测试环节从"成本中心"向"价值中心"转型。

  • AICosts.ai深度评测:一站式AI成本管理解决方案

    随着ChatGPT等大模型的爆发式发展,企业AI支出正成为新的财务黑洞。AICosts.ai应运而生,这款专为AI密集型团队设计的成本管理平台,能聚合所有AI服务商的账单数据,提供可视化分析和优化建议。核心解决三大痛点:1)碎片化账单管理;2)异常监控;3)跨平台优化。通过实时仪表盘、多维筛选和预算预警等功能,某客户使用三个月后总支出降低28%。专业版定价49.99美元/月,特别适合月AI支出超1000美元的团队和使用多个AI服务的开发者。平台计划Q3推出Slack/Teams实时通知和AI优化方案自动生成功能。