大模型应用面临数据供给难题
目前，大模型在垂直领域的应用面临的主要挑战在于获取高质量数据。一方面，数据资源分散在不同的机构和企业中，价值高、保密性强，流通困难。另一方面，企业、大模型供应商和用户之间存在信任壁垒，数据泄露风险、模型资产安全问题和个人隐私保护成为主要顾虑。
蚂蚁集团推出“隐语Cloud”大模型密算平台
为了解决这一问题，蚂蚁集团推出了“隐语Cloud”大模型密算平台。该平台专注于数据要素领域的核心技术，通过软硬件协同的可信隐私计算技术，确保大模型托管和推理环节的数据安全流动，保护模型资产、数据安全和用户隐私。
“隐语Cloud”平台的服务
该平台提供两大主要服务：大模型密态托管和密态推理。托管服务允许模型提供者将加密后的模型托管在平台上，实现一键云上加密部署，防止模型资产泄露和盗用。推理服务以加密形式完成数据推理，确保用户交互时的数据安全和商业秘密不被泄露。
平台的安全保障措施
该平台支持在可信执行环境中使用 GPU 进行计算，实现密态形式的大模型推理响应时间与明文大模型相近，同时保证大规模商业应用。通过内存和磁盘加密等技术，平台实现了用户访问的端到端加密和跨域访问控制。轻量级的远程认证功能允许用户在网页访问时轻松完成认证，无需额外步骤。
私有化部署和公有云服务的取舍
在垂直行业应用中，企业可以通过私有化部署来应对数据安全挑战，但这种方法会增加运维和服务成本，影响对外服务效率和质量。对于行业发展而言，私有化方案限制了跨领域和跨行业的数据高效融合，无法充分释放大模型的潜力。
“隐语Cloud”平台提供公有云和私有云交付方案，支持主流通用大模型。在公有云服务中，用户只需一键部署和接入，即可在 10 分钟内发布高可用推理服务。用户可以按需获取密态算力，实现即时使用。
平台的未来发展
该平台将提供覆盖垂直大模型全链路的数据安全服务，从预训练、微调、评估、推理到用户交互，全程提供密态计算服务，确保数据在不同角色之间安全可信地流动。平台还将提供密态大模型开发所需的全链路工具，包括密态检索增强生成、密态提示词和 Agent 流程编排等。
（举报）