11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
腾讯云
12-20
云天励飞近日加入OISA生态,携手产业伙伴共建国产AI芯片互联体系,为中国算力生态注入新动力。OISA是中国移动提出的开放互联标准体系,旨在打造全向、对等、智能的互联新范式,解决智算集群内存互访难题,为大规模并行计算提供技术基石。云天励飞凭借在AI芯片与算力架构的长期积累,将依托“算力积木”架构的模块化优势,在大规模推理集群中实现高效互联,助力突破万级MoE大模型推理瓶颈,推动国产算力生态发展。
北京大学张牧涵团队在昇腾算力支持下,研发出一套高效大模型训练推理架构,实现百万tokens输入成本低至1元。该成果包含三项关键技术:1)通过分离注意力头中的位置与非位置信息,仅用3%位置信息即可维持模型性能;2)采用联合KV低秩压缩方法,仅保留12.5%的KV Cache;3)基于昇腾硬件并行计算能力,实现Recurrent Decoding技术提升训练数据利用率。该架构显著降低AI大模型应用成本,验证了昇腾算力平台支撑尖端科研的实力。
香港智能有限公司(HKIT)与WALLX公司合作,将AI技术与心理治疗相结合,开发出基于区块链的奖励和参与模式。该创新系统能精准评估用户心理状态并提供个性化治疗方案,同时利用区块链确保数据安全。双方还推出奖励机制,用户参与心理课程或贡献数据可获得,用于兑换咨询服务或健康产品。这一模式获得市场广泛关注,多家机构表达合作意向,被视为心理健康服�
魔乐社区启动"模型推理适配协作计划",旨在解决国产算力平台与大模型间的适配难题。该计划通过开源协作模式,联合开发者、芯片厂商等生态伙伴,构建从工具链到知识库的全栈支持体系,打造适配成果共享平台。重点支持开源大模型在国产硬件及多样化推理引擎上的高效运行,提供模型转换工具和优化指南,降低开发门槛。目前已有文心大模型4.5等首批适配成果�
OpenAI推出突破性的o3推理模型,首次实现图像直接融入推理过程,在多模态基准测试V* Bench上准确率达95.7%。DeepSeek完成R1模型升级,上下文窗口从12K扩展至23K,幻觉率降低45%-50%。行业呈现开源趋势,DeepSeek开源策略促使多家企业跟进,OpenAI也考虑开源。微美全息加速布局多模态大模型,计划提供实时多模态AI体验。专家指出AI发展重心正从大模型向智能体演进,开源技术显著降低训练门槛,提升泛化能力,为多模态智能探索开辟新路径。企业需紧跟趋势把握机遇,在大模型驱动的新时代找准定位。
据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。开源赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。
随着DeepSeek日益广泛的应用,DeepSeek-R1更侧重于实时交互与响应效率,非常适合轻量级应用和高并发场景,智微智能近期推出了一款Deepseek高性能工作站80413WG4,可承载DeepSeek深度AI应用创新,提供一键部署、性能更优、快速开发应用的最佳实践方案,为您的AI应用提供强劲动力!智微智能4GPU工作站80413WG4搭配英特尔W3400处理器,可扩展4路双宽4090/A800/A6000等GPU,智微智能80413WG4工作站可实现4路并行计算,最大程度提高DeepSeek-R1的推理运行效率。无论您是AI开发者、企业决策者是行业专家,智微智能Deepseek高性能工作站80413WG4的DeepSeek模型推理解决方案都将为您提供无与伦比的性能与体验。
今日,阿里云通义开源全新的数学推理过程奖励模型Qwen2.5-Math-PRM,72B及7B尺寸模型性能均大幅超越同类开源过程奖励模型。在识别推理错误步骤能力上,Qwen2.5-Math-PRM以7B的小尺寸超越了GPT-4o。这证明了过程奖励模型能够显著提高推理的可靠性,为未来开发推理过程监督技术开辟了新的途径。
华为全联接大会2024在上海盛大举行。大会以“共赢行业智能化”为主题,与全球思想领袖、商业精英、技术专家、合作伙伴、开发者等共同探讨如何赋能行业数智化转型,把握新机遇。云天励飞将与华为一起努力,持续推动国产大模型迭代和应用落地,为国产AI生态贡献力量。
随着ChatGPT等产品的广泛应用,确保其输出的安全性成为场景化落地的关键。传统方法是使用RLHF来进行安全对齐,但有两大局限性难以持续使用。在内部安全评估中,RBR训练的模型在安全性和过度拒绝指标上表现出色,F1分数达到97.1,高于人类反馈基线的91.7和有助益基线的95.8。