11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
网易有道6月23日开源国内首个专注数学教育的"子诳3"大模型系列数学模型(Confucius3-Math)。该模型在单块消费级GPU上高效运行,在多项数学推理任务中性能超越更大规模的通用模型,高考数学题测试得分达98.5分。其训练成本仅2.6万美元,推理性能是DeepSeek+R1的15倍,服务成本低至每百万token0.15美元,大幅降低教育AI应用门槛。该开源模型为教育公平提供低成本、高性能的AI�
分析师郭明錤的最新报告指出,NVIDIAGB200芯片订单量迎来爆炸性增长,其中微软第四季度订单量激增3到4倍,超过所有其他云服务商的总和。NVIDIABlackwell芯片的产能扩张预计将于2024年第四季度初启动,预计第四季度出货量在15万到20万块之间2025年第一季度出货量将增长200%到250%,达到50万到55万块。其他云服务提供商订单量则显著低于微软,如亚马逊在2024年第四季度有300400机柜GB2
【新智元导读】MLPerfInference发布了最新测试结果,英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技,展现出明显的性能提升,甚至刷新了部分任务上的测试纪录。大语言模型推理是一个全栈挑战。这个市场在短时间内绝对会非常精彩。
阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。
近日,Meta重磅推出其80亿和700亿参数的MetaLlama3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器,旨在提升编码语言效率并提高模型性能。即使80亿参数的Llama3模型比70亿参数的Llama2模型参数更高,在AWSm7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同。
LLaVA-1.6是一项新的技术成果,通过提升推理、OCR能力以及支持更多场景和广泛用户,为用户带来更好的体验。LLaVA-1.6不仅在多项基准测试中超越了GeminiPro,并且优于Qwen-VL-Plus,展现出了强大的性能。这将对多模态技术的发展产生积极的推动作用,为用户带来更广泛的应用场景和更好的体验。
阿里云推出了第八代企业级通用计算实例ECSg8i,采用了阿里云自研的「飞天CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI推理性能最高提升7倍,可以支持高达72B参数的大语言模型。阿里云表示,ECSg8i实例的强劲表现证明了以CPU为中心的计算体系同样具备加速AI推理的潜力,公共云不仅可以胜任超大规模的AI模型为AI应用加速落地提供了新的路径。
【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力,真的比GPT-4弱吗?此前,谷歌憋出的重磅复仇神器GeminiPro,被发现在常识推理任务中落后于OpenAI的GPT模型。这表明模型已经掌握了空间关系和物理后果,具备了类似人类认知的复杂视觉信息能力。
【新智元导读】最近,两位哈佛辍学生共同创立的AI芯片公司,估值已达3400万美元,并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍单价吞吐量更是高达140倍。像Pika一样的神级创业故事又要再次上演了?两位哈佛退学的年轻人,想要制造一款专用于大语言模型加速的AI加速器芯片,将于2024年第三季度交付,推理性能达H100的10倍。CerebrasSystems的CEO
在当前技术发展的背景下,英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新,实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术,优化了内核,支持多种量化选择,提供更优的KV缓存访问和内存分配策略,使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力,该工具包展现了英�