11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
近日,Meta重磅推出其80亿和700亿参数的MetaLlama3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器,旨在提升编码语言效率并提高模型性能。即使80亿参数的Llama3模型比70亿参数的Llama2模型参数更高,在AWSm7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同。
LLaVA-1.6是一项新的技术成果,通过提升推理、OCR能力以及支持更多场景和广泛用户,为用户带来更好的体验。LLaVA-1.6不仅在多项基准测试中超越了GeminiPro,并且优于Qwen-VL-Plus,展现出了强大的性能。这将对多模态技术的发展产生积极的推动作用,为用户带来更广泛的应用场景和更好的体验。
阿里云推出了第八代企业级通用计算实例ECSg8i,采用了阿里云自研的「飞天CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI推理性能最高提升7倍,可以支持高达72B参数的大语言模型。阿里云表示,ECSg8i实例的强劲表现证明了以CPU为中心的计算体系同样具备加速AI推理的潜力,公共云不仅可以胜任超大规模的AI模型为AI应用加速落地提供了新的路径。
【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力,真的比GPT-4弱吗?此前,谷歌憋出的重磅复仇神器GeminiPro,被发现在常识推理任务中落后于OpenAI的GPT模型。这表明模型已经掌握了空间关系和物理后果,具备了类似人类认知的复杂视觉信息能力。
【新智元导读】最近,两位哈佛辍学生共同创立的AI芯片公司,估值已达3400万美元,并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍单价吞吐量更是高达140倍。像Pika一样的神级创业故事又要再次上演了?两位哈佛退学的年轻人,想要制造一款专用于大语言模型加速的AI加速器芯片,将于2024年第三季度交付,推理性能达H100的10倍。CerebrasSystems的CEO
在当前技术发展的背景下,英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新,实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术,优化了内核,支持多种量化选择,提供更优的KV缓存访问和内存分配策略,使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力,该工具包展现了英�
在近日的第二十届中国计算机大会上,百度首席技术官王海峰表示,百度在3月16日发布知识增强大语言模型文心一言,目前文心一言的基础模型已迭代到文心大模型4.0版本。知识增强大语言模型从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。飞桨和文心生态愈加繁荣,已凝聚800万开发者,服务22万家企事业单位,基于飞桨创建了80万个模型。
英伟达日前发布了全新的NVIDIAL40SGPU,以及搭载该加速卡的NVIDIAOVX服务器系统。这款全新的GPU和OVX服务器适用于人工智能大模型训练和推理、三维设计和可视化、视频处理、工业数字化等多种用途。这些服务器将有助于推动人工智能的发展和应用。
百度智能云在成都举行的技术交流会上宣布,自3月开始内测两个月以来,其文心一言的推理性能已经提升了10倍。基于文心千帆大模型平台提供的完备工具链,在企业应用高频核心场景中,文心一言的高性能模式“文心一言-Turbo”推理服务性能已经提升了50倍,这将为客户的模型使用效果和效率带来极大的提升。企业可以在文心千帆大模型平台上申请测试“文心一言-Turbo”高性能模式。
今日晚间,在百度新使命六周年暨百度骄傲颁奖典礼上,李彦宏谈透露,文心一言内测一个多月便完成了4次大的技术升级,大模型推理成本已经降到了原来的十分之一,或者说推理性能提升近10倍。李彦宏表示,百度在全球大厂当中,首个发布了对标ChatGPT的大模型产品文心一言。”他还称,新时代需养成AI原住民思维,未来要用AI原生应用”的思维方式和理念,重构百度每一个