11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。开源赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。
华为全联接大会2024在上海盛大举行。大会以“共赢行业智能化”为主题,与全球思想领袖、商业精英、技术专家、合作伙伴、开发者等共同探讨如何赋能行业数智化转型,把握新机遇。云天励飞将与华为一起努力,持续推动国产大模型迭代和应用落地,为国产AI生态贡献力量。
云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽;采用C2CMesh互联技术,可实现卡间高速互联,带宽达64GB/s,最大可实现64张卡的互联;可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。未来X6000将进一步支撑云天励飞智算运营业务,为行业带来更丰富的算力服务。
阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。
纽约大学的最新研究对当前流行的思维链技术提出了挑战,该技术原本被认为能够提升大模型的推理能力。使用省略号代替具体的推理步骤,模型的推理结果并没有显著差异,这意味着增加计算量非推理步骤本身可能是提升性能的关键。也引发了关于AI安全性和未来发展的进一步思考。
在人工智能领域,尤其是在模型训练和推理阶段,显卡的性能至关重要。随着模型的规模越来越大,对算力的需求也会倍增。新用户还可以免费领取500元卡时计算资源。
随着ChatGPT的出现,大语言模型在生成连贯文本和遵循指令方面获得了巨大技术突破。然后在推理和解决复杂内容方面,面临内容不准确、安全等难题。每次只需要一个查询获得相似性能的集成方法需要40倍的查询量,也就是说可以节省很多算力资源。
在百度2023年第四季度及全年财报电话会上,百度创始人、董事长兼首席执行官李彦宏透露,百度文心大模型推理成本已降至1%。李彦宏表示,自发布以来,百度不断降低文心大模型的推理成本,文心一言”3.5版本的推理成本是3.0版本的1%。我们也希望以此为契机打造以文心一言”为核心的生态系统,同时也希望越来越多的用户能够从中获益”,李彦宏表示。
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEOJonathanRoss,曾设计实现第一代TPU芯片的核心元件。Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。
大语言模型在各领域应用广泛,但其文本生成过程昂贵且缓慢。为解决这一问题,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的发布标志着大语言模型推理效率的重大突破,为大规模文本生成任务提供了更加高效的解决方案,将在各领域推动语言模型的应用和发展。