11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。开源赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。
ModelScope推出了预训练大语言模型推理引擎DashInfer,支持C和Python语言接口,可在多种CPU架构上高效推理大模型。DashInfer采用CRuntime编写,支持连续批处理和多NUMA推理,能充分利用服务器级CPU的算力,为推理14B及以下的LLM模型提供更多硬件选择。性能测试结果表明,DashInfer在ARM和x86CPU上具有良好的推理性能,能够有效提升大模型推理效率。
HuggingFace的diffusers轻量快速推理引擎已经在GitHub上发布。这个引擎通过一系列小幅改进,已经实现了显著提高推理速度的目标,宣称每秒可达到60步,较之前的23步有了显著提升。stable-fast准备为深度学习从业者的推理优化带来革命性的速度和效率。
OnnxStream是一款专注于减少内存占用、提高推理效率的机器学习推理引擎。它的设计目标是在资源受限的环境中运行深度学习模型,如树莓派Zero2,该设备只有512MB的RAM。它的跨平台性使得用户可以在不同的设备上灵活使用。
近日,百度深度学习平台飞桨(PaddlePaddle)发布Paddle Lite端侧推理引擎,旨在推动人工智能应用在端侧更好落地。目前,Paddle Lite已经支持了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等诸多硬件平台,是目前首个支持华为NPU在线编译的深度学习推理框架。
在人工智能数十年的发展历程中,打破低潮走向辉煌的关键点在于突破计算性能桎梏、深度学习等。而在当下,最受业界关注的人工智能细分技术之一,则是神经网络推理引擎。比如此前谷歌旗下的DeepMind研发了模块化、具有关系推理能力的深度神经网络架构RN,以“即插即用”的特性受到业界关注。而国内芯片厂商也不遑多让,福州瑞芯微电子日前就基于旗下RK3399芯片,推出率先支持Tengine神经网络推理引擎的平台——Rock960。 据了解,Ten