11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
Text-Generation-Inference是HuggingFace今年早些时候启动的一个项目,作为支持HuggingFaceInferenceAPI和后来的HuggingChat上的LLM推理的内部工具,旨在支持大型语言模型的优化推理。该项目迅速流行,并被Open-Assistant和nat.dev等其他开源项目采用。立法者一直过于关注特定的价值链和特定的模型,大多是API模型——这种关注在开源背景下并不真正适用。