11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
研究人员使用插值技术将开源语言模型LLaMA的上下文窗口从原来的约3,200个token扩大了10倍,达到约32,000个token,由此开发出新的开源语言模型Giraffe。该版本有130亿个参数版本,并且拥有所有开源LLM中最大的上下文窗口之一。开源的Giraffe-v2-13b-32k模型已在HuggingFace平台上线,代码也在GitHub上开源。