11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
腾讯云
12-20
美国艾伦人工智能研究所最近发布了一个名为Dolma的开源数据集,其包含了3万亿个token,这些词汇来自包括网络内容、学术出版物、代码和书籍等广泛的来源。Dolma是目前公开可用的同类数据集中最大的一个。它还应该最大限度地减少风险,尤其是那些可能影响个人的风险。
即使有许多公开的数据集,也缺乏足够的规模来训练最先进的模型。艾伦人工智能研究所的Dolma数据集旨在实现这一目标,以便研究人员能够在大规模上研究数据效应。未来的版本可能会扩展到其他语言,从满足不同语言背景下的研究需求。
艾伦人工智能研究所发布了名为Dolma的开放式文本数据集,旨在促进AI语言模型的透明度和创新。Dolma作为AI2开放式语言模型计划的核心,将为研究人员和开发者提供免费的数据资源,以支持更广泛的AI研究。用户可通过HuggingFace平台访问Dolma,这是一个对AI领域的积极重要的发展。