首页 > 业界 > 关键词  > 正文

智源联合共建单位开源可信中文互联网语料库CCI

2023-11-29 13:50 · 稿源:站长之家

站长之家(ChinaZ.com) 11月29日 消息:智源研究院联合拓尔思、中科闻歌共建了 “中文互联网语料库”(CCI),旨在为大数据和人工智能行业提供安全、可靠的语料资源。

该语料库经过严格的筛选和清洗,包括基于规则和模型的过滤,以及针对评测数据集的严格过滤。首期开放的数据规模为104GB,时间跨度为2001年至2023年。

人工智能 AI 数字人

图源备注:图片由AI生成,图片授权服务商Midjourney

智源研究院表示,将继续扩充数据来源、完善数据处理流程,提供更多高质量、可信的数据资源。

同时,智源研究院还开放了其他高质量中文数据集,如 WUDAO copora、COIG 和 MTP。

下载地址:

  • 智源开放数据仓库: https://data.baai.ac.cn/details/BAAI-CCI

  • HuggingFace:https://huggingface.co/datasets/BAAI/CCI-Data

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天