首页 > 快讯 > 关键词  > 创新工场最新资讯  > 正文

创新工场提出中文分词和词性标注新模型 可提升工业应用效率

2020-07-13 19:11 · 稿源: Donews

DoNews7月13日消息(记者 翟继茹)13日,记者从创新工场获悉,其最新提出了中文分词和词性标注模型,可将外部知识(信息)融入分词及词性标注模型,剔除了分词“噪音”误导,提升了分词及词性标注效果。在NLP中,中文分词和词性标注是中文自然语言处理的两个基本任务,尤其在工业场景对分词有非常直接的诉求,但当前没有比较好的一体化解决方案,而且中文分词普遍存在歧义和未登录词的难题。创新工场方面解释,中文语言因其特殊性,在分词时面临着两个主要难点。一是歧义问题,由于中文存在大量歧义,一般的分词工具在切分句子时可能会出错。例如,“部分居民生活水平”,其正确的切分应为“部分/居民/生活/水平”,但存在“分居”、“民生”等歧义词。“他从小学电脑技术”,正确的分词是:他/从小/学/电脑技术,但也存在“小学”这种歧义词。

二是未登录词问题。未登录词指的是不在词表,或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词,或者是人名。这类问题在跨领域分词任务中尤其明显。因此,在“键-值记忆神经网络的中文分词模型”的模型中,利用n元组(即一个由连续n个字组成的序列,比如“居民”是一个2元组,“生活水平”是一个4元组)提供的每个字的构词能力,通过加(降)权重实现特定语境下的歧义消解。并通过非监督方法构建词表,实现对特定领域的未标注文本的利用,进而提升对未登录词的识别。

在算法实验中,该模型在5个数据集(MSR、PKU、AS、CityU、CTB6)上的表现,均刷新历史成绩。

创新工场大湾区人工智能研究院执行院长宋彦表示,与前人的模型进行比较发现,该模型在所有数据集上的表现均超过了之前的工作,“把中文分词领域广泛使用的标准数据集上的性能全部刷到了新高。”在基于双通道注意力机制的分词及词性标注模型中,将中文分词和词性标注视作联合任务,可一体化完成。模型分别对自动获取的上下文特征和句法知识加权,预测每个字的分词和词性标签,不同的上下文特征和句法知识在各自所属的注意力通道内进行比较、加权,从而识别特定语境下不同上下文特征和句法知识的贡献,从而降低了“噪音”。创新工场介绍,在和斯坦福大学的 CoreNLP 工具的相比中,该模型有近10个百分点的提升。

在场景应用上,创新工场主要希望解决工业场景的突破,宋彦表示,“在工业场景使用的时候,跨领域的模型能力是一个非常直接的诉求。”创新工场介绍,“键-值记忆神经网络的中文分词模型”和“基于双通道注意力机制的分词及词性标注模型”两篇文章,已经入选自然语言处理领域(NLP)顶级学术会议 ACL 2020。(完)

  • 相关推荐
  • 大家在看
  • 今年迄今为止特斯拉已在德州奥斯汀创造5000个新工作岗位

    据国外媒体报道,根据奥斯汀商会的一份报告,2021年到目前为止,特斯拉已在德克萨斯州奥斯汀创造了5000个新工作岗位,是在奥斯汀承诺并且创造最多就业岗位的公司。

  • 信用飞坚持创新步伐,迈出数字化创新关键一步

    一场突如其来的疫情构成了影响全球经济波动的“黑天鹅”事件,但值得注意的是,在负面影响的背后,出现了新的经济增长点。正如今年的政府工作报告所言:“电商网购、在线服务等新业态在抗疫中发挥了重要作用,要继续出台支持政策,全面推进‘互联网+’,打造数字经济新优势。”正所谓危中有机,数字经济正成为发展新引擎。 目前,我国数字经济规模已占到经济总量的三分之一,党和政府也高度重视数字经济的发展。本届中共中央政治?

  • 特斯拉在2021年已在奥斯汀创造了5000个新工作岗位

    根据美国德州奥斯汀商会的一份报告,截至2021年,特斯拉已经在德克萨斯州奥斯汀创造了5000个新工作岗位。1月至9月,扩大或迁入该市的公司承诺创造20840个工作岗位,其中150家公司为增长做出了贡献。数据显示,特斯拉是奥斯汀承诺2021年创造就业岗位最多的公司。

  • 英特尔亚利桑那州新工厂9月24日动工 投资高达200亿美元

    据国外媒体报道,今年 3 月份,上任一个多月的英特尔新任CEO帕特·基辛格,在“英特尔发布:工程未来”的网络直播中,宣布他们将投资 200 亿美元,在亚利桑那州新建两座芯片工厂。

  • 欢拓云招聘直播,创新“引才”新模式

    从淘宝直播到拼多多、小红书纷纷开启“电商直播”模式,短视频种草、直播拔草,成为行业趋势,所有人都在找寻下一个薇娅或李佳琦。在这背后,是不断爆发增长的直播需求、批量成立的MCN和直播机构,还有想要赶上风口、涌入直播行业的大量应聘者。不少人好奇,直播行业招聘现状如何?相信很多企业在招聘方面都遇到过大大小小的问题,场地租赁成本高、人才筛选困难、组织面试难、要求沟通不到位等都是企业招聘的主要难点,而刚掀起热潮

  • 海尔凭什么持续引领质量创新浪潮

    十四五规划纲要提出,坚持把发展经济着力点放在实体经济上,加快推进制造强国、质量强国建设,加强产业基础能力建设、提升产业链供应链现代化水平、推动制造业优化升级。企业是推动社会经济高质量发展的重要主体,需要跟随时代趋势不断强化高质量发展能力。近日,第四届中国质量奖评选结果正式揭晓,共表彰了9家组织和1名个人。中国质量奖是中国质量领域的最高荣誉,旨在推广科学的质量管理制度、模式和方法,促进质量管理创新,传

  • 库克十年:别纠结创新,赚钱更重要

    iPhone13是库克在任10年的收官之作,与往年一样,库克再度被外界批评创新不足,10年期满,库克交出的是一份不完美的答卷,缝缝补补又一年。<br/> <br/>

  • 创新之余保证品质,YOOZ柚子走出的发展道路

    近年来国内兴起电子雾化热潮,市场高度膨胀,大量品牌、商家、用户涌入。伴随着对于电子雾化器的逐步深入了解,用户对于电子雾化产品的使用要求也不断提高。作为在“大浪淘沙”中留下来的成员,YOOZ柚子更加深刻地理解了“以用户为根本”这句话的内在含义,并坚持以此为品牌理念,在进入行业第一梯队并稳定市场后,不断规范线下市场管理和承担起头部电子雾化器品牌的社会责任。 在创新上,YOOZ柚子一直秉承着从用户体验感下手,走

  • 产品创新冲击新茶饮市场,喜茶为何如此成功

    在新茶饮时代,什么样的品牌最能抓住消费者的心呢?毋庸置疑,产品创新永远是个关键点。在竞争激烈的新茶饮市场,高频次的产品创新,会让消费者永远保持好奇,不断种草。而代表品牌,便是喜茶。从大众点评用户数据抓取来看,喜茶产品概况的评价高频词中,对于口感的描述更多,突出口感特色能够让消费者更愿意在社交媒体中针对口感来描述和评价产品,从而能够反馈消费者对于产品的欢迎程度和接受程度。而关于味道的样本词语高达 18

  • 性价比再提升,智跑Ace用创新引领时代的魅力

    Ace是指“顶尖的、一流的、王牌的意思”。东风悦达起亚深耕SUV市场多年,期间收获了无数的车主信赖。智跑Ace作为新标下的首款量产车,满足年轻消费者的高需求,是运用高能泵感美学、高科技魅力来助力年轻人的梦想座驾。智跑Ace18英寸的超大轮毂,一眼入魂美的唯一道理,是不讲道理。“高能泵感美学”的灵感,来自于一种绝对的视觉征服,只需一眼,全面沦陷。车身灵动,宣言年轻主权。繁星点阵式横向中网/瀑布流水式竖纹中网,加持?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天