首页 > 动态 > 关键词  > 创新工场最新资讯  > 正文

创新工场两篇论文入选ACL2020 中文分词和词性标注新模型性能创新高

2020-07-08 22:00 · 稿源: TechWeb.com.cn

【TechWeb】7月8日消息,全球自然语言处理领域(NLP)顶级学术会议 ACL 2020 今年在线举办,来自创新工场大湾区人工智能研究院的2篇论文入选,这两篇论文均聚焦中文分词领域。

这两篇论文分别是《Improving Chinese Word Segmentation with Wordhood Memory Networks》和《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》,由华盛顿大学博士研究生、创新工场实习生田元贺,创新工场大湾区人工智能研究院执行院长宋彦,创新工场科研合伙人张潼,创新工场CTO兼人工智能工程院执行院长王咏刚等人创作。

这两篇论文各自提出了“键-值记忆神经网络的中文分词模型”和“基于双通道注意力机制的分词及词性标注模型”,将外部知识(信息)创造性融入分词及词性标注模型,有效剔除了分词“噪音”误导,大幅度提升了分词及词性标注效果,将该领域近年来广泛使用的数据集上的分数全部刷至新高。

今天,创新工场大湾区人工智能研究院执行院长宋彦向媒体分享了这两篇入选论文的研究内容。宋彦本人有超过15年的NLP领域的科研经验。

据宋彦介绍,中文分词和词性标注是中文自然语言处理的两个基本任务。近年来,随着预训练模型的提出,有一些人提出质疑是否还有必要进行中文分词的处理,对此我们提出了不同的意见,尤其考虑到词汇级别的信息依然是中文信息处理最重要的基础。一个例子就是,虽然BERT大行其道,但是在中文上基于全词覆盖 (whole word masking)的预训练模型比直接使用单字编码的效果更好。

而创新工场的这两篇文章用记忆神经网络的方式记录对分词结果有影响的 n元组,并引入对词性标注有影响的句法知识,将分词结果和自动获得的知识衔接起来,既发挥了神经网络的优势,也把知识的优势用上,实现了分词技术上小而有效的改进和突破。

“键-值记忆神经网络的中文分词模型” 刷新中文分词历史性能

宋彦介绍,通常而言,中文语言因其特殊性,在分词时面临着两个主要难点。

一是歧义问题,由于中文存在大量歧义,一般的分词工具在切分句子时可能会出错。例如,“部分居民生活水平”,其正确的切分应为“部分/居民/生活/水平”,但存在“分居”、“民生”等歧义词。“他从小学电脑技术”,正确的分词是:他/从小/学/电脑技术,但也存在“小学”这种歧义词。

二是未登录词问题。未登录词指的是不在词表,或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词,或者是人名。这类问题在跨领域分词任务中尤其明显。

对此,《Improving Chinese Word Segmentation with Wordhood Memory Networks》论文提出了基于键-值记忆神经网络的中文分词模型。

该模型利用n元组(即一个由连续n个字组成的序列,比如“居民”是一个2元组,“生活水平”是一个4元组)提供的每个字的构词能力,通过加(降)权重实现特定语境下的歧义消解。并通过非监督方法构建词表,实现对特定领域的未标注文本的利用,进而提升对未登录词的识别。

例如,在“部分居民生活水平”这句话中,到底有多少可能成为词的组块?单字可成词,如“民”;每两个字的组合可能成词,如“居民”;甚至四个字的组合也可能成词,例如“居民生活”。

把这些可能成词的组合全部找到以后,加入到该分词模型中。通过神经网络,学习哪些词对于最后完整表达句意的帮助更大,进而分配不同的权重。像“部分”、“居民”、“生活”、“水平”这些词都会被突出出来,但“分居”、“民生”这些词就会被降权处理,从而预测出正确的结果。

键-值记忆神经网络分词模型

在“他从小学电脑技术” 这句话中,对于有歧义的部分“从小学”(有“从/小学”和“从小/学”两种分法),该模型能够对“从小”和“学”分配更高的权重,而对错误的n元组——“小学”分配较低的权重。

为了检验该模型的分词效果,论文进行了严格的标准实验和跨领域实验。

实验结果显示,该模型在5个数据集(MSR、PKU、AS、CityU、CTB6)上的表现,刷新最好成绩(F值越高,性能越好)。

宋彦表示,与前人的模型进行比较发现,该模型在所有数据集上的表现均超过了之前的工作,“把中文分词领域广泛使用的标准数据集上的性能全部刷到了新高。”

和前人工作的比较

在跨领域实验中,论文使用网络博客数据集(CTB7)测试。实验结果显示,在整体F值以及未登陆词的召回率上都有比较大提升。

基于双通道注意力机制的分词及词性标注模型“有效剔除噪音误导

第二篇论文《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》提供了一种基于双通道注意力机制的分词及词性标注模型。

宋彦介绍,中文分词和词性标注是两个不同的任务。词性标注是在已经切分好的文本中,给每一个词标注其所属的词类,例如动词、名词、代词、形容词。词性标注对后续的句子理解有重要的作用。

在词性标注中,歧义仍然是个老大难的问题。例如,对于“他要向全班同学报告书上的内容”中,“报告书”的正确的切分和标注应为“报告_VV/书_N”。但由于“报告书”本身也是一个常见词,一般的工具可能会将其标注为“报告书_NN”。

利用句法知识进行正确的词性标注

句法标注本身需要大量的时间和人力成本。在以往的标注工作中,使用外部自动工具获取句法知识是主流方法。在这种情况下,如果模型不能识别并正确处理带有杂音的句法知识,很可能会被不准确的句法知识误导,做出错误的预测。

例如,在句子“他马上功夫很好”中,“马”和“上”应该分开(正确的标注应为“马_NN/上_NN”)。但按照一般的句法知识,却可能得到不准确的切分及句法关系,如“马上”。

斯坦福大学的自动句法分析工具结果,分成了“马上”

针对这一问题,创新工场的论文提出了一个基于双通道注意力机制的分词及词性标注模型。

该模型将中文分词和词性标注视作联合任务,可一体化完成。模型分别对自动获取的上下文特征和句法知识加权,预测每个字的分词和词性标签,不同的上下文特征和句法知识在各自所属的注意力通道内进行比较、加权,从而识别特定语境下不同上下文特征和句法知识的贡献。

这样一来,那些不准确的,对模型预测贡献小的上下文特征和句法知识就能被识别出来,并被分配小的权重,从而避免模型被这些有噪音的信息误导。

基于“双通道注意力机制”的分词及词性标注

即便在自动获取的句法知识不准确的时候,该模型仍能有效识别并利用这种知识。例如,将前文有歧义、句法知识不准确的句子(“他马上功夫很好”),输入该双通道注意力模型后,便得到了正确的分词和词性标注结果。

分词及词性标注实例

为了测试该模型的性能,论文在一般领域和跨领域分别进行了实验。

一般领域实验结果显示,该模型在5个数据集(CTB5,CTB6,CTB7,CTB9,Universal Dependencies)的表现(F值)均超过前人的工作,也大幅度超过了斯坦福大学的 CoreNLP 工具,和伯克利大学的句法分析器。

即使是在与CTB词性标注规范不同的UD数据集中,该模型依然能吸收不同标注带来的知识,并使用这种知识,得到更好的效果。

该模型在所有数据集上均超过了之前的工作

CTB5(CTB5是使用最多的中文分词和词性标注的数据集)结果

而在跨领域的实验中,和斯坦福大学的 CoreNLP 工具相比,该模型也有近10个百分点的提升。

跨领域分词实验(对话测试集)的结果

宋彦总结道,“从技术创新的角度,我们的贡献主要有两点。一是在现有技术的基础上,建立了一个一体化的模型框架,使用非监督方法构建词表,并把知识(信息)融入进来,使用更高层次的句法知识,来帮助词性标注,起到'他山之石,可以攻玉’的效果。二是主动吸收和分辨不同的外部知识(信息)。通过键-值记忆神经网络和双通道注意力机制,进行动态权重的分配,能够有效分辨知识,区分哪些是有效的,哪些是无效的。虽然这些知识是自动获取的、不准确的,但‘三个臭皮匠,顶个诸葛亮’,经过有效利用,总能凑出一些有用的信息。如何实现模型的主动吸收和分辨,就变得更加重要。”

一直以来,创新工场致力于衔接科技创新和行业赋能,做嫁接科研和产业应用的桥梁,为行业改造业务流程、提升业务效率。对中文分词技术的研究也是如此。

在宋彦看来,中文分词和词性标注是最底层的应用,对于接下来的应用和任务处理非常重要。例如对于文本分类、情感分析,文本摘要、机器翻译等,分词都是不可或缺的基本“元件”。

“在工业场景使用的时候,跨领域的模型能力是一个非常直接的诉求。”宋彦强调。

宋彦以搜索引擎的广告系统为例向TechWeb介绍,论文提及的新模型可以有效地实现广告在不同领域进行内容匹配的冷启动。“以现有模型,比方说在新闻领域学到的模型,如果碰到一个体育领域的广告,那么这个时候其中很多词会没办法正确切分出来。但是在使用我们的模型时候,在新领域进行广告内容推荐,可以讲新领域的知识和事先准备的关键词等,加入我们的模型,从而把目标文本中一些比较有效的关键词,通过更好的分词结果呈现出来,而这些关键词,可能会匹配到用户输入的一些词,或者说用户在特定的网页浏览背景下面他所碰到的一些内容。所以如果分词结果正确,就能够有效的把这两部分内的内容衔接,使得用户在搜索的时候,得到的广告内容跟搜索结果是匹配的。”

目前,这两篇论文的工具都已经开源。

分词工具: https://github.com/SVAIGBA/WMSeg

分词及词性标注工具: https://github.com/SVAIGBA/TwASP

举报

  • 相关推荐
  • 大家在看
  • Partnerplace:合作伙伴管理工具,提升合作效率。

    Partnerplace是一款专为合作伙伴关系管理设计的在线工具,它通过自动化繁琐的任务,如佣金处理,帮助企业高效管理和发展合作伙伴网络。该工具支持定制化合作伙伴计划,实现品牌专业体验,并通过集中化平台提高工作效率。Partnerplace的价值观包括弹性、参与度和连接性,旨在为用户提供一个完全定制化的、参与性强的、连接销售团队和CRM系统的合作伙伴管理系统。

  • Depth Anything V2:先进的单目深度估计模型

    Depth Anything V2 是一个经过改进的单目深度估计模型,它通过使用合成图像和大量未标记的真实图像进行训练,提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升,速度比基于Stable Diffusion的最新模型快10倍以上。

  • OTTO SEO by Search Atlas:革命性的AI SEO工具,简化SEO工作流程。

    OTTO SEO是Search Atlas推出的一款AI驱动的SEO工具,旨在通过自动化技术优化网站,提高SEO效率。它通过添加OTTO像素到网站,能够自动执行网页优化,包括技术修复、内容优化、反向链接建设和内容创作。OTTO SEO的主要优点在于节省时间、提高效率,并帮助营销团队或代理公司实现SEO策略的自动化和优化。

  • AI drafts by Help Scout:提升客服团队效率,实现个性化客户服务。

    Help Scout提供的AI客服平台,通过人工智能技术,帮助客服团队提升工作效率,减少重复性工作,让团队成员能够专注于更复杂和个性化的客户对话。平台特点包括无需编程即可使用、快速回复、提升客户满意度,以及通过AI生成回复草稿等。

  • OpenVLA:开源视觉-语言-动作模型,推动机器人操作技术发展。

    OpenVLA是一个具有7亿参数的开源视觉-语言-动作(VLA)模型,通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准,支持开箱即用控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源,模型可以从HuggingFace下载并进行微调。

  • VideoLLaMA 2:视频理解领域的先进空间-时间建模与音频理解模型。

    VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型,它通过先进的空间-时间建模和音频理解能力,提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

  • HumanPlus:人类动作模仿与自主技能学习系统

    HumanPlus是一个研究项目,旨在通过模仿人类动作来训练人形机器人,从而实现自主技能学习。该项目通过模拟强化学习训练低级策略,并将这些策略应用到真实世界中,实现实时跟踪人类身体和手部动作。通过影子模仿技术,操作员可以远程操作机器人收集全身数据,用于学习不同任务。此外,通过行为克隆技术,机器人能够模仿人类技能,完成各种任务。

  • Jace:AI助手,助力高效营销与管理。

    Jace是一款商业领域的AI助手,专注于提升营销效率,无需专业技能即可轻松启动和管理营销活动。其主要优点包括创建针对性的营销活动、实时监控性能和随时优化。

  • ARC-AGI:人工智能通用推理测试集

    ARC-AGI是一个旨在测试人工智能系统是否具备类似人类一般流体智力的抽象和推理能力的数据集。它由400个训练任务和400个评估任务组成,每个任务都以JSON格式存储,包括输入输出对。该数据集可以作为人工智能基准测试、程序合成基准测试或心理测量智力测试。

  • PROTEUS:实时表情生成人类模型

    PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。

  • Warp:AI和协作工具重新定义的终端

    Warp是一款使用Rust语言编写的终端应用程序,它通过集成AI和协作工具,提供了现代化的编辑、命令生成、可复用工作流和知识共享等功能,旨在提升开发者的生产力。Warp的AI功能可以建议正确的命令或解答编程问题,同时保持请求的私密性和安全性。Warp Drive允许用户组织难以记忆的命令,提高个人和团队的效率。此外,Warp还提供了自定义主题和以隐私为设计原则的安全性。

  • TalkWithGemini:一键部署您的私人Gemini应用

    TalkWithGemini 是一款支持一键免费部署的跨平台应用,用户可以通过这个应用与 Gemini 模型进行交互,支持图片识别、语音对话等多模态交互方式,提高工作效率。

  • PowerInfer-2:专为智能手机设计的高效大型语言模型推理框架

    PowerInfer-2是一个为智能手机特别优化的推理框架,支持高达47B参数的MoE模型,实现了每秒11.68个token的推理速度,比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术,显著减少了内存使用,并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景,以增强数据隐私和性能。

  • emo-visual-data:表情包视觉标注数据集

    emo-visual-data 是一个公开的表情包视觉标注数据集,它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注,收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型,对于理解图像内容和文本描述之间的关系具有重要意义。

  • E3Gen:高效、表现力强、可编辑的数字头像生成

    E3Gen是一种新型的数字头像生成方法,能够实时生成高保真度的头像,具有详细的衣物褶皱,并支持多种视角和全身姿势的全面控制,以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中,解决了3D高斯与当前生成流程不兼容的问题,并探索了在涉及多个主体的训练中3D高斯的表现力动画。

  • Surface:使用AI提升表单转化率

    Surface是一个基于AI技术的在线表单构建工具,专为营销和需求生成团队、CRO专家以及领英生成团队设计。它提供了一个无代码表单构建器,能够创建与品牌匹配的多步表单,提升转化率并收集部分响应数据。通过AI技术,Surface可以提高潜在客户的筛选过程,确保用户专注于最有希望的潜在客户。此外,它还提供了强大的入站工作流程自动化,以及2000多个集成选项,帮助用户有效地捕获、培养和转化潜在客户。

  • MotionClone:训练无关的运动克隆,实现可控视频生成

    MotionClone是一个训练无关的框架,允许从参考视频进行运动克隆,以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动,并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外,为了协助生成模型合成合理的空间关系并增强其提示跟随能力,提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

  • Leonardo Phoenix:创新的AI基础模型,提供卓越的提示遵循能力。

    Leonardo Phoenix是Leonardo AI平台推出的一款基础模型,它在提示遵循、图像生成清晰度和AI研究方面取得了突破性进展。该模型通过架构创新,提供了更高质量的图像生成,特别是在人像、横幅、海报和标志的文本生成方面表现出色。此外,它还增强了创造性控制,允许用户通过提示增强和AI提示编辑来轻松获取和快速修改生成内容。尽管目前一些功能如图像引导、元素和照片写实尚未集成,但预计将在不久的将来加入。

  • Uizard Autodesigner 2.0:AI驱动的UI设计生成器,快速实现设计和原型制作。

    Autodesigner 2.0是Uizard公司推出的最新版AI UI设计生成器,它结合了ChatGPT的对话流和Uizard的生成设计能力以及拖放编辑器,使用户能够仅通过文本提示实时设计和迭代。该产品通过AI技术简化了UI设计流程,提高了设计效率,尤其适合产品经理、设计师、市场营销人员、初创公司创始人和开发者等不同背景的用户。

  • KREA AI Enhancer:视频和图像增强工具,提升画质清晰度。

    KREA AI - Enhancer 是一款在线视频和图像增强工具,利用AI技术提升视频和图像的清晰度和质量。它通过实时处理,帮助用户改善视觉内容,适用于需要高质量视觉素材的专业人士和爱好者。产品背景信息显示,KREA AI - Enhancer 通过AI算法优化,能够在短时间内提供高质量的输出,是内容创作者和编辑者的理想选择。

今日大家都在搜的词:

热文

  • 3 天
  • 7天