首页 > 传媒 > 关键词 > 京东AI最新资讯 > 正文

京东AI研究院获QuAC机器阅读理解竞赛冠军,EL-QA模型能力业界领先

2020-09-11 15:25 · 稿源:站长之家用户投稿

近日,在斯坦福大学、华盛顿大学、Allen AI 和 UMass 联合发起的机器阅读理解(QuAC[1] (Choi et al., 2018))比赛上,京东 AI 研究院语音语言实验室提出的 EL-QA 模型(Single Model)登顶 QuAC Leaderboard,全部三项指标均获得第一名。

其中,在 F1-Measure(又称为 F1-Score) 指标上达到 74.6,大幅拉近了机器与人类在该任务上的水平差距。这也意味着以零售、物流、金融、客服等优质场景为依托的京东 AI 研究院,在机器阅读理解能力上取得了突飞猛进的成果。

https://upload.chinaz.com/2020/0911/2020091115262338280.png

图 1QuAC 挑战赛官方成绩榜单

目前,QuAC 是人机多轮对话交互领域复杂度最高的数据集,要求模型具备强大的上下文语义理解、指代推理、省略语义恢复和知识推理等能力,这也吸引了全球顶级科研院所和企业研究机构参加。从结果来看,QuAC 具有较高的难度,在这个数据集上目前的最佳 AI 模型的性能距离人类表现仍有一定差距,表明在这个问题上技术还有进步的空间。

QuAC 新挑战:更复杂的数据集、更开放的问题、更贴近真实场景

机器阅读理解能力已成为判断机器是否具有自然语言理解(语义理解、阅读、问答等)能力的重要标准。SQuAD[2] (Rajpurkar et al., 2016) 数据集的提出极大地推动了机器阅读理解的研究与发展。随着模型在上述单轮问答场景超越人类,更有挑战的交互式阅读理解数据集,如 CoQA[3] (Reddy et al., 2018) 等,被相继提出。

相比于众多交互式阅读理解数据集,QuAC 具有更鲜明的特点,也更进一步反映了复杂人机对话交互应用场景的难度。比如(1)基于答案对提问者不可见的方式构造开放式问题,增大回答难度;(2)增加对话引导行为(Action)辅助提问者调整提问话题,以便高效获取信息;(3)模拟真实场景引入不可回答问题,增加对模型理解与判断能力的要求。

具体而言,该数据集是由提问者(Student)和回答者(Teacher)针对某一主题展开对话而构建的,提问者在只能看见给定主题而不可见主题具体信息的条件下进行开放式的提问,回答者针对问题不仅要给出具体回复(response),并且需反馈对话引导行为和问题是否可回答等信息。

https://upload.chinaz.com/2020/0911/2020091115262338281.png

图 2:QuAC 数据集示例

例如,图 2 展示了提问者首先根据主题 Daffy Duck 进行提问。回答者会根据给定主题相关信息和交互历史来判断当前问题所讨论的话题是否可继续提问,继而反馈给提问者相应的对话引导行为,包括继续当前话题(Follow-Up),终止当前话题(Don’t Follow-Up)或无法判断是否继续(Maybe Follow-Up),并最后给出相应的答案。

该竞赛的数据构造过程更贴合人们通过对话进行信息获取(Conversational Information-Seeking)的真实场景。例如在零售领域,用户对某一商品进行开放式咨询,智能客服根据具体的商品信息对用户的提问进行可回复性判断,并给出用户是否继续或改变当前咨询话题的引导行为,最终给出自然语言回复。相对于传统的智能客服,这种新的交互方式可以极大地提升用户的对话体验和效率。

https://upload.chinaz.com/2020/0911/2020091115262338282.png

图 3:QuAC 与其他机器阅读理解数据集的多维度对比

图 3 给出了 QuAC 与时下多个热门机器阅读理解数据集的详细对比,可看出 QuAC 具有最丰富的数据特性,要求模型具有更强的上下文语义理解和对话逻辑推理能力。

京东 AI 研究院 EL-QA 模型斩获新 SOTA

京东 AI 研究院语音语言实验室提出的 EL-QA 模型(Single Model)登顶 QuAC Leaderboard,全部三项指标均获得第一名,其中特别是 HEQD(对话 Session 层面对比人类平均水平的指标)显著领先之前最好表现。该结果的取得主要得益于我们在关键技术上的创新,包括大规模预训练语言模型、知识迁移、多任务学习、数据增强、Beam-Search 解码答案和 Deep Ranking 等。

拥有优质场景和广阔应用价值的企业或机构在本次竞赛中占据优势。本次竞赛从参赛队伍到榜单分布,大多是在智能人机交互服务领域有重要相关业务的企业的实验室。这也体现出,一方面,科技企业基于资源优势正在核心技术研发方面走到前沿,而大学则聚焦于新问题新思想新方向的提出和中立的技术评价,学术界和企业界形成了良性的紧密合作。另一方面,这也表明,智能人机对话交互技术不仅具有重要的研究价值,也有重大的产业价值。

企业的全力加入使得此领域的技术竞争日益激烈,是兵家必争之地。这次评测的对话式机器阅读理解相关技术可广泛应用于智能客服、营销导购、人机协同、AI + 教育等产品中,带来效率和体验的直接提升。

据悉,京东 AI 研究院语音语言实验室围绕自然语言处理、语音与声学、知识图谱、人机对话与交互、多模态信息处理等前沿领域开展人工智能技术研究,近两年已经在国际顶级学术会议和期刊上发表论文 50 多篇,获得 IEEE Signal Processing Society 等最佳论文奖,在多个有影响力的国际竞赛中获得冠军,同时也承担了多项国家重点研发计划。其研发的多项前沿技术也成功转化落地,支撑了京东智联云多个重要产品。此次研发的对话式机器阅读理解相关技术部分已落地到了京东智联云智能人机交互部的商城智能客服、商家智能客服、客户服务数据分析平台、智能写作以及商品知识图谱驱动的采购大脑等核心产品当中。

参考文献

[1] Choi E, He H, Iyyer M, et al. Quac: Question answering in context[J]. arXiv preprint arXiv:1808.07036, 2018.

[2] Rajpurkar P, Zhang J, Lopyrev K, et al. Squad: 100,000+ questions for machine comprehension of text[J]. arXiv preprint arXiv:1606.05250, 2016.

[3] Reddy S, Chen D, Manning C D. Coqa: A conversational question answering challenge[J]. Transactions of the Association for Computational Linguistics, 2019, 7: 249-266.

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 百度研究院架构升级,新增生物计算和安全实验室

    近日,百度研究院宣布架构新升级,新增两大实验室——生物计算实验室和安全实验室,进一步拓展AI前瞻性研究范围。升级之后,百度研究院设有认知计算实验室、硅谷人工智能实验室、深度学习实验室、大数据实验室、商业智能实验室、量子计算研究所、机器人与自动驾驶实验室和安全实验室,生物计算实验室,共计九大实验研究室。

  • 中国移动上海产业研究院首创“5G发现观”亮相荧屏

    8 月 14 日,由中国移动上海产业研究院(以下简称“上研院”)首创的“5G发现观”节目正式上线。该节目是一档以“5G”为主题的系列访谈节目,重点聚焦交通、工业、金融等行业,通过产、学、研多方位专家视角,解读行业痛点,带领观众洞察产业智能化的无限可能。首期节目聚焦交通领域,主题为“5G推动智能网联汽车产业‘提速换挡’”,由上研院副总经理黄刚担当“智慧交通发现官”。嘉宾阵容强大,包括上汽集团副总工程师张程、同济

  • 阿里达摩包揽AI领域六大权威榜单冠军:用人类的学习方式超越人类

    让AI模仿人类的学习方式,结果会怎样?8月26日,阿里达摩院语言技术实验室取得一系列突破,斩获自然语言处理(NLP)领域6大权威技术榜单冠军。据介绍,参与竞赛的6项自研AI技术均采用模仿人类

  • 研究机构预计浪潮将是今年全球三大AI服务器供应商之一

    据国外媒体报道,人工智能技术已应用到了众多的行业中,人工智能市场也在持续扩大,软件、硬件及服务方面的营收在逐年增加,国内相关的人工智能厂商,也有不错的表现。研究机构在最新的报告中就预计,国内的服务器供应商浪潮,将会是今年全球的三大人工智能服务器供应商之一,另外两家是戴尔和惠普企业。人工智能服务器,是人工智能所需的硬件设备中的一项,研究机构支出的另一项硬件是存储设备,今年的?

  • 京东关联公司注册“京东电竞”商标

    DoNews 8月26日消息(记者 刘文轩)天眼查APP显示,近日,北京京东叁佰陆拾度电子商务有限公司新增多条商标信息,其中包括多条 “京东电竞”商标,申请日期在2020年7月,涉及国际分类有科学仪器、教育娱乐、健身器材、广告销售等。北京京东叁佰陆拾度电子商务有限公司成立于2007年4月,法定代表人为刘强东,注册资本9.2亿人民币,经营范围包括批发、零售机械设备、五金交电、电子产品、照相器材、计算机硬件及外围设备、化妆品及卫

  • 京东回应暂停申通合作:阿里拒绝接入京东物流

    凤凰网科技讯 8月18日下午消息,京东日前回应禁止卖家用申通快递发货一事。京东称,与申通的合同已经过期,且并未就续约达成一致。不过,更主要的原因与阿里有关。京东表示,自去年阿里巴巴战略投资成为申通的实际大股东后,京东物流对等提出入驻阿里旗下电商平台的合作需求,但至今未得到响应,双方无法就续约问题达成一致,只能暂停合作。以下是京东回应全文:1、京东开放平台暂停与申通的合作是因为双方的合同已经过期,且并未?

  • 深圳AI独角兽云天励飞荣获2020 AI STAR奖项

    8 月27- 29 日,由深圳市福田区人民政府指导、深圳市人工智能行业协会主办的“ 2020 深圳(国际)人工智能展”盛大举办,云天励飞受邀参展,并荣获2020 AI STAR的奖项。展会设“全球人工智能创业者大会”(GAISC),云天励飞副总裁郑文先受邀出席发表出题演讲,并参与圆桌讨论。郑文先在演讲中提到,新基建开启新一轮AI产业落地的黄金时代。新基建相关任务中提到的5G、人工智能、数据中心等技术,将加速解决数据传输、算力不足等问题,

  • 京东计划分拆京东健康 最快将于明年上市

    据《香港经济日报》报道,京东计划分拆京东健康于香港上市,集资 10 亿美元(约 78 亿港元),预期京东健康最快明年上市,目前已委任美林、海通及瑞银为上市负责行。

  • 京东健康发布全新服务产品“京东家医”

    今日,京东健康发布了全新服务产品“京东家医”。京东健康家庭医生服务覆盖日常咨询、专科问诊、疑难重症、健康管理等场景,门诊预约范围覆盖全国各大城市的 2700 多家三级医院,三甲医院覆盖率达98%。据了解,用户在京东健康签约家庭医生后

  • 京东携程达成战略合作 携程核心产品链将接入京东

    8月16日下午消息,京东与携程宣布达成战略合作,携程核心产品链将接入京东平台,双方将在用户流量、渠道资源、跨界营销、商旅拓展、电商合作等方面开展全方位的合作。根据双方达成的战略合作协议,携程将为京东集团提供实时产品库存,以及极具市场竞争力的产品价格。京东集团将接入携程的核心产品供应链,并将京东平台的用户流量开放给携程。在日常运营及精准营销方面为携程旅行产品供应链提供全方位的支持。双方共同

  • 京东数科logo升级:蓝中添了一抹京东

    8月10日,京东数字科技集团(以下简称“京东数科”)宣布logo升级,在京东数科的蓝色主色系之中强化了京东集团的红色视觉。官方称,这寓意着京东数科将继承与延续京东集团的价值观与

  • 京东购机福利多多 用京东白条开启5G支付新时代

    受疫情的影响,虽然各行各业受到了极大的冲击,但是也让一些新兴产业遇到了新的机遇,现在随着我国5G网络时代的到来,大家把眼光聚焦在了5G手机上,而5G手机的炙手可热也成就了它居高不下的价格。这对于很多年轻人来说,预算就受到了影响。但这并不用担心,上京东购买手机不仅可以享受到大额津贴,同时还可以使用京东白条免息服务,让你告别资金局限,尽情选购。现在,功能强大,网速流畅的5G手机已经推出,你还在犹豫什么呢?去京?

  • 京东商家仍可使用申通发货 自营商家默认京东快递

    近日,针对“京东暂停与申通合作”一事,有京东平台的商家回应称,依然可以选择由申通快递发货,不过8月31日之后无法看到申通的物流信息。京东客服表示,在京东平台上,属于京东自营商家默认京东快递,不是自营的商家则自行安排快递。

  • 京东:子公司京东物流以30亿元收购跨越速运

    8月14日消息,京东对外发布公告称,子公司京东物流将收购综合速运企业跨越速运的控股权益,此次收购以总对价30亿元收购跨越速运现时股份及认购跨越速运已发行新股份进行,预计交易将于2020年第三季度完成。对于此次收购,京东物流集团CEO王振辉表示,“很高兴和跨越速运达成合作,双方共同致力于为客户提供最佳服务体验,价值观高度契合。跨越速运长期深耕的企业品牌和运营质量值得充分信赖,在高时效快运产品、技术创

  • 思必驰AI语音,助力TWS耳机体验升级

    生活中随处可见,热衷于智能耳机的用户们,有着非常明显的群体特征,他们往往日常上班通勤,热爱运动健身和出差旅游,为音乐发烧,生活中常常接触外卖、出行、快递等服务,他们更为年轻,更关注生活品质,也具备一定的消费能力基础。这样的他们,对产品也抱有更高的期望。AI语音助力TWS耳机体验提升8月20日,我爱音频网主办的 “2020(秋季)亚洲蓝牙耳机展”在深圳举办,峰会聚集全球知名蓝牙耳机产业链企业,揭晓多款重磅产品。同时,智能语音是?

  • 京东回应暂停与申通合作

    近日,一封京东于今年 7 月发布的公告在网络流传,公告内容显示,由于京东开放平台与佳吉快运、国通快递、卡行天下、申通快递、如风达、全峰快递等物流服务承运商的合同陆续到期, 2020 年 8 月 31 日之后,上述物流服务承运商可能无法在系统发货列表中选择,相关物流跟踪信息也将无法在京东平台展示。

  • 京东iQOO读书日活动开启,可免费领取京东读书VIP月卡

    9月10日,iQOO和京东联合开展读书日活动,对于喜欢看书和玩游戏的小伙伴们而言,是一次不错的机会。而且在活动期间,上京东购买iQOO品牌的产品就会有相应的优惠福利。福利诸多,京东读书VIP月卡让人心动现在只要进京东iQOO官方旗舰店购买iQOO产品,用户就可以享受全场至高立减400元、全场至高24期免息等诸多优惠。这样的优惠福利,对于任何人而言都有很大的吸引力。不仅如此,在活动期间,用户进店加入会员就可以免费领取京东读书V

  • 京东健康发布服务产品“京东家医” 全新定义“家庭医生”

    “未来 5 年,京东健康的家庭医生要服务 5000 万个家庭。” 8 月 18 日,京东健康发布了全新服务产品——“京东家医”,京东集团副总裁、京东健康CEO辛利军为这个战略级的新产品定下了一个中长期目标。(京东集团副总裁、京东健康CEO辛利军)在疫情后时期,国民健康意识迅速提升,医疗健康话题也受到空前关注。作为百姓健康守门人的家庭医生,被赋予越来越重要的使命。在疫情常态化的当下,整合多年发展和积淀的互联网医疗服务能力

  • 单季收入破2000亿,生态闭环形成, 京东再造下沉京东

    下沉市场鏖战正酣,前有淘宝拼多多短兵相接,后有京东苏宁相继入局。在这个已成为兵家必争之地的新兴领域,京东的打法和所有友商都有点不同——京东的下沉,是全渠道、全链路的体系性下沉,线上针对不同细分人群上线京喜、京东极速版,线下已在县镇市场铺设出 15000 家京东家电专卖店。而伴随着全资控股五星电器,将后者的线下资源收入囊中,京东对下沉市场的全渠道布局或将持续加速。

  • 国美京东合作联合大采购,国美京东可进一步提升供应链效率

    8 月 10 日,携手共赢美好生活——国美零售·京东百亿联合采购战略签约发布会在京举行。国美零售与京东共同宣布启动 300 亿元联合采购计划,这是今年以来,由零售平台发起的最大规模家电和消费电子行业采购。这次联合采购发布会几乎集合了家电、3C等领域所有的一线品牌,同时也邀请了中国家用电器协会副理事长徐东生先生作为见证。合作方国美零售总裁王俊洲、京东集团高级副总裁/京东零售集团3C家电零售事业群总裁闫小兵出席,包括

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签