日前， 2021 全球顶级语音大会INTERSPEECH论文投稿收录结果揭晓。继去年 5 篇入选后，腾讯英语君凭借在“口语评测发音分”、“口语评测鲁棒性”等方面获得的重大研究突破和技术落地，今年共有 9 篇论文入选。本次入选论文的研究方向涵盖口语评测发音、音素错误检测、口语评测鲁棒性、口语评测韵律、口语评测场景下的语音识别等。
INTERSPEECH是由国际语音通讯协会创办的语音信号处理领域的顶级科技盛会，历届INTERSPEECH会议都受到了全球各地语言领域人士的广泛关注。腾讯英语君的论文连续被这一国际顶级盛会所收录，也证明其在AI语音科研领域强大的创造力与实力。
深入探索口语评测功能成果显著 对应更多英语教育场景
在本次入选的 9 篇论文中，论文《Deep feature transfer learning for automatic pronunciation assessment》提出了一种自动发音评估的迁移学习方法，直接利用声学模型的深层特征，而不是 GOP 等传统特征，并将声学知识从 ASR 模块迁移到特定的评分模块。基于注意力机制考虑话语中不同粒度之间的关系，仅更新此模块以更快地迁移和适应各种发音评估任务。
论文《A noise robust method for word-level pronunciation assessment》提出了一种基于领域对抗(DAT) 方法的词级发音评估噪声鲁棒模型，将干净和噪音情况下的发音评估视为源域和目标域，通过结合发音评估和噪声域鉴别来优化网络。实验结果表明，在不同噪声条件下，所提出的模型在Pearson相关系数 (PCC) 和准确度方面比基线平均高出3% 和4%。
论文《A neural network-based noise compensation method for pronunciation assessment》考虑音素属性，采用双向长短期记忆网络（BLSTM）进行单词中音素上下文建模，对噪声条件下的受损的音素的GOP进行特征补偿。考虑到不同程度的噪音，不同发音水平下基于 ASR 的 GOP 分数可能会有不同的影响，将 GOP补偿任务与预测发音熟练度等级的辅助任务相结合。所提出的模型在皮尔逊相关系数 (PCC) 和在嘈杂条件下进行发音评估的准确性方面优于基线。此外，它还证明了该网络在各种嘈杂情况下的稳健性。
论文《Explore Wav2vec2.0 for Mispronunciation Detection》利用声学预训练模型wav2vector，提取丰富的发音特征，极大的提升了细粒度音素判错的准确度，实现更加精细的发音反馈能力。
通过持续科研创新，腾讯英语君打造了特有的音素级AI口语评测功能，基于海量英语发音大数据的垂直研究，深挖中国学生发音习惯，打造独家学生发音特征体系。本次被收录的论文《Deep feature transfer learning for automatic pronunciation assessment》在口语评测方面实现了重大突破，能够更快地针对中国学生提供纠正、提升和拓展训练的递进性学习方式，帮助学生全面提升英语口语能力，同时也提升了老师的教学效率。
在打造特有的音素级AI口语评测功能的同时，腾讯英语君还针对英语教育中的实际场景进行深入探索，基于AI技术和大数据能力，为英语教学、考试质量提升提供助力。例如，“口语评测鲁棒性”能在人声噪声、设备噪声、白噪声等场景下进行发音评测，在针对英语听说考试中的单词、句子、段落朗读等五大题型进行评测时，实现AI机器评分+专家抽样/仲裁的形式进行打分，全面提升英语考试评分效率。
以AI技术提升考试效率 腾讯英语君助力学校智慧化转型
依托于腾讯三大AI实验室技术能力，腾讯英语君能够运用神经网络算法、图像识别技术、语音识别和口语评测技术、自然语言处理、大数据应用等AI能力，为产品专属开发多项功能，提高教学质量和效率，帮助学生提高英语听、说能力。
以英语听说考试为例，借助行业领先的语音识别、口语评测等AI技术，腾讯英语君围绕“教、学、考、评”四大场景，推出了听说考试系统和练习系统，基于标准化、一致性的AI评分技术，致力于解决听说考试评价标准难统一、公平性难保证、人力成本高等问题，实现考试评阅的准确性和公平性。
目前，腾讯英语君已为上海松江区 34 所学校提供了标准化考场建设、模考和训练系统建设等基础建设服务，在助力优化传统考试模式的同时，积极推动当地教育智慧化升级转型；参与多场中高考口语考试的机器自动评分，包括上海、聊城、青海等多个省市，从入场到最后提交报告时长在一周左右，机器评分可保证在两天内完成。同时，腾讯英语君还为深圳市光明区小、初、高 41 所学校提供区域统一的英语听说教学质量监测全流程方案和评分服务，引导教师高度重视学生的英语听说能力，帮助学生打好坚实的口语基础。
此外，腾讯英语君为广东佛山市南海区的 150 多所小学、 17 万名学生和 1500 名老师提供日常英语教学和学习辅助服务，实现了统编教材、线上线下资源融通共享，并结合AI口语评测，组建常态化的听读训练活动，构建了线上线下混合式阅读学习新模式，提升学生的综合表达能力和英语素养。
腾讯英语君已授权或公开专利四十余篇，涉及中英文口语评测、韵律度评测、口语考试系统NLP技术，口语考试系统语音技术、口语考试系统评测，作文批改，语法纠错等多个领域，为科学高效的AI英语教学提供驱动力。
未来，腾讯英语君将继续秉持形成性评价的教育理念，持续技术创新，并联合生态伙伴不断探索AI技术在教育领域中的应用边界，在为更多孩子提供科学、高效创新英语教育模式的同时，为推动教育行业智慧化转型和发展提供助力。
