摩尔线程开源音频理解大模型MooER
简介
摩尔线程推出了业界首个基于国产全功能GPU训练和推理的大型开源语音模型MooER。该模型依托于摩尔线程的夸娥智算平台,结合自研算法和计算资源,仅用38小时完成5000小时音频数据训练。
特性
- 支持中文和英文语音识别
- 具备中译英语音翻译能力
- 在多个语音识别领域中表现优异或持平
模型结构
MooER模型结构包括三个部分:编码器、适配器和解码器(LLM)。
- 编码器:对输入音频建模,提取特征和获取表征向量
- 适配器:对编码器输出进行下采样,每120ms输出一组音频嵌入
- 解码器:将音频嵌入和文本嵌入拼接后,执行下游任务(如语音识别、语音翻译)
训练详情
- 训练数据:部分开源数据和内部语音识别伪标签
- 模型参数规模:5000小时数据训练模型(MooER-5K)和8万小时数据训练模型(MooER-80K)
- 训练框架:DeepSpeed
- 精度:BF16
对比结果
MooER与其他开源音频理解大模型(训练规模从几万小时到上百万小时)对比,在多个测试集中取得了以下结果:
- 中文测试集CER:4.21%
- 英文测试集WER:17.98%
- 中译英BLEU:25.2
启示
摩尔线程基于MooER的研究得出以下启示:
- 无监督训练的编码器需要参与训练
- 音频建模粒度对模型效果和收敛速度至关重要
- 基于少量目标垂类数据,可以快速适应到不同任务
- LoRA技术可以加快训练收敛并提升效果
开源代码
MooER代码已开源,可在以下地址获取:
https://github.com/MooreThreads/MooER
技术文档
更多技术细节,请参考技术文档:
https://arxiv.org/pdf/2408.05101
(举报)