复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法

文档名：复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法
摘要：针对车内语音交互在复杂噪声环境下识别率低以及难以在有限计算资源设备上部署问题,本文设计了轻量化的语音增强模型和语音识别模型并进行联合训练.语音增强模型引入多尺度通道时频注意力模块来提取多尺度时频特征和各个维度上的关键信息.在语音识别模型中提出了多头逐元素线性注意力,显著降低了注意力模块所需的计算复杂度.实验表明,在自制数据集上这一联合训练模型表现出良好的噪声鲁棒性.

Abstract：Inordertosolvetheproblemoflowrecognitionrateofin-vehiclevoiceinteractionincomplexnoiseenvi-ronmentanddifficultdeploymentondeviceswithlimitedcomputingresources,thisarticleproposesalightweightandro-bustvoicerecognitionmethodbasedonjointtrainingframeworkinthenoisyenvironment.Thespeechenhancementmodelintroducesamulti-scalechanneltime-frequencyattentionmoduletoextractmulti-scaletime-frequencyfeaturesandkeyin-formationinvariousdimensions.Inthespeechrecognitionmodel,multi-headelement-wiselinearattentionisproposed,whichsignificantlyreducesthecomputationalcomplexityrequiredfortheattentionmodule.Experimentsshowthatthejointtrainingmodelshowsgoodnoiserobustnessontheself-madedataset.

作者：廉筱峪  夏楠  戴高乐  杨红琴Author：LIANXiao-yu  XIANan  DAIGao-le  YANGHong-qin
作者单位：大连工业大学信息科学与工程学院,辽宁大连116034
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2024, 52(4)
分类号：TN912.3
关键词：深度学习  语音增强  语音识别  注意力机制  联合训练  
Keywords：deeplearning  speechenhancement  speechrecognition  attentionmechanism  jointtraining  
机标分类号：TP391TN912.34TH164
在线出版日期：2024年6月26日
基金项目：复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法[
期刊论文]  电子学报--2024, 52(4)廉筱峪  夏楠  戴高乐  杨红琴针对车内语音交互在复杂噪声环境下识别率低以及难以在有限计算资源设备上部署问题,本文设计了轻量化的语音增强模型和语音识别模型并进行联合训练.语音增强模型引入多尺度通道时频注意力模块来提取多尺度时频特征和各个...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文

        复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法  An In-Vehicle Interaction Speech Enhancement and Recognition Method Based on Lightweight Models in Complex Environment

复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法.pdf

2024-12-14 13:40 上传 复杂噪声环境下基于轻量化模型的车内交互语音增强和识别方法.pdf

文件大小:

3.17 MB

下载次数:

60

高速下载