语音识别现在到处都是,手机语音助手、智能音箱、会议记录转写,背后其实是同一套流程:先把声音变成特征,再让模型判断这段声音对应哪些字。
传统做法是声学模型加语言模型。声学模型负责把音频帧映射到音素,语言模型负责判断哪串词更合理,中间还要有发音词典。这套流程用了几十年,HMM加GMM是老一代,后来换成DNN,准确率一下子上来了。
现在主流是端到端模型,输入音频,直接输出文字,省掉中间环节。Transformer和Conformer这类结构用得比较多,训练需要大量带标注的语音数据。
实际落地时,噪音和口音是最大的敌人。会议室多人说话、车里有风噪、方言口音重,识别率都会掉。工程上的办法是前端做降噪和回声消除,再针对场景做数据微调。
端侧识别是这几年的趋势。把模型压缩到几十兆,直接在手机上跑,不用联网,延迟低、隐私也好。代价是精度和词表规模受限,复杂场景还是得靠云端。
做产品别迷信宣传里的识别率数字,要拿自己的真实场景去测,尤其是远场和带口音的样本,差几个百分点在体验上就很明显。
下一篇:没有了