语音识别与发音练习:机器听得出什么
发音应用给出分数,可它评的到底是什么?本文结合自动语音识别用于发音学习与测评的研究,说明识别结果不等于语音学诊断,并给出机器层与人际层两层反馈、音素到整句到请人听三层练习顺序。

本文性质: 观察 + 实证(Observation / Evidence) 证据标签: 观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence
本篇涉及的证据类型:观察 Observation/实证 Evidence/假设 Hypothesis。凡属本院课堂观察与教学模型的部分,均不作效果承诺。
现在很多发音练习应用都能给出发音评分:读一遍句子,屏幕上跳出红色标出的词,再读一遍,分数上升。这个反馈看起来直观,但它可靠到什么程度,取决于一个常被忽略的前提:机器到底在评什么。
01评分高不等于说得让人听懂

本院在带领成年人纠正发音时做过比对:同一位学习者读同一句话,三款应用给出的分数差距不小,标红的词也各不相同。而教师的判断往往落在别处——重音位置整体偏了、单词之间的连读断开了、语流的节奏是均匀的。应用打分对音素层面的替换很敏感,对这几类更影响可理解性的问题反应迟钝。
02自动语音识别评的是什么
语音识别系统是在大量语音数据上训练出来的,它对常见发音、清晰录音、母语口音适应性最好,对非母语口音、连读、弱读的容忍度取决于训练数据的覆盖范围。McCrocklin 2016 年研究了自动语音识别在发音学习中的作用,发现它主要在提供独立练习机会、提升学习者自主性上有效,同时指出其在诊断性反馈上的局限——识别结果并不等于语音学诊断。O'Brien 等 2018 年关于用自动语音识别做发音测评的研究也强调,评分与人类听感的一致性受说话人与任务条件影响。也就是说,分数变化的含义需要谨慎解读。
03发音反馈的两层与三层顺序
本院把发音练习的反馈分成两层。第一层是机器能稳定给出的:这个词读成了什么、有没有漏音、语速是多少,用来做重复练习的即时提示。第二层是必须由人给的:重音放在哪里、句子内部怎么分组、哪里该连哪里该断,这些决定别人能否听懂。练的时候可以先跟机器过一遍音素,再把整句录下来自己听,最后请人听一遍——三层顺序不要颠倒。
04设备与环境会显著影响识别结果
第一,评分高低与可理解性不是同一件事,追求满分可能把注意力从语流上拉走。第二,录音设备与环境会显著影响识别结果,安静环境下的好分数不能直接推广到真实对话。第三,本院没有做过评分与人类听感一致性的系统比较,以上是课堂观察与文献综述的结合。
