一项研究通过训练模型，利用舌头的超声波录像来预测使用者在保持沉默时想说的话。该系统在开放词汇测试中实现了 15.6% 的词错误率，显示了仅用 50 小时数据和一个月时间就接近现有成熟方法的潜力。这项技术旨在解决语音交互在公共场合的隐私问题，让与计算机的对话变得私密，并且最新发现它甚至对初次使用者也有效。
让语音交互变得私密
语音是与计算机交互最快的方式之一，比打字快大约四倍。随着人工智能越来越擅长理解自然语言，我们正通过交谈与计算机互动。但常规语音有一个主要限制：我们大部分时间都在公共场所，不希望别人听到我们与计算机的对话。
正如耳机让聆听变得私密，无声语音也能让说话变得私密。
为何选择超声波技术
目前有多种检测无声语音的方法，如肌电图（EMG）、雷达和唇语读取等。超声波技术的特别之处在于：
- 直接观察舌头： 它可以清晰地看到舌头的运动，而不需要像 EMG 或雷达那样通过充满噪声的间接测量来推断。
- 信息量丰富： 舌头参与了英语 40 个音素中的约 34 个的构成，相比之下，嘴唇只能形成约 10-14 种视觉上可区分的形状。
- 实现“隐形”交流： 原则上，使用这种技术时，旁人甚至无法察觉到有人在进行无声说话。
数据收集与模型训练
为了训练一个好的模型，研究团队自己收集了一个包含超声波舌头影像和无声语音的数据集。
数据收集
收集高质量数据面临两大挑战：确保超声波录像清晰地显示舌头，以及确保使用者准确地“说”出预设文本。最终，团队收集了 50 小时人们朗读合成短篇故事的数据。他们选择让测试者大声朗读，这样可以利用音频来检查数据质量，并发现有声和无声说话时的舌头运动非常相似。
模型训练
任务很简单：根据舌头的超声波视频，预测出所说的文本。研究团队并未从零开始，而是采用了迁移学习的方法：
- 使用 ResNet-18 2+1d 模型处理视频。
- 使用 Whisper Base 模型将视频信息解码为文本。Whisper 是一个强大的语音转文本模型，其解码器非常适合将类语音的嵌入信息转换为文字。
- 训练的目标是让舌头视频编码器的输出尽可能接近 Whisper 音频编码器的输出。
早期的训练并不稳定，但随着数据量的增加，模型开始犯一些“有意义的”错误，比如把 "acoustic" 识别成 "a key stick"，这表明模型开始学习语音结构，而不仅仅是预测可能出现的词语序列。
结果与未来展望
通过不断优化，该系统在内部跨用户的开放词汇验证集上达到了 15.6% 的词错误率 (WER)。作为对比，唇语读取技术在一个 100 万小时的数据集上达到了 12.5% 的词错误率。这表明，尽管数据集规模小得多，该系统的表现依然非常有前景。
词错误率随着数据集的增长而持续下降，目前还没有看到平缓的迹象。
这仍是一个早期原型，未来面临的主要挑战是硬件：
- 减小探头尺寸和重量： 使其能成为轻便的可穿戴设备或粘贴片。
- 替代超声波凝胶： 寻找更实用的耦合材料，如水凝胶。
研究团队认为这些问题都可以解决。随着更多数据、更好的模型和更小的硬件出现，这项技术有望从研究演示走向日常生活应用。目前，该系统在处理非美式口音时仍有困难，但这可以通过更多样化的数据来改善。