声音触发器

本文最后更新于 2022年9月2日 晚上

声音触发器功能使应用能够以低功耗且保护隐私的方式监听特定的声音事件(例如启动指令)。“声音触发器”的用例示例包括 Google 助理和“闻曲知音”。

本页将概述声音触发器架构及其 HAL(硬件抽象层)接口。

声音触发器堆栈

声音触发器子系统是分层构建的(如图 1 所示):

sound_trigger_stack

图 1:声音触发器堆栈

以下列表更详细地介绍了图 1 中所示的每个分层:

  • HAL 层(绿色)包含用于实现声音触发器 HAL (STHAL) 接口的供应商专用代码。

    注意:建议直接实现 STHAL 接口,而不是采用与旧版 HAL 实现相关的适配器。

  • SoundTriggerMiddleware(黄色)位于 HAL 接口上方。它与 HAL 进行通信,并负责执行一些功能(例如在不同客户端之间共享 HAL、日志记录、强制执行权限以及处理与旧版 HAL 的兼容性)。

  • SoundTriggerService(蓝色)系统位于中间件上方。它有助于与其他系统功能(例如电话和电池事件)集成。此外,它还维护了一个按唯一 ID 编入索引的声音模型数据库。

  • SoundTriggerService 层上方,该堆栈(棕色)会分别处理 Google 助理和通用应用特有的功能。

声音触发器堆栈的功能是传递代表声音触发器事件的独立事件。在大多数情况下,声音触发器堆栈并不处理音频。收到触发器事件后,应用会通过音频框架打开 AudioRecord 对象,从而在事件发生时访问实际音频流。音频触发器 HAL API 会提供与音频框架一起使用的触发事件的句柄。而由于声音触发器 HAL 和音频 HAL 在后台彼此相连,它们通常会共用一个进程。

注意:由于模型和数据类型对于声音触发器子系统中的框架是不透明的,因此应用和 HAL 实现应维护一个“隐性协定”,即这些数据类型的实际内容、格式和语义是一致的。因此,使用声音触发器的应用应由供应商提供,而不是由独立开发者提供。

声音触发器 HAL 接口

声音触发器 HAL (STHAL) 接口是声音触发器堆栈中的供应商专用组件,用于处理启动指令和其他声音的硬件识别。 STHAL 提供一个或多个引擎,每个引擎都运行不同的算法,用于检测特定类型的声音。当 STHAL 检测到触发器时,会向框架发送事件,然后停止检测。

STHAL 接口在 /hardware/interfaces/soundtrigger/ 下指定。

ISoundTriggerHw 接口支持在指定时间运行一个或多个检测会话,并监听声音事件。调用 ISoundTriggerHw.getProperties() 会返回包含实现说明和功能的 Properties 结构。

图 2 中展示了设置会话的基本流程:

sthal_state

图 2:STHAL 状态图

以下步骤更详细地介绍了每种状态:

  1. HAL 客户端使用 loadSoundModel()loadPhraseSoundModel() 加载模型。提供的模型对象会指明要使用的实现专用检测算法(引擎)以及适用于此算法的参数。成功后,这些方法会返回一个句柄,用于在后续调用中引用此模型。

  2. 成功加载模型后,HAL 客户端会调用 startRecognition() 以开始检测。识别进程会继续在后台运行,直到发生以下任一事件:

    1. 对此模型调用了 stopRecognition()
    2. 进行了检测。
    3. 检测因资源限制(例如启动了优先级更高的用例)而中止。

    在后两种情况下,会通过 HAL 客户端在加载时注册的回调接口发送识别事件。在所有情况下,只要发生上述事件,检测就会变为非活跃状态,并且不再允许执行识别回调。

    稍后可再次启动同一模型,并且可以根据需要多次重复此过程。

  3. 最后,不再需要的非活跃模型会由 HAL 客户端通过 unloadModel() 取消加载。

注意:启动模型后,HAL 客户端可以调用 forceRecognitionEvent() 以生成强制识别事件。返回的事件与普通识别事件类似,只是其状态字段设置为 FORCED。此类识别事件不会自动停止识别。相反,即使在事件传递后,模型仍将保持运行状态。

处理 HAL 错误

为确保各驱动程序实现所表现出的行为的可靠性和一致性,在 Android 11 中,从 HAL 返回的任何不成功错误代码都将被视为编程错误。若要从这类错误中恢复,需要重新启动 HAL 进程。该恢复策略不到万不得已,尽量不要采用;预计正常运行的系统中不会发生这类情况。

注意:尽管这些错误在 HAL API 文档中被列为有效错误,但这些错误代码在何时和何种状态下返回,以及预期的错误恢复过程是怎样的,这些问题尚不明确。因此,与更低版本的 Android 相比,Android 11 要求在运行时更严格地遵守声音触发器 HAL 实现。


声音触发器
https://www.shangyexin.com/2024/09/08/audio-sound-trigger/
作者
Yasin
发布于
2024年9月8日
许可协议