测试方法与测试报告
为了保证 DUT 的性能,可通过测试确定 DUT 在以下方面的表现:
唤醒率
识别率
误唤醒率
唤醒打断率
响应时间
测试场景要求
以上测试需在合适的测试房间中进行,测试房间应满足如下要求:
房间大小
面积:不小于 4 m * 3.2 m
高度:不低于 2.3 m
房间装饰
地板需配有地毯,天花板需配备常见声学阻尼材料,墙面应有 1 到 2 面墙上挂有窗帘,防止强反射。
房间混响 (RT60) 3在 [125, 8k] 范围内,要满足 0.2-0.7s 的要求。
不要使用消音室。
环境底噪:必须 < 35 dBA,最好 < 30 dBA
温度和湿度要求:20±10°C,相对湿度为 50%±20%。
DUT、外部噪声、人声的放置:
DUT、外部噪声、人声的具体位置和相对位置应根据 DUT 的实际应用场景进行安排。
备注
RT60、环境底噪和 DUT、外部噪声、人声的放置应在所有测试中保持不变。
测试案例设计
在设计测试案例时,建议按照产品的实际应用场景,考虑 以下部分或全部参数:
- 不同噪声源
白噪声
人类噪声
音乐
新闻
… …
有必要时还可以增加多噪声源的测试场景。
- 不同噪声分贝
< 35 dBA
45 dBA
55 dBA
65 dBA
- 不同人声分贝
54 dBA
59 dBA
64 dBA
- 不同 SNR
9 dBA
4 dBA
-1 dBA
乐鑫测试与结果
在本章节描述的所有测试中,DUT、外部噪声、人声的具体位置和相对位置如下所述。
具体来说,
DUT 距离地面高度 0.75 米
人工嘴(人声源)距离地面高度 1.5 米,距离 DUT 直线水平距离 3 米
噪声源在相对人工嘴 45°C 角处,距离地面高度 1.2 米,距离 DUT 直线水平距离 2 米
声压计位于 DUT 正上方 0.75 米
唤醒率测试
唤醒率:指当设备处于待唤醒状态时被唤醒成功的概率。
乐鑫唤醒率测试和结果
测试案例 |
噪声类型 |
噪声分贝 |
人声分贝 |
SNR |
唤醒率 |
---|---|---|---|---|---|
1 |
/ |
/ |
59 dBA |
/ |
99% |
2 |
白噪声 |
55 dBA |
59 dBA |
≥4 dBA |
99% |
3 |
人声噪声 |
55 dBA |
59 dBA |
≥4 dBA |
99% |
语音识别率测试
语音识别率:指当设备处于识别状态时,成功识别词表里包含的命令词的概率。
乐鑫语音识别率测试和结果
测试案例 |
噪声类型 |
噪声分贝 |
人声分贝 |
SNR |
语音识别率 |
---|---|---|---|---|---|
1 |
/ |
/ |
59 dBA |
/ |
91.5% |
2 |
白噪声 |
55 dBA |
59 dBA |
≥4 dBA |
78.25% |
3 |
人声噪声 |
55 dBA |
59 dBA |
≥4 dBA |
82.77% |
误唤醒率测试
误唤醒率:指设备在产品定义的应用场景下被非唤醒词成功唤醒的概率。
乐鑫误唤醒率测试和结果
测试案例 |
噪声类型 |
噪声分贝 |
测试时长 |
误唤醒次数 |
---|---|---|---|---|
1 |
音乐 |
55 dBA |
12 小时 |
1 次 |
2 |
新闻 |
55 dBA |
12 小时 |
1 次 |
唤醒打断率测试
唤醒打断率:唤醒打断率是指设备有自噪时,即有 TTS3 播报或播放音频时,被唤醒成功的概率。对于有 AEC 功能的产品需要进行该测试。
乐鑫唤醒打断率测试和结果
测试案例 |
噪声类型 |
噪声 / 人声分贝 |
SNR |
唤醒率 |
语音识别率 |
---|---|---|---|---|---|
1 |
音乐 |
69 dBA / 59 dBA |
≥10 dBA |
100% |
96% |
2 |
TTS |
69 dBA / 59 dBA |
≥10 dBA |
100% |
96% |
响应时间测试
响应时间:代表 DUT 响应语音命令的时间,具体测量为语音指令与播报之间的时间间隔(见下图)。
乐鑫响应时间测试和结果
测试案例 |
噪声 / 人声分贝 |
SNR |
响应时间 |
---|---|---|---|
1 |
NA / 59 dBA |
/ |
< 500 ms |