性能测试结果
AFE
资源消耗
Algorithm Type |
RAM |
Average cpu loading(compute with 2 cores) |
Frame Length |
|---|---|---|---|
AEC(HIGH_PERF) |
114 KB |
11% |
32 ms |
NS |
27 KB |
5% |
10 ms |
AFE Layer |
73 KB |
WakeNet
资源消耗
Model Type |
Parameter Num |
RAM |
Average Running Time per Frame |
Frame Length |
|---|---|---|---|---|
Quantised WakeNet5 |
41 K |
15 KB |
5.5 ms |
30 ms |
Quantised WakeNet5X2 |
165 K |
20 KB |
10.5 ms |
30 ms |
Quantised WakeNet5X3 |
371 K |
24 KB |
18 ms |
30 ms |
性能测试
Distance |
Quiet |
Stationary Noise (SNR = 4 dB) |
Speech Noise (SNR = 4 dB) |
AEC I nterruption (-10 dB) |
|---|---|---|---|---|
1 m |
98% |
96% |
94% |
96% |
3 m |
98% |
96% |
94% |
94% |
误触发率：12 小时 1 次
备注
我们在测试中使用了 ESP32-S3-Korvo V4.0 开发板和 WakeNet9(Alexa) 模型。
MultiNet
资源消耗
Model Type |
Internal RAM |
PSRAM |
Average Running Time per Frame |
Frame Length |
|---|---|---|---|---|
MultiNet 2 |
13.3 KB |
9KB |
38 ms |
30 ms |
Word Error Rate 性能测试
Model Type |
aishell test |
|---|---|
MultiNet 5_cn |
9.5% |
MultiNet 6_cn |
5.2% |
备注
中文使用没有声调的拼音单元去计算WER。
Speech Commands 性能测试(空调控制场景)
Model Type |
Distance |
Quiet |
Stationary Noise (SNR=5~10dB dB) |
Speech Noise (SNR=5~10dB dB) |
|---|---|---|---|---|
MultiNet 5_cn |
3 m |
88.9% |
66.1% |
67.5% |
MultiNet 6_cn |
3 m |
98.8% |
88.3% |
88.0% |
MultiNet 6_cn_ac |
3 m |
97.1% |
95.1% |
96.8% |
备注
MultiNet6_cn_ac在空调场景数据集上进行了进一步的微调，所以在空调控制场景具有更好的性能。
TTS
资源消耗
Flash image size: 2.2 MB
RAM runtime: 20 KB
性能测试
CPU 负载测试（ESP32 @240 MHz）：
Speech Rate |
0 |
1 |
2 |
3 |
4 |
5 |
|---|---|---|---|---|---|---|
Times faster than real time |
4.5 |
3.2 |
2.9 |
2.5 |
2.2 |
1.8 |
NSNET
性能测试
数据集：array_onemic_nnoise_20230608(按照亚马逊声学认证标准录制测试集)
dnsmos |
|
|---|---|
nsnet1 |
2.4 |
nsnet2 |
2.71 |