ESP-GMF 通用多媒体框架
ESP-GMF(Espressif General Multimedia Framework)是乐鑫面向 IoT 多媒体应用的轻量级处理框架。框架以处理单元(element)为基本单元,由处理链(pipeline)串接,经数据端口(port)与数据总线(data bus)传递音频、视频与通用数据流。
架构、API 与示例见 ESP-GMF 文档。
组件 |
分层 |
简介 |
相关链接 |
|---|---|---|---|
|
Core |
定义处理链、处理单元、数据端口、数据总线与 FOURCC |
|
|
Elements |
提供文件、HTTP、嵌入式 Flash、I2S PDM 与编解码器设备的外部接口 |
|
|
Elements |
提供音频编解码,以及采样率、声道与位深转换,并包含均衡、混音、淡入淡出、自动电平控制与动态范围控制 |
|
|
Elements |
提供视频编解码,以及缩放、旋转、叠加与帧率转换,可使用 PPA 加速 |
|
|
Elements |
提供回声消除、噪声抑制、自动增益、语音活动检测,以及唤醒词与命令词识别 |
|
|
Elements |
将一路输入复制到多路输出,用于分流与并行处理 |
|
|
Packages |
根据 menuconfig 将处理单元与外部接口注册到框架注册池,并设置默认参数 |
|
|
Packages |
提供编解码器、I2C、SD 卡、Wi-Fi 与命令行等应用初始化与调试接口 |
|
|
Packages |
按采集源、处理路径与输出端采集音视频,支持编码、叠加、多路输出与本地存储 |
|
|
Packages |
在同一实例中完成解封装、解码与音视频渲染;输入支持本地文件、HTTP(S)、HLS 与外部帧 |
|
|
Packages |
根据 URI 方案与文件扩展名选择外部接口与解码器,用于音频播放 |
|
|
Packages |
将多路 PCM 混音后输出;混音前后可连接处理链,并通过写入回调写出 |
|
|
Packages |
将视频与界面合成到液晶屏、LVGL 或帧缓冲,支持多路输入与脏区域刷新 |
|
|
Packages |
提供经典蓝牙与低功耗音频接口,覆盖 A2DP、HFP、AVRCP 及可选的广播角色 |
|
|
Packages |
转换采样率、位深与声道;芯片含 ASRC 外设时使用硬件实现,否则使用软件实现 |
|
|
Packages |
提供定点 Q15 实数 FFT 与 IFFT,长度范围为 32 至 8192,包含 PIE 向量优化与 C 实现 |