用 AI 开发视觉应用

把想法告诉 AI 助手，一起将它变成运行在 ESP-VISION 开发板上的 Python 脚本。助手可以查找示例、准备固件和模型、部署应用、查看摄像头画面和日志，并根据实际效果持续改进。

按固件版本查询知识

插件在查询 API、硬件能力和示例前，会读取所选开发板的实际固件版本。在线 Knowledge 服务保留历史快照，每次内容查询都必须指定准确的固件版本。更新插件不要求同步升级固件；旧固件可以继续使用对应的知识快照。

烧录或切换开发板后，助手会重新检查设备。若固件版本缺失或没有匹配的快照，会说明原因并提醒更新官方固件。只有你明确选择不更新，助手才会使用当前可用的最新官方固件 Knowledge 快照，告知所选版本，并说明其 API 可能与设备存在差异。最新版由官方快照目录指定，助手保留原始 TAG，不按字符串猜测先后。助手会等待你的选择，不会静默切换版本；更新失败或无法读取知识目录也不会触发回退。切换设备、重新连接或烧录后，这次选择会失效。开发版本后缀会原样保留。离线提问时请明确目标版本，例如“说明固件 2026.10.21 的摄像头拍照方法”。助手可以先列出已支持的版本。

接入你的 AI 助手

ESP-VISION 插件将官方知识和本地设备工具接入 AI 助手。可以在官网上手入口选择对应客户端的接入方式。

WorkBuddy 与 QoderWork

推荐在应用市场搜索 esp-vision，找到对应条目并安装。以下名称与官网展示的应用市场条目一致。

应用市场条目
客户端	条目名称
WorkBuddy	嵌入式视觉开发专家 \| ESP-Vision AI视觉
QoderWork	ESP-Vision 嵌入式 AI 视觉开发

Codex 与 Claude Code

使用 Codex 时，可以这样开始：

备注

帮我在 Codex 中用上 ESP-VISION。官方安装说明：https://www.npmjs.com/package/@esp-vision/plugin

使用 Claude Code 时：

备注

帮我在 Claude Code 中用上 ESP-VISION。官方安装说明：https://www.npmjs.com/package/@esp-vision/plugin

Cursor 与其他助手

Cursor 和其他客户端的接入方式见插件安装指南。

备注

我想在当前 AI 助手中使用 ESP-VISION。官方接入说明：https://github.com/espressif/esp-vision/blob/master/host/esp-vision-plugin/README.md

接入后，在项目中开启新会话。通过 USB 开发时，AI 助手需要能访问连接开发板的计算机。

接入开发板并运行应用

准备一块 ESP-VISION 已支持的开发板，用 USB 数据线连接电脑。首次使用时，助手可以完成官方固件的下载与烧录，将开发板准备到可运行视觉应用的状态：

备注

这是一块 ESP-VISION 支持的新开发板。帮我装好 ESP-VISION 固件，让摄像头能正常拍照。板内没有需要保留的数据。

完成首次固件安装后，就可以开始开发应用。已有兼容固件的开发板可以直接从应用需求开始；配置过网络的设备也可以通过局域网连接。

备注

在开发板屏幕上显示实时摄像头画面，加一个帧计数，保持运行让我看看。

应用运行后，屏幕上的画面和帧计数会持续更新。你也会得到对应的 Python 脚本，方便继续修改和复用。

日常任务

从想实现的功能、使用场景或遇到的问题开始交流。插件中的 workflow 负责具体实现，你可以围绕结果继续提出需求。

颜色跟踪

备注

让摄像头跟踪画面中的红色物体，实时框出它的位置，物体移动时框也跟着移动。

在镜头前移动红色物体，看看跟踪框是否能跟上。需要关注的颜色、物体或运动速度，都可以作为后续需求补充。

升级固件

备注

把开发板升级到最新兼容的官方 ESP-VISION 固件，保留我的脚本和设置。

升级完成后，你会得到实际安装版本和设备运行结果。

了解连接的设备

备注

电脑上连着的这块开发板是什么型号、装了什么固件，能做哪些视觉功能？

设备信息可以帮助你选择适合的应用方向，例如图像处理、目标检测或画面显示。

人脸检测

备注

让开发板识别人脸，在屏幕上实时框出来，同时显示检测帧率。

你可以观察人脸进入、移动和离开画面时的检测效果，并根据显示的帧率判断流畅度。

二维码识别

备注

我想用摄像头读取二维码，在屏幕上框出二维码并显示内容，移动二维码时持续更新。

可继续补充使用场景，例如希望识别较小的二维码，或让内容显示得更清楚。

通过 Wi-Fi 开发

备注

帮我把开发板连上 Wi-Fi，之后通过无线连接修改程序、查看摄像头画面。

首次配网时用 USB 连接支持 Wi-Fi 的开发板，按助手提示提供网络信息。配网成功后可通过局域网继续开发，设备重新上电时会自动连接已保存的网络。也可以在官网的“浏览器烧录入口”中，将“烧录方式”设为“仅配置 WiFi”，连接串口后填写网络信息并保存。完整配网流程和连接排查见主机接入、Wi-Fi 配置与恢复实践。

USB 摄像头

备注

把开发板变成 USB 摄像头，让电脑能看到实时画面，并把检测到的人脸框出来。

使用支持 USB-OTG Device 的开发板，并连接其 USB-OTG 接口。在电脑摄像头软件中选择 ESP-VISION Camera 查看效果。支持的图像格式、分辨率和 API 见 uvc — USB 摄像头输出。

排查并修复问题

备注

摄像头程序启动后，开发板屏幕就黑了，帮我修好。

把实际看到的现象告诉助手，有报错或图片时一起提供。也可以说明问题出现前应用原本的表现。

通过对话改进效果

在同一个会话里继续交流，助手可以结合项目、设备和前面的结果进行调整。例如，跟踪应用运行起来后，可以继续说：

备注

光线暗一点时，红色物体的跟踪框会闪，我希望它在暗光下也能稳定跟踪。

对于检测应用，可以继续说：

备注

状态文字太小了，调大一些，再加上检测帧率。

用实际体验描述下一步目标，例如跟踪更稳定、响应更快、画面更清楚或文字更易读。

对话背后的工具

主机侧工具将自然语言开发连接到官方知识和真实设备：

ESP-VISION 主机工具
工具	作用
Plugin（`@esp-vision/plugin`）	为 AI 客户端提供 ESP-VISION Skill、随包 Device CLI 和官方知识连接。
Device CLI（`@esp-vision/device-cli`）	供助手在本地主机上发现设备、管理固件和文件、运行 Python 脚本以及采集图像。
Knowledge MCP	提供官方 API 文档、开发板能力和示例，供助手查询参考。

进一步了解工具和开发约定，可阅读 Device CLI 参考、Python 脚本开发说明和主机 SDK 指南。