虚拟文件系统组件

[English]

概述

虚拟文件系统 (VFS) 组件为驱动程序提供一个统一接口,可以操作类文件对象。这类驱动程序可以是 FAT、SPIFFS 等真实文件系统,也可以是提供文件类接口的设备驱动程序。

VFS 组件支持 C 库函数(如 fopen 和 fprintf 等)与文件系统 (FS) 驱动程序协同工作。在高层级,每个 FS 驱动程序均与某些路径前缀相关联。当一个 C 库函数需要打开文件时,VFS 组件将搜索与该文件所在文件路径相关联的 FS 驱动程序,并将调用传递给该驱动程序。针对该文件的读取、写入等其他操作的调用也将传递给这个驱动程序。

例如,使用 /fat 前缀注册 FAT 文件系统驱动,之后即可调用 fopen("/fat/file.txt", "w")。之后,VFS 将调用 FAT 驱动的 open 函数,并将参数 /file.txt 和合适的打开模式传递给 open 函数;后续对返回的 FILE* 数据流调用 C 库函数也同样会传递给 FAT 驱动。

注册 FS 驱动程序

如需注册 FS 驱动程序,应用程序首先要定义一个 esp_vfs_t 结构体实例,并用指向 FS API 的函数指针填充它。

esp_vfs_t myfs = {
    .flags = ESP_VFS_FLAG_DEFAULT,
    .write = &myfs_write,
    .open = &myfs_open,
    .fstat = &myfs_fstat,
    .close = &myfs_close,
    .read = &myfs_read,
};

ESP_ERROR_CHECK(esp_vfs_register("/data", &myfs, NULL));

在上述代码中需要用到 readwriteread_pwrite_p,具体使用哪组函数由 FS 驱动程序 API 的声明方式决定。

示例 1:声明 API 函数时不带额外的上下文指针参数,即 FS 驱动程序为单例模式,此时使用 write

ssize_t myfs_write(int fd, const void * data, size_t size);

// In definition of esp_vfs_t:
    .flags = ESP_VFS_FLAG_DEFAULT,
    .write = &myfs_write,
// ... other members initialized

// When registering FS, context pointer (third argument) is NULL:
ESP_ERROR_CHECK(esp_vfs_register("/data", &myfs, NULL));

示例 2:声明 API 函数时需要一个额外的上下文指针作为参数,即可支持多个 FS 驱动程序实例,此时使用 write_p

ssize_t myfs_write(myfs_t* fs, int fd, const void * data, size_t size);

// In definition of esp_vfs_t:
    .flags = ESP_VFS_FLAG_CONTEXT_PTR,
    .write_p = &myfs_write,
// ... other members initialized

// When registering FS, pass the FS context pointer into the third argument
// (hypothetical myfs_mount function is used for illustrative purposes)
myfs_t* myfs_inst1 = myfs_mount(partition1->offset, partition1->size);
ESP_ERROR_CHECK(esp_vfs_register("/data1", &myfs, myfs_inst1));

// Can register another instance:
myfs_t* myfs_inst2 = myfs_mount(partition2->offset, partition2->size);
ESP_ERROR_CHECK(esp_vfs_register("/data2", &myfs, myfs_inst2));

同步输入/输出多路复用

VFS 组件支持通过 select() 进行同步输入/输出多路复用,其实现方式如下:

  1. 调用 select(),使用时提供的文件描述符可以属于不同的 VFS 驱动。

  2. 文件描述符被分为几组,每组属于一个 VFS 驱动。

  3. 非套接字 VFS 驱动的文件描述符由 start_select() 移交给指定的 VFS 驱动,后文会对此进行详述。该函数代表指定驱动 select() 的实现。这是一个非阻塞的调用,意味着在设置好检查与指定文件描述符相关事件的环境后,该函数应该立即返回。

  4. 套接字 VFS 驱动的文件描述符由 socket_select() 移交给套接字 VFS 驱动,后文会对此进行详述。这是一个阻塞调用,意味着只有当有一个与套接字文件描述符相关的事件或非套接字驱动发出信号让 socket_select() 退出时,它才会返回。

  5. 从各个 VFS 驱动程序收集结果,并通过对事件检查环境取消初始化来终止所有驱动程序。

  6. select() 调用结束并返回适当的结果。

非套接字 VFS 驱动

如果要使用非套接字 VFS 驱动的文件描述符调用 select(),那么需要用函数 start_select()end_select() 注册该驱动,具体如下:

// In definition of esp_vfs_t:
    .start_select = &uart_start_select,
    .end_select = &uart_end_select,
// ... other members initialized

调用 start_select() 函数可以设置环境,检测指定 VFS 驱动的文件描述符读取/写入/错误条件。

调用 end_select() 函数可以终止/取消初始化/释放由 start_select() 设置的环境。

备注

在少数情况下,在调用 end_select() 之前可能并没有调用过 start_select()。因此 end_select() 的实现必须在该情况下返回错误而不能崩溃。

如需获取更多信息,请参考 vfs/vfs_uart.c 中 UART 外设的 VFS 驱动,尤其是函数 esp_vfs_dev_uart_register()uart_start_select()uart_end_select()

请参考以下示例,查看如何使用 VFS 文件描述符调用 select()

套接字 VFS 驱动

套接字 VFS 驱动会使用自实现的 socket_select() 函数,在读取/写入/错误条件时,非套接字 VFS 驱动会通知该函数。

可通过定义以下函数注册套接字 VFS 驱动:

// In definition of esp_vfs_t:
    .socket_select = &lwip_select,
    .get_socket_select_semaphore = &lwip_get_socket_select_semaphore,
    .stop_socket_select = &lwip_stop_socket_select,
    .stop_socket_select_isr = &lwip_stop_socket_select_isr,
// ... other members initialized

函数 socket_select() 是套接字驱动对 select() 的内部实现。该函数只对套接字 VFS 驱动的文件描述符起作用。

get_socket_select_semaphore() 返回信号对象 (semaphore),用于非套接字驱动程序中,以终止 socket_select() 的等待。

stop_socket_select() 通过传递 get_socket_select_semaphore() 函数返回的对象来终止 socket_select() 函数的等待。

stop_socket_select_isr()stop_socket_select() 的作用相似,但是前者可在 ISR 中使用。

请参考 lwip/port/esp32xx/vfs_lwip.c 以了解使用 LWIP 的套接字驱动参考实现。

备注

如果 select() 用于套接字文件描述符,可以禁用 CONFIG_VFS_SUPPORT_SELECT 选项来减少代码量,提高性能。 不要在 select() 调用过程中更改套接字驱动,否则会出现一些未定义行为。

路径

已注册的 FS 驱动程序均有一个路径前缀与之关联,此路径前缀即为分区的挂载点。

如果挂载点中嵌套了其他挂载点,则在打开文件时使用具有最长匹配路径前缀的挂载点。例如,假设以下文件系统已在 VFS 中注册:

  • 在 /data 下注册 FS 驱动程序 1

  • 在 /data/static 下注册 FS 驱动程序 2

那么:

  • 打开 /data/log.txt 会调用驱动程序 FS 1;

  • 打开 /data/static/index.html 需调用 FS 驱动程序 2;

  • 即便 FS 驱动程序 2 中没有 /index.html,也不会在 FS 驱动程序 1 中查找 /static/index.html

挂载点名称必须以路径分隔符 (/) 开头,且分隔符后至少包含一个字符。但在以下情况中,VFS 同样支持空的挂载点名称:1. 应用程序需要提供一个”最后方案“下使用的文件系统;2. 应用程序需要同时覆盖 VFS 功能。如果没有与路径匹配的前缀,就会使用到这种文件系统。

VFS 不会对路径中的点 (.) 进行特殊处理,也不会将 .. 视为对父目录的引用。在上述示例中,使用 /data/static/../log.txt 路径不会调用 FS 驱动程序 1 打开 /log.txt。特定的 FS 驱动程序(如 FATFS)可能以不同的方式处理文件名中的点。

执行打开文件操作时,FS 驱动程序仅得到文件的相对路径(挂载点前缀已经被去除):

  1. /data 为路径前缀注册 myfs 驱动;

  2. 应用程序调用 fopen("/data/config.json", ...)

  3. VFS 调用 myfs_open("/config.json", ...)

  4. myfs 驱动打开 /config.json 文件。

VFS 对文件路径长度没有限制,但文件系统路径前缀受 ESP_VFS_PATH_MAX 限制,即路径前缀上限为 ESP_VFS_PATH_MAX。各个文件系统驱动则可能会对自己的文件名长度设置一些限制。

文件描述符

文件描述符是一组很小的正整数,从 0FD_SETSIZE - 1FD_SETSIZE 定义在 sys/select.h。最大文件描述符由 CONFIG_LWIP_MAX_SOCKETS 定义,且为套接字保留。VFS 中包含一个名为 s_fd_table 的查找表,用于将全局文件描述符映射至 s_vfs 数组中注册的 VFS 驱动索引。

标准 IO 流 (stdin, stdout, stderr)

如果 menuconfig 中 UART for console output 选项没有设置为 None,则 stdinstdoutstderr 将默认从 UART 读取或写入。UART0 或 UART1 可用作标准 IO。默认情况下,UART0 使用 115200 波特率,TX 管脚为 GPIO1,RX 管脚为 GPIO3。上述参数可以在 menuconfig 中更改。

stdoutstderr 执行写入操作将会向 UART 发送 FIFO 发送字符,对 stdin 执行读取操作则会从 UART 接收 FIFO 中取出字符。

默认情况下,VFS 使用简单的函数对 UART 进行读写操作。在所有数据放进 UART FIFO 之前,写操作将处于 busy-wait 状态,读操处于非阻塞状态,仅返回 FIFO 中已有数据。由于读操作为非阻塞,高层级 C 库函数调用(如 fscanf("%d\n", &var);)可能获取不到所需结果。

如果应用程序使用 UART 驱动,则可以调用 esp_vfs_dev_uart_use_driver 函数来指导 VFS 使用驱动中断、读写阻塞功能等,也可以调用 esp_vfs_dev_uart_use_nonblocking 来恢复非阻塞函数。

VFS 还为输入和输出提供换行符转换功能(可选)。多数应用程序在程序内部发送或接收以 LF (''n'') 结尾的行,但不同的终端程序可能需要不同的换行符,比如 CR 或 CRLF。应用程序可以通过 menuconfig 或者调用 esp_vfs_dev_uart_port_set_rx_line_endingsesp_vfs_dev_uart_port_set_tx_line_endings 为输入输出配置换行符。

标准流和 FreeRTOS 任务

stdinstdoutstderrFILE 对象在所有 FreeRTOS 任务之间共享,指向这些对象的指针分别存储在每个任务的 struct _reent 中。

预处理器把如下代码解释为 fprintf(__getreent()->_stderr, "42\n");

fprintf(stderr, "42\n");

其中 __getreent() 函数将为每个任务返回一个指向 newlib libc 中 struct _reent 的指针。每个任务的 TCB 均拥有一个 struct _reent 结构体,任务初始化后,struct _reent 结构体中的 _stdin_stdout_stderr 将会被赋予 _GLOBAL_REENT_stdin_stdout_stderr 的值,_GLOBAL_REENT 即为 FreeRTOS 启动之前所用结构体。

这样设计带来的结果是:

  • 允许设置给定任务的 stdinstdoutstderr,而不影响其他任务,例如通过 stdin = fopen("/dev/uart/1", "r")

  • 但使用 fclose 关闭默认 stdinstdoutstderr 将同时关闭相应的 FILE 流对象,因此会影响其他任务;

  • 如需更改新任务的默认 stdinstdoutstderr 流,请在创建新任务之前修改 _GLOBAL_REENT->_stdin (_stdout_stderr)。

eventfd()

eventfd() 是一个很强大的工具,可以循环通知基于 select() 的自定义事件。在 ESP-IDF 中, eventfd() 的实现大体上与 man(2) eventfd 中的描述相同,主要区别如下:

  • 在调用 eventfd() 之前必须先调用 esp_vfs_eventfd_register()

  • 标志中没有 EFD_CLOEXECEFD_NONBLOCKEFD_SEMAPHORE 选项;

  • EFD_SUPPORT_ISR 选项已经被添加到标志中。在中断处理程序中读取和写入 eventfd 需要这个标志。

注意,用 EFD_SUPPORT_ISR 创建 eventfd 将导致在读取、写入文件时,以及在设置这个文件的 select() 开始和结束时,暂时禁用中断。

API 参考

Header File

  • components/vfs/include/esp_vfs.h

  • This header file can be included with:

    #include "esp_vfs.h"
    
  • This header file is a part of the API provided by the vfs component. To declare that your component depends on vfs, add the following to your CMakeLists.txt:

    REQUIRES vfs
    

    or

    PRIV_REQUIRES vfs
    

Functions

ssize_t esp_vfs_write(struct _reent *r, int fd, const void *data, size_t size)

These functions are to be used in newlib syscall table. They will be called by newlib when it needs to use any of the syscalls.

off_t esp_vfs_lseek(struct _reent *r, int fd, off_t size, int mode)
ssize_t esp_vfs_read(struct _reent *r, int fd, void *dst, size_t size)
int esp_vfs_open(struct _reent *r, const char *path, int flags, int mode)
int esp_vfs_close(struct _reent *r, int fd)
int esp_vfs_fstat(struct _reent *r, int fd, struct stat *st)
int esp_vfs_stat(struct _reent *r, const char *path, struct stat *st)
int esp_vfs_link(struct _reent *r, const char *n1, const char *n2)
int esp_vfs_unlink(struct _reent *r, const char *path)
int esp_vfs_rename(struct _reent *r, const char *src, const char *dst)
int esp_vfs_utime(const char *path, const struct utimbuf *times)
esp_err_t esp_vfs_register(const char *base_path, const esp_vfs_t *vfs, void *ctx)

Register a virtual filesystem for given path prefix.

参数
  • base_path -- file path prefix associated with the filesystem. Must be a zero-terminated C string, may be empty. If not empty, must be up to ESP_VFS_PATH_MAX characters long, and at least 2 characters long. Name must start with a "/" and must not end with "/". For example, "/data" or "/dev/spi" are valid. These VFSes would then be called to handle file paths such as "/data/myfile.txt" or "/dev/spi/0". In the special case of an empty base_path, a "fallback" VFS is registered. Such VFS will handle paths which are not matched by any other registered VFS.

  • vfs -- Pointer to esp_vfs_t, a structure which maps syscalls to the filesystem driver functions. VFS component doesn't assume ownership of this pointer.

  • ctx -- If vfs->flags has ESP_VFS_FLAG_CONTEXT_PTR set, a pointer which should be passed to VFS functions. Otherwise, NULL.

返回

ESP_OK if successful, ESP_ERR_NO_MEM if too many VFSes are registered.

esp_err_t esp_vfs_register_fd_range(const esp_vfs_t *vfs, void *ctx, int min_fd, int max_fd)

Special case function for registering a VFS that uses a method other than open() to open new file descriptors from the interval <min_fd; max_fd).

This is a special-purpose function intended for registering LWIP sockets to VFS.

参数
  • vfs -- Pointer to esp_vfs_t. Meaning is the same as for esp_vfs_register().

  • ctx -- Pointer to context structure. Meaning is the same as for esp_vfs_register().

  • min_fd -- The smallest file descriptor this VFS will use.

  • max_fd -- Upper boundary for file descriptors this VFS will use (the biggest file descriptor plus one).

返回

ESP_OK if successful, ESP_ERR_NO_MEM if too many VFSes are registered, ESP_ERR_INVALID_ARG if the file descriptor boundaries are incorrect.

esp_err_t esp_vfs_register_with_id(const esp_vfs_t *vfs, void *ctx, esp_vfs_id_t *vfs_id)

Special case function for registering a VFS that uses a method other than open() to open new file descriptors. In comparison with esp_vfs_register_fd_range, this function doesn't pre-registers an interval of file descriptors. File descriptors can be registered later, by using esp_vfs_register_fd.

参数
  • vfs -- Pointer to esp_vfs_t. Meaning is the same as for esp_vfs_register().

  • ctx -- Pointer to context structure. Meaning is the same as for esp_vfs_register().

  • vfs_id -- Here will be written the VFS ID which can be passed to esp_vfs_register_fd for registering file descriptors.

返回

ESP_OK if successful, ESP_ERR_NO_MEM if too many VFSes are registered, ESP_ERR_INVALID_ARG if the file descriptor boundaries are incorrect.

esp_err_t esp_vfs_unregister(const char *base_path)

Unregister a virtual filesystem for given path prefix

参数

base_path -- file prefix previously used in esp_vfs_register call

返回

ESP_OK if successful, ESP_ERR_INVALID_STATE if VFS for given prefix hasn't been registered

esp_err_t esp_vfs_unregister_with_id(esp_vfs_id_t vfs_id)

Unregister a virtual filesystem with the given index

参数

vfs_id -- The VFS ID returned by esp_vfs_register_with_id

返回

ESP_OK if successful, ESP_ERR_INVALID_STATE if VFS for the given index hasn't been registered

esp_err_t esp_vfs_register_fd(esp_vfs_id_t vfs_id, int *fd)

Special function for registering another file descriptor for a VFS registered by esp_vfs_register_with_id.

参数
  • vfs_id -- VFS identificator returned by esp_vfs_register_with_id.

  • fd -- The registered file descriptor will be written to this address.

返回

ESP_OK if the registration is successful, ESP_ERR_NO_MEM if too many file descriptors are registered, ESP_ERR_INVALID_ARG if the arguments are incorrect.

esp_err_t esp_vfs_register_fd_with_local_fd(esp_vfs_id_t vfs_id, int local_fd, bool permanent, int *fd)

Special function for registering another file descriptor with given local_fd for a VFS registered by esp_vfs_register_with_id.

参数
  • vfs_id -- VFS identificator returned by esp_vfs_register_with_id.

  • local_fd -- The fd in the local vfs. Passing -1 will set the local fd as the (*fd) value.

  • permanent -- Whether the fd should be treated as permannet (not removed after close())

  • fd -- The registered file descriptor will be written to this address.

返回

ESP_OK if the registration is successful, ESP_ERR_NO_MEM if too many file descriptors are registered, ESP_ERR_INVALID_ARG if the arguments are incorrect.

esp_err_t esp_vfs_unregister_fd(esp_vfs_id_t vfs_id, int fd)

Special function for unregistering a file descriptor belonging to a VFS registered by esp_vfs_register_with_id.

参数
  • vfs_id -- VFS identificator returned by esp_vfs_register_with_id.

  • fd -- File descriptor which should be unregistered.

返回

ESP_OK if the registration is successful, ESP_ERR_INVALID_ARG if the arguments are incorrect.

int esp_vfs_select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *errorfds, struct timeval *timeout)

Synchronous I/O multiplexing which implements the functionality of POSIX select() for VFS.

参数
  • nfds -- Specifies the range of descriptors which should be checked. The first nfds descriptors will be checked in each set.

  • readfds -- If not NULL, then points to a descriptor set that on input specifies which descriptors should be checked for being ready to read, and on output indicates which descriptors are ready to read.

  • writefds -- If not NULL, then points to a descriptor set that on input specifies which descriptors should be checked for being ready to write, and on output indicates which descriptors are ready to write.

  • errorfds -- If not NULL, then points to a descriptor set that on input specifies which descriptors should be checked for error conditions, and on output indicates which descriptors have error conditions.

  • timeout -- If not NULL, then points to timeval structure which specifies the time period after which the functions should time-out and return. If it is NULL, then the function will not time-out. Note that the timeout period is rounded up to the system tick and incremented by one.

返回

The number of descriptors set in the descriptor sets, or -1 when an error (specified by errno) have occurred.

void esp_vfs_select_triggered(esp_vfs_select_sem_t sem)

Notification from a VFS driver about a read/write/error condition.

This function is called when the VFS driver detects a read/write/error condition as it was requested by the previous call to start_select.

参数

sem -- semaphore structure which was passed to the driver by the start_select call

void esp_vfs_select_triggered_isr(esp_vfs_select_sem_t sem, BaseType_t *woken)

Notification from a VFS driver about a read/write/error condition (ISR version)

This function is called when the VFS driver detects a read/write/error condition as it was requested by the previous call to start_select.

参数
  • sem -- semaphore structure which was passed to the driver by the start_select call

  • woken -- is set to p