ECS容器内s3fs挂载S3存储桶无法同步新文件更新问题

s3fs是基于FUSE实现的用户态文件系统，默认会缓存S3存储桶的文件元数据、目录列表，以此减少S3 API调用次数、提升文件访问性能。默认缓存有效期内s3fs不会主动同步S3端的最新变更，就会出现桶内新增文件在本地挂载路径不可见的现象。当前挂载命令仅添加了ECS场景的RAM角色适配参数，未调整缓存相关配置，是问题的直接诱因。

修改entrypoint.sh中的s3fs挂载命令，根据业务对数据一致性的要求选择对应配置即可：

• 强一致实时场景：需要实时看到S3桶内最新文件时，直接禁用元数据与目录缓存，挂载命令替换为：

s3fs ${bucket} /cube/conf/schema -o ecs -o stat_cache_expire=0 -o max_stat_cache_size=0 -o dir_cache_timeout=0

该配置下所有元数据、目录查询请求都会直接发往S3，无缓存延迟，但会增加S3 API调用量，文件访问性能有一定下降，适合文件总量少、实时性要求极高的场景。

• 生产环境推荐配置：平衡性能与一致性，将缓存过期时间设置为业务可接受的短周期（比如5秒），最多延迟5秒即可感知到新文件，同时不会产生过多API请求，性能损失极小：

s3fs ${bucket} /cube/conf/schema -o ecs -o stat_cache_expire=5 -o dir_cache_timeout=5

若安装的s3fs版本低于1.90，dir_cache_timeout参数不支持，替换为-o no_dir_cache即可禁用目录缓存。

• 容器启动时需要授予FUSE设备访问权限，启动命令需添加--cap-add SYS_ADMIN --device /dev/fuse参数，否则s3fs会因权限不足挂载失败。
• 若CubeJS服务以非root用户运行，需要在挂载参数中追加-o allow_other，否则非root进程无权限访问挂载路径下的文件。
• 修改entrypoint.sh后需要重新构建镜像，重启容器后配置才会生效。

内容的提问来源于stack exchange，提问作者steamrolla