GitLab CI中LFTP通配符镜像文件夹失败问题排查

你遇到的核心问题是LFTP的通配符没有被正确解析，再加上GitLab CI环境的shell解析特性，导致路径匹配出错。我来帮你拆解几个常见原因和对应的解决办法：

1. 通配符被Shell提前解析了 #

GitLab CI默认用bash执行命令，它会先尝试展开你写的通配符（比如folder-*），如果CI工作目录里没有匹配的本地文件/文件夹，就会直接抛出"No such file or directory"错误——因为shell找不到对应的路径，根本没把通配符传给LFTP处理。

解决办法：把包含通配符的路径用单引号'括起来，阻止shell提前解析，让LFTP自己处理通配符匹配：

lftp -c "set sftp:auto-confirm true; open sftp://$DEVELOPMENT_DEPLOY_USER:$DEVELOPMENT_DEPLOY_PASSWORD@$DEVELOPMENT_DEPLOY_HOST; mirror './source-folder-*' '/remote-target-path/'"

2. 镜像规则的include/exclude参数使用不当 #

如果你只想镜像特定文件夹里的JSON文件，光用通配符路径可能不够，需要结合LFTP mirror命令的--include和--exclude参数，精准控制要同步的内容。注意参数顺序很重要：先写--include定义要保留的规则，再用--exclude='*'排除所有其他内容。

比如，要同步所有以data-开头的文件夹里的JSON文件，完整命令应该是：

lftp -c "set sftp:auto-confirm true; open sftp://$DEVELOPMENT_DEPLOY_USER:$DEVELOPMENT_DEPLOY_PASSWORD@$DEVELOPMENT_DEPLOY_HOST; mirror --create --include='*/data-*.json' --include='*/data-*/' --exclude='*' ./local-build-dir/ /remote/destination/"

这里：

• --create：自动创建远程不存在的目标目录，避免因为远程路径缺失报错
• --include='*/data-*/'：确保包含符合规则的文件夹本身（否则可能只同步文件但不创建文件夹）
• --include='*/data-*.json'：匹配目标文件夹下的所有JSON文件
• --exclude='*'：排除所有未被include规则匹配的内容

3. 本地路径验证 #

在GitLab CI环境中，工作目录是你的项目根目录，一定要确保你指定的本地路径是正确的。可以在LFTP命令前加一个ls命令，先验证本地文件/文件夹是否存在：

script:
  - ls -la ./local-build-dir/data-*  # 确认目标文件夹存在
  - lftp -c "..."  # 你的LFTP同步命令

如果这一步就报错，说明你的构建产物没有生成到预期路径，得先调整构建步骤。

4. 特殊字符转义 #

如果你的用户名、密码或者路径里包含特殊字符（比如@、!、空格），需要用反斜杠\转义，或者把整个URL用单引号包裹（注意和外层的双引号区分开）：

lftp -c "set sftp:auto-confirm true; open 'sftp://$DEVELOPMENT_DEPLOY_USER:$DEVELOPMENT_DEPLOY_PASSWORD@$DEVELOPMENT_DEPLOY_HOST'; mirror ..."

试一下上面的方案，应该能解决你的通配符解析问题。

内容的提问来源于stack exchange，提问作者Dennis van der Veeke