NiFi集群模式下ExecuteStreamCommand调用Expect脚本失败排查

可能的根因 #

• 资源竞争或超时：K8s集群节点CPU/内存波动、SFTP服务器响应延迟，导致Expect spawn的SFTP进程被意外终止；脚本默认超时时间过短，未等连接建立完成就执行send操作。
• 集群环境不一致：NiFi集群节点容器内的Expect版本、SFTP客户端版本、系统资源限制（如文件描述符）存在差异，部分节点环境无法稳定支撑脚本执行。
• 脚本健壮性不足：未处理SFTP连接失败、主机密钥确认等异常交互场景，当spawn进程未成功启动或提前退出时，后续send操作找不到有效进程ID。
• K8s容器隔离限制：容器OOM Killer触发、PID namespace限制导致Expect进程被强制杀死；容器内未预配置SFTP服务器主机密钥，连接时出现交互提示中断脚本执行。

排查步骤 #

1. 收集错误上下文：查看NiFi节点日志中ExecuteStreamCommand的stderr输出，确认错误发生时是否伴随SFTP连接超时、主机密钥确认提示等信息。
2. 检查资源状态：查看K8s节点的CPU/内存使用率，以及容器的OOM事件记录，确认是否存在资源耗尽导致进程终止的情况。
3. 模拟超时场景：手动在容器内模拟SFTP服务器响应延迟（如使用tc命令限制网络带宽），测试脚本是否触发相同错误。
4. 统一环境校验：在所有集群节点容器内执行expect -v、sftp -V、ulimit -n，对比版本和配置是否一致。
5. 增强脚本调试：在脚本中添加日志输出，比如spawn后打印进程ID，send前检查进程是否存活，定位错误发生的具体环节。

解决方案建议 #

1. 优化Expect脚本健壮性 #

#!/usr/bin/expect
set timeout 60  ;# 延长超时时间
set user "your_sftp_user"
set pass "your_sftp_pass"
set host "your_sftp_host"
set path "your_target_path"

# 捕获spawn异常
if {[catch {spawn sftp $user@$host:$path} spawn_err]} {
    puts "Spawn SFTP failed: $spawn_err"
    exit 1
}

# 处理交互场景（主机密钥确认、密码输入）
expect {
    "Are you sure you want to continue connecting (yes/no)?" {
        send "yes\r"
        exp_continue
    }
    "password:" {
        send "$pass\r"
    }
    timeout {
        puts "SFTP connection timeout"
        exit 1
    }
}

# 进入SFTP环境后执行统计命令
expect "sftp>"
send "ls | wc -l\r"
expect -re {(\d+)\r\nsftp>}
set file_count $expect_out(1,string)
puts "$file_count"

send "exit\r"
expect eof

• 增加spawn异常捕获，避免无进程时执行send操作
• 处理主机密钥确认的交互场景
• 延长超时时间，适配SFTP服务器响应延迟
• 用正则提取统计结果，减少后续处理异常

2. 调整NiFi处理器配置 #

• 降低Concurrent Tasks值（如设为1），避免同时发起过多SFTP连接导致资源耗尽
• 调大Command Timeout参数（如设为30000毫秒），给脚本足够的执行时间
• 配置节点亲和性，让处理器只在环境一致的节点上运行

3. 优化K8s容器环境 #

• 给容器配置合理的资源请求和限制（如resources: requests: {cpu: "100m", memory: "256Mi"} limits: {cpu: "500m", memory: "512Mi"}），避免OOM
• 在Docker镜像中预先添加SFTP服务器主机密钥到/root/.ssh/known_hosts，执行ssh-keyscan your_sftp_host >> /root/.ssh/known_hosts
• 增加容器文件描述符限制，在Deployment的securityContext中添加：

  securityContext:
    sysctls:
    - name: fs.file-max
      value: "65536"
  

4. 长期替代方案 #

• 开发自定义NiFi处理器：使用Java SFTP客户端库（如JSch）直接实现文件统计逻辑，摆脱对Expect脚本的依赖，提升稳定性和可维护性
• 改用SSH密钥认证：将容器内的公钥上传到SFTP服务器，避免脚本处理密码交互，减少出错环节

内容的提问来源于stack exchange，提问作者scoutjohn13