Java通过JSch远程调用AWS服务器Hadoop命令无返回问题求助

问题原因 #

• 仅读取标准输出流，未处理标准错误流：JSch的exec模式下命令的错误输出会写入stderr流，当前代码只读取了stdout，如果hadoop命令执行报错，错误信息会填满stderr缓冲区，导致进程阻塞挂起，也无法拿到错误内容。
• 非交互式SSH会话缺少必要环境变量：SSH exec模式属于非交互式登录，默认不会加载用户目录下的.bashrc、.bash_profile等配置文件，即使写了hadoop全路径，hadoop运行依赖的HADOOP_HOME、JAVA_HOME、HADOOP_CONF_DIR等环境变量未加载，会直接启动失败。
• ChannelExec复用不合理：ChannelExec是单次执行的通道，复用同一个实例执行多次命令会导致状态异常，出现卡住无返回的问题。
• 未处理命令执行完成逻辑：代码未判断命令是否执行完成，也未主动释放通道资源，容易出现阻塞。

修复方案 #

1 命令执行前先加载环境变量 #

执行hadoop命令时，先加载对应的环境配置文件，示例命令格式：
source /etc/profile && source ~/.bash_profile && /usr/local/hadoop/bin/hadoop fs -ls
如果环境变量配置在其他路径，替换为对应的配置文件路径即可。

2 修改核心代码逻辑 #

• 每次执行命令新建ChannelExec，不复用
• 同时读取stdout和stderr两个流的内容
• 增加命令执行状态判断，执行完成后主动关闭通道和流

修改后的代码示例：

public String getSSHResponse(String command) {
    StringBuilder response = new StringBuilder();
    ChannelExec channelExec = null;
    InputStream stdout = null;
    InputStream stderr = null;
    try {
        // 每次新建ChannelExec，不复用
        channelExec = (ChannelExec) session.openChannel("exec");
        // 加载环境变量+执行命令，也可以直接在入参处拼接source逻辑
        channelExec.setCommand("source /etc/profile && source ~/.bash_profile && " + command);

        stdout = channelExec.getInputStream();
        stderr = channelExec.getErrStream();
        channelExec.connect();

        // 读取标准输出
        byte[] buffer = new byte[8192];
        int decodedLength;
        while ((decodedLength = stdout.read(buffer, 0, buffer.length)) > 0) {
            response.append(new String(buffer, 0, decodedLength));
        }
        // 读取标准错误
        while ((decodedLength = stderr.read(buffer, 0, buffer.length)) > 0) {
            response.append("[stderr]").append(new String(buffer, 0, decodedLength));
        }

        // 等待命令执行完成，获取退出码
        while (!channelExec.isClosed()) {
            Thread.sleep(100);
        }
        int exitCode = channelExec.getExitStatus();
        response.append("\n命令执行退出码: ").append(exitCode);

    } catch (JSchException e) {
        log.error("JSch执行异常", e);
    } catch (IOException e) {
        log.error("流读取异常", e);
    } catch (InterruptedException e) {
        log.error("等待命令执行中断", e);
    } finally {
        // 主动释放资源
        if (stdout != null) {
            try { stdout.close(); } catch (IOException ignored) {}
        }
        if (stderr != null) {
            try { stderr.close(); } catch (IOException ignored) {}
        }
        if (channelExec != null && channelExec.isConnected()) {
            channelExec.disconnect();
        }
    }
    return response.toString();
}

3 额外排查点 #

如果修改后还是有问题，可以先执行简单的环境变量校验命令，确认返回的环境变量是否正确：
echo $JAVA_HOME && echo $HADOOP_HOME
确认环境变量加载正常后再执行hadoop命令即可。

内容的提问来源于stack exchange，提问作者meowmeow