Hadoop PageRank实现中Shell脚本While循环无法进入问题排查

• check_conv.py输出格式异常
  确保Python脚本输出的是纯整数（0或1），没有多余空格、换行或调试日志。如果输出混了无关字符，CONVERGE=$(python check_conv.py)会把这些内容也赋值给变量，导致数值比较-ne失败。可以用过滤命令清理输出：

  CONVERGE=$(python check_conv.py | tr -d '\n' | awk '{print $1}')
  

  同时确认脚本是将结果输出到标准输出，而非文件或标准错误流（stderr），否则变量会拿到空值。

• 变量赋值与比较的语法错误

  • 检查变量赋值是否有多余空格：CONVERGE=1是正确写法，CONVERGE = 1会触发语法错误。
  • 在循环判断前增加调试输出，确认变量实际值：

    echo "当前CONVERGE值: '$CONVERGE'"
    

    如果变量是空值或非数字，[ "$CONVERGE" -ne 0 ]会直接返回假。可以改用bash的双括号语法，对数值兼容性更好：

    while (( CONVERGE != 0 )); do
        # 循环逻辑
    done
    

• Hadoop输出文件的访问问题
  如果check_conv.py需要读取Hadoop的输出结果，要确保：

  • 已将HDFS上的输出文件拉取到本地：hadoop fs -get /hdfs/output/path local/output/dir
  • Python脚本使用的本地文件路径正确，且有读取权限。如果路径错误或权限不足，脚本会报错，输出非预期值甚至空值。

• 初始变量被意外覆盖
  检查第一个MapReduce任务执行后的代码，是否有操作重置了CONVERGE变量（比如同名变量赋值、环境变量修改）。可以在循环判断前加调试语句，确认初始值1没有被改变：

  echo "进入循环前CONVERGE: $CONVERGE"
  

• Shell执行环境兼容性问题

  • 脚本开头指定bash解释器：#!/bin/bash，避免用sh执行时的语法差异。
  • 如果脚本开启了set -e（命令出错即退出），若check_conv.py或其他前置命令报错，会直接终止脚本，无法进入循环。可以暂时注释set -e，或在关键命令后加|| true避免中断。

内容的提问来源于stack exchange，提问作者Jdszoua29