通过crontab执行HBase脚本生成空文件，请求排查原因

我来帮你排查这个问题——手动执行脚本正常，但crontab跑就生成空文件，大概率是crontab的执行上下文和交互式shell不一样导致的，下面是几个常见的排查方向和解决方法：

1. 先捕获错误输出，定位问题根源 #

你的脚本目前只重定向了标准输出，HBase shell执行失败的错误信息会被丢弃，所以空文件其实是因为命令没正常执行。先修改脚本，把错误输出也写入文件：

#!/bin/bash
/home/user/hbase-1.2.4/bin/hbase shell << eof > /home/user/myfile.txt 2>&1
list 'RAW_5_.*'
eof

再次通过crontab执行后，查看myfile.txt，里面应该会有具体的错误提示（比如找不到Java环境、HBase配置加载失败等），这能帮你快速定位核心问题。

2. 补充Crontab缺失的环境变量 #

交互式shell会加载~/.bash_profile、~/.bashrc里的环境变量，但crontab执行时默认只加载极少的环境变量。HBase shell依赖JAVA_HOME、HBASE_HOME等变量才能正常运行，即使你用了绝对路径也不行。

解决方法：在脚本开头手动export必要的环境变量，比如：

#!/bin/bash
# 替换成你实际的Java和HBase路径
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_HOME=/home/user/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin

/home/user/hbase-1.2.4/bin/hbase shell << eof > /home/user/myfile.txt 2>&1
list 'RAW_5_.*'
eof

或者直接在脚本开头source你的用户profile：

#!/bin/bash
source ~/.bash_profile

/home/user/hbase-1.2.4/bin/hbase shell << eof > /home/user/myfile.txt 2>&1
list 'RAW_5_.*'
eof

注意：如果crontab是用root用户执行的，~指向的是root的home目录，要确保对应的profile里有正确的环境变量。

3. 检查工作目录问题 #

HBase shell可能需要在特定工作目录下才能加载配置文件，比如HBase的安装根目录。你可以在脚本里先切换到HBase目录再执行命令：

#!/bin/bash
# 切换到HBase目录，失败则退出脚本
cd /home/user/hbase-1.2.4 || exit 1

bin/hbase shell << eof > /home/user/myfile.txt 2>&1
list 'RAW_5_.*'
eof

4. 验证Crontab的执行权限 #

如果你的HBase集群开启了Kerberos认证，crontab执行时需要先获取Kerberos票据才能访问HBase。可以在脚本里添加kinit命令（替换成你的keytab路径和principal）：

#!/bin/bash
export KRB5CCNAME=/tmp/krb5cc_$(id -u)
kinit -kt /path/to/your/user.keytab your_principal@REALM.COM

/home/user/hbase-1.2.4/bin/hbase shell << eof > /home/user/myfile.txt 2>&1
list 'RAW_5_.*'
eof

另外，还要确保crontab的执行用户有访问HBase配置文件、日志目录以及输出文件路径的权限。

5. 查看Crontab执行日志 #

你可以检查系统的crontab日志（比如/var/log/cron或/var/log/syslog，不同Linux发行版路径不同），看看脚本是否被正常触发，有没有权限或执行错误的记录。

内容的提问来源于stack exchange，提问作者Riyas Siddikk