如何在Hadoop集群命令行执行HDFS中的shell脚本？

首先得明确：HDFS是分布式文件系统，它上面的文件不能直接像本地文件系统里的脚本那样用./count.sh执行——因为系统没法直接识别HDFS路径作为可执行文件的来源。不过有几种实用方法可以实现你的需求：

方法1：先下载到本地再执行 #

这是最直观的方式，把HDFS上的脚本拉到本地节点，赋予执行权限后运行：

# 1. 从HDFS下载脚本到当前本地目录
hadoop fs -get /user/cloudera/myscripts/count.sh ./

# 2. 给脚本添加执行权限（如果原脚本没有的话）
chmod +x count.sh

# 3. 执行脚本
./count.sh

这种方法的好处是你可以先查看、修改脚本内容，执行体验和本地脚本完全一致。

方法2：直接通过管道传递给Bash执行 #

如果你不想把脚本存到本地，可以直接读取HDFS上的脚本内容，通过管道交给bash执行：

hadoop fs -cat /user/cloudera/myscripts/count.sh | bash

或者用更简洁的hdfs dfs命令（和hadoop fs功能基本一致）：

hdfs dfs -cat /user/cloudera/myscripts/count.sh | bash

⚠️ 注意：如果你的count.sh脚本里涉及本地文件路径的操作，这种方式可能出问题——因为脚本是在当前节点的bash进程中执行，所有本地路径都会指向当前节点的本地文件系统，而非HDFS。如果脚本是处理HDFS文件的，务必确保脚本里的路径是完整的HDFS路径（比如/user/cloudera/data/）。

额外注意事项 #

• 确保你的用户账号有读取HDFS上/user/cloudera/myscripts/count.sh的权限，可以用hadoop fs -ls /user/cloudera/myscripts/验证。
• 如果脚本依赖Hadoop相关命令（比如hadoop fs、hdfs dfs），要确保执行命令的节点已配置好Hadoop环境变量，或者使用命令的完整路径。

内容的提问来源于stack exchange，提问作者Ash