如何将SQL查询结果直接输出至HDFS而不生成本地文件？

当然可以实现类似gunzip的流式上传，不用先生成本地文件。核心思路就是把sqlplus的标准输出（stdout）通过管道直接传给hdfs dfs -put命令，让HDFS客户端从标准输入（stdin）读取数据并上传。

修改后的命令如下：

sqlplus -S user/password@dbname << EOF | hdfs dfs -put - "${path_folder}/file_name.txt"
    set feedback off trimspool on
    select * from table_name;
    exit;
EOF

关键说明： #

• 去掉了原命令中> file_name.txt的本地文件重定向，换成管道|连接hdfs dfs -put命令
• hdfs dfs -put后的-是特殊参数，表示从标准输入读取数据，而非读取本地文件
• 保留sqlplus的-S（静默模式）以及set feedback off trimspool on配置，避免输出多余提示信息，保证查询结果的纯净性

这种方式和你用gunzip --to-stdout的优化逻辑完全一致，优势在于：

• 节省本地磁盘空间，无需临时存储查询结果文件
• 减少磁盘IO操作，流程效率更高
• 省去后续清理临时文件的步骤

内容的提问来源于stack exchange，提问作者alejomarchan