如何让gcloud dataproc jobs submit spark-sql查询结果显示列标题？

我懂你的困扰——用gcloud dataproc jobs submit spark-sql提交查询时，默认输出只有纯空白分隔的数据、看不到列名，确实很难直观读懂结果。不过有几个简单的办法能快速搞定这个问题：

方法1：在SQL语句中临时开启表头输出 #

直接在你的查询前添加SET spark.sql.output.header=true;，这个命令会设置当前会话的输出配置，让查询结果自动带上列标题：

gcloud dataproc jobs submit spark-sql --cluster mycluster --region europe-west1 -e "SET spark.sql.output.header=true; select * from mydb.mytable limit 10"

方法2：通过作业参数全局配置表头 #

如果你希望这个配置适用于整个作业，不用修改SQL语句，可以用--properties参数传递Spark配置项：

gcloud dataproc jobs submit spark-sql --cluster mycluster --region europe-west1 --properties spark.sql.output.header=true -e "select * from mydb.mytable limit 10"

进阶：优化输出格式为CSV（更易读） #

如果默认的空白分隔还是不够清晰，可以同时指定输出格式为CSV，配合表头配置，输出会更规整、可读性更强：

gcloud dataproc jobs submit spark-sql --cluster mycluster --region europe-west1 --properties spark.sql.output.format=csv,spark.sql.output.header=true -e "select * from mydb.mytable limit 10"

补充说明 #

Spark SQL在批处理模式（也就是Dataproc提交的非交互式作业）下默认关闭表头输出，是为了方便后续程序直接处理纯数据。但当你需要人工查看结果时，开启spark.sql.output.header=true就能完美满足需求啦。

内容的提问来源于stack exchange，提问作者jamiet