如何在Google Cloud Platform查看Dataproc作业的输出文件

查看Dataproc作业输出文件内容的方法 #

你不需要修改.jar代码即可查看已生成的输出文件，具体查看方式根据你的存储位置分为以下几种：

• 如果你将输出存放在Cloud Storage存储桶（即你提到的存放作业输出的存储位置）：
  1. 直接在GCP控制台打开Cloud Storage页面，找到对应存储桶，进入输出文件所在的目录，小于10MB的文本类文件可以直接点击文件名在浏览器中预览内容，大文件可以选中后点击「下载」按钮保存到本地查看
  2. 也可以通过gcloud命令行工具查看，先执行gsutil ls gs://<你的存储桶名称>/<输出目录路径>/确认输出文件列表，再执行gsutil cat gs://<你的存储桶名称>/<输出目录路径>/<文件名>直接打印文件内容；如果需要合并多个part前缀的分片输出文件，执行gsutil cat gs://<你的存储桶名称>/<输出目录路径>/part-* > ./merged_output.txt即可将全量输出合并到本地文件后查看
• 如果你将输出存放在集群本地HDFS中：
  先SSH连接到Dataproc集群的主节点，执行hdfs dfs -cat <HDFS上的输出文件路径>即可直接查看内容

是否需要修改.jar代码 #

• 只要你原有代码已经将需要的输出内容写入了持久化存储（Cloud Storage或者HDFS），不需要做任何代码修改，直接用上述方法查看即可
• 仅当你原有代码没有将需要的内容写入持久化存储，仅输出到作业临时日志、或者作业运行结束后内容就被销毁的场景下，才需要修改代码将目标内容写入指定的存储路径，重新运行作业生成可查询的输出文件

作业输出内容存储桶参考：

内容的提问来源于stack exchange，提问作者dvb