如何通过.show()方法显示Spark DataFrame的全部记录？

可以直接通过设置show()方法的n参数为DataFrame的总行数来实现显示全部记录：

df.show(n=df.count())

如果希望完整显示所有字段内容（避免长文本被截断），可以同时设置truncate=False参数：

df.show(n=df.count(), truncate=False)

注意事项 #

• 若DataFrame数据量极大（如百万级及以上），不建议使用这种方式，因为所有数据会被加载到Driver节点的内存中，可能引发内存不足（OOM）问题。此时更适合用df.limit(100).show()查看样本数据，或者将数据写入文件后再查看。

内容的提问来源于stack exchange，提问作者Mohammad