如何在PySpark中输出无截断的Structured Stream结果？

在使用Structured Stream将结果输出到控制台时，默认会截断过长的内容。要实现类似show(truncate=False)的完整输出效果，只需在format("console")后添加option("truncate", "false")配置即可。

修改后的代码： #

.writeStream \
.outputMode("append") \
.format("console") \
.option("truncate", "false") \
.start()

输出效果： #

+--------------------+--------+--------+
|            column#1|column#2|column#3|
+--------------------+--------+--------+
|08/25/2022  00:00:00|abcdefgh|12345678|
+--------------------+--------+--------+

truncate参数默认值为true，设置为false后会完整显示所有列的内容，不再用省略号截断过长的字段。

内容的提问来源于stack exchange，提问作者Azamat