如何输出PySpark结构化流的完整value内容并打印整行？

可以输出完整的value内容，以下是几种实用的实现方式：

1. 修改show()方法的参数 #

默认的show()会自动截断长字符串，只需添加truncate=False参数就能显示完整内容：

spark.sql("select * from value_query").show(truncate=False)

2. 直接将流输出到控制台并关闭截断 #

如果不需要将数据写入内存表，可直接用控制台输出流，同时关闭截断：

raw_stream_str \
    .writeStream \
    .queryName("value_query") \
    .format("console") \
    .option("truncate", "false") \
    .start() \
    .awaitTermination()

3. 全局配置Spark显示参数 #

通过配置全局参数，让所有show()操作默认不截断字符串，无需每次手动设置：

# 创建SparkSession时配置
spark = SparkSession \
    .builder \
    .config("spark.sql.repl.eagerEval.truncate", 0)  # 0表示完全不截断
    .getOrCreate()

# 或者运行时动态配置
spark.conf.set("spark.sql.repl.eagerEval.truncate", 0)

4. 收集数据后逐行打印 #

如果需要对每条数据做额外处理，可以先收集数据再逐行打印（注意：数据量较大时谨慎使用，避免Driver内存溢出）：

rows = spark.sql("select * from value_query").collect()
for row in rows:
    print(row.value)

内容的提问来源于stack exchange，提问作者Azamat