Spark读取Kafka流数据时列值被截断问题求助

你遇到的列值截断是display()方法（常见于Databricks环境）的默认限制，目的是避免界面加载过大的数据，你的数据转换操作本身没有错误。下面提供几种实用的解决方式：

1. 调整display的显示参数 #

如果需要在可视化界面查看完整字符串，可以给display()传入参数修改截断行为：

// 设置最大列宽为1000字符（可根据实际需求调整数值）
display(df1, maxColumnWidth = 1000)

// 完全禁用列值截断
display(df1, truncate = false)

2. 使用Spark原生show方法 #

临时查看完整数据时，用Spark自带的show()方法更直接，通过truncate=false关闭截断：

// 显示所有行的完整内容
df1.show(truncate = false)

// 数据量较大时，指定显示行数避免输出过多
df1.show(10, truncate = false)

3. 直接解析JSON（推荐方案） #

其实无需先查看完整JSON字符串再拆分，直接用Spark的JSON解析函数将字符串转为结构化DataFrame，一步到位：

import org.apache.spark.sql.functions.from_json
import org.apache.spark.sql.types.StructType

// 定义你的机器数据JSON对应的Schema（根据实际业务字段调整）
val machineSchema = new StructType()
  .add("machineId", "string")
  .add("timestamp", "long")
  .add("sensorData", new StructType()
    .add("temperature", "double")
    .add("pressure", "double"))

// 解析value列的JSON为结构化数据，并展开所有嵌套字段
val structuredDF = df1.select(
  $"key",
  from_json($"value", machineSchema).alias("machine_info")
).select("key", "machine_info.*")

// 此时显示的是拆分后的结构化列，不会出现截断问题
display(structuredDF)

内容的提问来源于stack exchange，提问作者PeKraYa