如何在Databricks中正常渲染过滤后的Spark DataFrame图像

核心问题是你用collect()拉取数据到本地再重建DataFrame的操作，丢失了content列上Databricks用来识别图像类型的元数据标记。
原始从Delta表读取的DataFrame中，存储图像二进制的content列除了基础的Binary类型定义外，还附带了特殊的元数据标识，display()方法正是靠这个标识自动识别图像内容、渲染预览并显示Show image preview复选框。collect()操作会把分布式数据集转为本地Python Row对象列表，这个过程会完全丢弃列上的自定义元数据；后续仅传入列名调用createDataFrame时，Spark只会推断基础数据类型，不会还原元数据，因此display()只会将其识别为普通二进制列，直接展示原始字节内容。

额外注意：没有显式排序的Spark DataFrame本身是无序的，直接按collect()返回结果的固定索引取行，结果不具备稳定性，且全量collect会把所有数据加载到Driver内存，数据量稍大就会触发OOM，不推荐使用这种方式做行过滤。

方案1：使用Spark原生API做过滤（推荐） #

完全避免把数据拉到本地，保留所有原始元数据，过滤后直接display即可正常展示图像：

from pyspark.sql.functions import row_number, lit, col
from pyspark.sql.window import Window

# 定义窗口生成行号，如果有明确的业务排序字段（如自增ID、时间戳），请替换orderBy中的lit(1)，保证行顺序稳定
w = Window.orderBy(lit(1))
# 生成从0开始的行号，和之前collect的下标逻辑对齐
df_with_row_num = df_test.withColumn("row_idx", row_number().over(w) - 1)
# 过滤目标行后删除辅助行号列
df_filtered = df_with_row_num.filter(col("row_idx").isin([3,6,9])).drop("row_idx")

display(df_filtered)

方案2：修复本地重建DataFrame的元数据 #

如果你已经通过collect拿到了本地Row列表，重建DataFrame时给content列补回原始元数据即可触发图像预览：

from pyspark.sql.types import BinaryType

# 先获取原始DataFrame中content列的元数据
content_col_metadata = df_test.schema["content"].metadata

# 重建DataFrame后，给content列重新附加原始元数据
df_test2 = spark.createDataFrame(data=df_test_filtered, schema=df_test_cols)
df_test2 = df_test2.withColumn(
    "content", 
    col("content").cast(BinaryType()).alias("content", metadata=content_col_metadata)
)

display(df_test2)

内容的提问来源于stack exchange，提问作者Piotr G