PySpark中如何获取RDD的Schema？是否有类似df.info()的函数？

一、如何获取该RDD的Schema？ #

RDD本身是无类型的弹性分布式数据集，没有内置的Schema概念，它仅存储原始的对象集合。要获取结构化的Schema，需要先将RDD转换为DataFrame，具体步骤如下：

1. 分离表头与数据行 #

首先提取RDD中的表头行，再过滤出数据行：

# 提取表头
header = rdd.first()
# 获取数据行（排除表头）
data_rdd = rdd.filter(lambda row: row != header)

2. 转换RDD为DataFrame并获取Schema #

可以选择手动定义Schema或让Spark自动推断：

方式1：手动定义Schema

from pyspark.sql import Row
from pyspark.sql.types import StructType, StructField, IntegerType

# 拆分表头字段
fields = header.split(',')
# 将数据行映射为Row对象
rows_rdd = data_rdd.map(lambda line: Row(**dict(zip(fields, map(int, line.split(','))))))

# 手动定义Schema（匹配数据类型）
schema = StructType([
    StructField("age", IntegerType(), nullable=True),
    StructField("gender", IntegerType(), nullable=True),
    StructField("miles", IntegerType(), nullable=True),
    StructField("debt", IntegerType(), nullable=True),
    StructField("income", IntegerType(), nullable=True),
    StructField("sales", IntegerType(), nullable=True)
])

# 创建DataFrame并打印Schema
df = spark.createDataFrame(rows_rdd, schema=schema)
df.printSchema()

方式2：自动推断Schema

如果不需要精确控制类型，可让Spark自动推断：

from pyspark.sql import Row

fields = header.split(',')
rows_rdd = data_rdd.map(lambda line: Row(**dict(zip(fields, map(int, line.split(','))))))

df = spark.createDataFrame(rows_rdd)
df.printSchema()

执行后就能得到和DataFrame一致的结构化Schema输出。

二、PySpark的RDD是否有类似df.info()的函数？ #

没有。df.info()是结构化数据（DataFrame）特有的功能，依赖于字段类型、非空统计、数据量等元信息。而RDD是无类型的，不存储这些元数据，因此没有直接对应的函数。

如果需要类似df.info()的信息，需先将RDD转换为DataFrame，再通过以下方式实现类似功能：

# 查看数据行数
print(f"数据行数: {df.count()}")

# 打印Schema结构
df.printSchema()

# 查看字段基本统计信息（均值、最值等）
df.describe().show()

# 查看各字段非空值数量
from pyspark.sql.functions import count, when, col
df.select([count(when(col(c).isNull(), c)).alias(f"{c}_空值数量") for c in df.columns]).show()

内容的提问来源于stack exchange，提问作者Eric