PySpark中将int与int数组转换为DataFrame报错如何解决

• 调用spark.createDataFrame()时传入的data参数格式错误：该方法默认要求传入的数据集为行维度的二维结构，即外层列表存储所有行，每个内层元素存储单行的多列值。你当前直接传入[id, data1]一维列表，PySpark会把int类型的id、数组类型的data1分别识别为单独的行，自然无法匹配两列的schema，抛出类型推断错误。
• 代码中直接使用内置函数名id作为变量值，会导致逻辑偏差，建议替换为实际的ID取值，比如你循环中的变量i。
• 额外优化提示：循环中逐次创建DataFrame再执行union是极低效的写法，数据量稍大就会导致性能急剧下降，甚至出现执行计划爆炸的问题。

最小改动可运行版本 #

仅修改格式问题，兼容你原有的代码逻辑：

from pyspark.sql.types import StructType, StructField, IntegerType, ArrayType

emp_rdd = spark.sparkContext.emptyRDD()
schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("data", ArrayType(IntegerType()), True),
])
df = spark.createDataFrame(data=emp_rdd, schema=schema)

# 示例：长度为3的int数组，替换为你实际的data1取值
data1 = [1, 2, 3]
for i in range(10):
    # 单行数据套一层外层列表，转为符合要求的二维结构
    # 这里用循环变量i作为id值，替换为你实际的ID生成逻辑
    row_data = [[i, data1]]
    # 显式传入预定义的schema，避免类型推断偏差导致union时schema不匹配
    new_rows = spark.createDataFrame(row_data, schema=schema)
    df = df.union(new_rows)

高性能批量生成版本 #

跳过循环union操作，一次性生成所有数据再转DataFrame，性能提升明显：

from pyspark.sql.types import StructType, StructField, IntegerType, ArrayType

schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("data", ArrayType(IntegerType()), True),
])

# 示例：长度为3的int数组，替换为你实际的data1取值
data1 = [1, 2, 3]
# 预先生成所有行数据
all_rows = [[i, data1] for i in range(10)]
# 一次性创建DataFrame，不需要提前初始化空DF
df = spark.createDataFrame(all_rows, schema=schema)

内容的提问来源于stack exchange，提问作者j. m