将二维列表转换为PySpark DataFrame时字段长度不匹配如何解决

你直接并行化二维列表得到的RDD每个元素是长度为11的子列表，Spark创建DataFrame时会默认将列表内的每个元素对应一个schema字段，你定义的schema仅包含1个Message字段，字段数量不匹配，因此抛出长度不符的错误。

分两种场景实现：

• 场景1：需要保留列表的数值特性，后续可直接操作数组内元素
  使用ArrayType作为字段类型，同时将RDD的每个子列表包装为单元素元组，匹配单字段的schema：

from pyspark.sql.types import StructType, StructField, ArrayType, IntegerType

a = [[1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 0, 1, 0, 1]]

rdd = spark.sparkContext.parallelize(a)
schema1 = StructType([
    StructField('Message', ArrayType(IntegerType()), True)
])
# 把子列表包成单元素元组，对应1个字段
df1 = spark.createDataFrame(rdd.map(lambda x: (x,)), schema1)
df1.show(truncate=False)

• 场景2：需要和你给出的预期输出格式完全一致，存为字符串
  将每个子列表转为字符串后再包装为单元素元组，使用StringType作为字段类型：

from pyspark.sql.types import StructType, StructField, StringType

a = [[1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],
     [1, 1, 1, 1, 1, 1, 1, 0, 1, 0, 1]]

rdd = spark.sparkContext.parallelize(a)
schema1 = StructType([
    StructField('Message', StringType(), True)
])
# 先转字符串，再包成单元素元组
df1 = spark.createDataFrame(rdd.map(lambda x: (str(x),)), schema1)
df1.show(truncate=False)

注：show方法加truncate=False参数是为了避免长内容被自动截断，显示完整的字段值。

内容的提问来源于stack exchange，提问作者Dheeraj