使用Koalas转换字典列表为DataFrame时ArrowInvalid错误如何解决

错误根因 #

ArrowInvalid: cannot mix list and non-list, non-null values报错的核心原因是Koalas底层依赖Arrow做序列化与类型推断，类型校验规则远严格于Pandas：同一列不允许同时存在列表类型、非列表基础类型、非空值三类数据。Pandas会自动将这类异构列兼容为object类型因此不会触发报错，但Spark/Koalas要求每列数据类型统一。 #

方案1：显式指定Schema+数据规整（推荐，全数据量适用） #

根据业务需求统一每列的数据类型，显式定义Spark Schema避免自动推断出错，有两种规整方向：

方向A：统一列类型为数组（适合原本就需要存储多值的列） #

将所有非列表、非null的单值包装为单元素列表，null值可按需保留或统一替换为空列表：

import databricks.koalas as ks
from pyspark.sql.types import StructType, StructField, ArrayType, StringType

# 原始字典列表
raw_data = [
    {'A': None, 'B': None, 'C': None, 'D': None, 'E': []},
    {'A': "data1", 'B': "data2", 'C': "data3", 'D': "data4", 'E': None}
]

# 数据规整
def normalize_row(row):
    normalized = {}
    for k, v in row.items():
        if not isinstance(v, list) and v is not None:
            normalized[k] = [v]
        # 若需要统一null为空列表，取消注释下两行
        # elif v is None:
        #     normalized[k] = []
        else:
            normalized[k] = v
    return normalized

processed_data = [normalize_row(row) for row in raw_data]

# 显式定义数组类型Schema，基础元素类型按需替换为IntegerType等
schema = StructType([
    StructField("A", ArrayType(StringType()), nullable=True),
    StructField("B", ArrayType(StringType()), nullable=True),
    StructField("C", ArrayType(StringType()), nullable=True),
    StructField("D", ArrayType(StringType()), nullable=True),
    StructField("E", ArrayType(StringType()), nullable=True)
])

# 生成Koalas DataFrame
kdf = ks.DataFrame(processed_data, schema=schema)

方向B：统一列类型为基础类型（适合仅需存储单值的列） #

将所有空列表[]替换为null，保证列内仅存在基础类型值与null：

import databricks.koalas as ks
from pyspark.sql.types import StructType, StructField, StringType

def normalize_row(row):
    normalized = {}
    for k, v in row.items():
        if isinstance(v, list) and len(v) == 0:
            normalized[k] = None
        else:
            normalized[k] = v
    return normalized

processed_data = [normalize_row(row) for row in raw_data]

# 显式定义基础类型Schema
schema = StructType([
    StructField("A", StringType(), nullable=True),
    StructField("B", StringType(), nullable=True),
    StructField("C", StringType(), nullable=True),
    StructField("D", StringType(), nullable=True),
    StructField("E", StringType(), nullable=True)
])

kdf = ks.DataFrame(processed_data, schema=schema)

方案2：小数据量场景快速转换 #

如果数据量较小，可以先利用Pandas完成类型兼容，再直接转换为Koalas DataFrame：

import pandas as pd
import databricks.koalas as ks

pdf = pd.DataFrame(raw_data)
kdf = ks.from_pandas(pdf)

内容的提问来源于stack exchange，提问作者Alex M