将Dataverse数据读取为PySpark DecimalType数据帧报错的解决方案咨询

报错核心原因 #

PySpark的DecimalType不支持直接接收Python原生float类型值——因为float存在精度丢失问题，只有decimal.Decimal类型的对象才能直接匹配DecimalType定义的schema。

更直接的解决方法 #

方法1：提前将数值转为decimal.Decimal对象

在创建DataFrame前，把从Dataverse API获取的float数值转换为decimal.Decimal类型，即可直接指定DecimalType schema，无需先转String：

from decimal import Decimal
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DecimalType

sample_data = [
    ("Alice", 34, Decimal("1234.56")),
    ("Bob", 45, Decimal("2345.67")),
    ("Cathy", 29, Decimal("3456.78"))
]

schema = StructType([
    StructField("Name", StringType(), True),
    StructField("Age", IntegerType(), True),
    StructField("Salary", DecimalType(6, 2), True)
])

df = spark.createDataFrame(data=sample_data, schema=schema)
df.show()

注意：转换时要传入字符串形式的数值，避免float转Decimal时的精度误差

方法2：批量转换API返回数据的数值字段

如果从Dataverse API获取的是批量数据，可以遍历数据集，自动将Decimal/Money类型对应的字段转为decimal.Decimal：

from decimal import Decimal
from pyspark.sql.types import *

# 假设api_response是从Dataverse API获取的原始数据列表
api_response = [
    {"Name": "Alice", "Age": 34, "Salary": 1234.56, "Bonus": 987.65},
    {"Name": "Bob", "Age": 45, "Salary": 2345.67, "Bonus": 876.54}
]

# 定义字段类型映射：根据Dataverse字段类型对应Spark DecimalType
field_type_map = {
    "Salary": DecimalType(18, 10),  # Decimal类型用10位小数
    "Bonus": DecimalType(18, 4)     # Money类型用4位小数
}

# 批量转换数值字段
processed_data = []
for item in api_response:
    processed_item = {}
    for k, v in item.items():
        if k in field_type_map and isinstance(v, float):
            processed_item[k] = Decimal(str(v))
        else:
            processed_item[k] = v
    processed_data.append(processed_item)

# 定义schema
schema = StructType([
    StructField("Name", StringType()),
    StructField("Age", IntegerType()),
    StructField("Salary", DecimalType(18, 10)),
    StructField("Bonus", DecimalType(18, 4))
])

df = spark.createDataFrame(processed_data, schema=schema)

针对Dataverse无精度刻度返回的配置建议 #

由于Dataverse API不返回Precision和Scale，你可以统一按以下规则映射：

• Dataverse Decimal类型 → Spark DecimalType(18, 10)
• Dataverse Money类型 → Spark DecimalType(18, 4)
  可以将这个映射封装成工具函数，每次处理API数据时自动应用，避免重复代码。

对比临时方案的优势 #

上述方法无需先转StringType再cast，减少了中间转换步骤，避免了字符串转换可能带来的格式问题，同时完整保留了Decimal类型的精度特性。

内容的提问来源于stack exchange，提问作者Courier