Spark SQL中date_add触发DATATYPE_MISMATCH错误求助

错误原因 #

你遇到的DATATYPE_MISMATCH.UNEXPECTED_INPUT_TYPE错误，核心原因是date_add函数要求第一个参数必须是Spark SQL的Date类型，但你的date字段大概率是字符串（String）类型，或者类型定义不符合函数要求。

解决步骤 #

1. 先确认字段类型

执行以下语句检查目标表的字段类型：

DESCRIBE your_table_name;

重点看date字段的类型，如果显示为string而非date，就需要先做类型转换。

2. 适配场景的SQL写法

根据date字段的实际类型，选择对应的写法：

场景1：date字段已经是Date类型

直接结合location条件使用date_add：

SELECT
    CASE
        WHEN location = 'Warehouse' THEN date_add(date, lead_time)
        ELSE date
    END AS updated_date,
    lead_time,
    location
FROM your_table_name;

场景2：date字段是字符串类型

先通过to_date函数将字符串转为Date类型，再调用date_add：

SELECT
    CASE
        WHEN location = 'Warehouse' THEN date_add(to_date(date, 'yyyy-MM-dd'), lead_time)
        ELSE to_date(date, 'yyyy-MM-dd')
    END AS updated_date,
    lead_time,
    location
FROM your_table_name;

注意：to_date的第二个参数要和你实际的日期字符串格式匹配，示例中是yyyy-MM-dd，如果你的日期格式不同（比如MM/dd/yyyy）要对应修改。

3. 针对你的示例测试验证

可以创建临时测试表验证效果：

-- 创建临时测试表
CREATE TEMP VIEW test_data AS
SELECT '2024-05-19' AS date, 2 AS lead_time, 'Warehouse' AS location;

-- 执行查询
SELECT
    CASE
        WHEN location = 'Warehouse' THEN date_add(to_date(date, 'yyyy-MM-dd'), lead_time)
        ELSE to_date(date, 'yyyy-MM-dd')
    END AS updated_date
FROM test_data;

执行后会返回期望的2024-05-21。

4. 如果需要更新原表（Spark 3.0+支持）

如果要直接修改原表的date字段，可执行：

-- 若date是Date类型
UPDATE your_table_name
SET date = date_add(date, lead_time)
WHERE location = 'Warehouse';

-- 若date是字符串类型
UPDATE your_table_name
SET date = date_format(date_add(to_date(date, 'yyyy-MM-dd'), lead_time), 'yyyy-MM-dd')
WHERE location = 'Warehouse';

这里用date_format把计算后的Date类型转回字符串，保证字段类型一致。

额外注意事项 #

• 确保lead_time字段确实是int类型，若存在null值，可添加coalesce(lead_time, 0)处理，避免函数报错：

  date_add(to_date(date, 'yyyy-MM-dd'), coalesce(lead_time, 0))
  

内容的提问来源于stack exchange，提问作者topbin123