Synapse自动转换ISO时间参数格式致Spark作业报错，如何原样传递？

问题情况 #

• 通过Synapse管道运行Spark作业，传递ISO格式时间戳（如2019-04-25T09:00:00）作为命令行参数
• Synapse自动将参数转换为美式日期格式（如04/25/2019 09:00:00），导致仅支持ISO格式解析的Spark代码报错
• 监控UI中可见参数末尾被自动添加Z标识（如2019-04-25T09:00:00Z）
• 驱动报错信息：Text '04/25/2019 09:00:00' could not be parsed at index 0；仅传递纯日期2019-04-25时，报错Text '04/25/2019' could not be parsed at index 10

原因分析 #

• Synapse管道处理日期/时间类型参数时，默认采用美式区域（en-US）规则格式化输出，直接将ISO格式转换为月/日/年的美式格式
• 参数末尾的Z是Synapse自动添加的UTC时区标记，属于内部参数处理逻辑

解决办法 #

1. 以纯字符串形式传递参数，避免自动格式化 #

在Spark作业活动的参数设置中，将时间戳用引号包裹（内外层引号错开，确保Synapse识别为纯字符串），例如传递"'2019-04-25T09:00:00'"；若使用管道变量传递，需将变量类型设置为String，而非DateTime类型。

2. 修改Spark代码兼容两种格式（应急方案） #

如果暂时无法调整管道配置，可在日期解析代码中同时支持ISO格式与美式格式，示例Scala代码如下：

import java.time.format.DateTimeFormatter
import java.time.LocalDateTime

// 同时匹配ISO日期时间、美式日期时间、纯ISO日期、美式纯日期
val formatter = DateTimeFormatter.ofPattern("[yyyy-MM-dd'T'HH:mm:ss][MM/dd/yyyy HH:mm:ss][yyyy-MM-dd][MM/dd/yyyy]")
val dateTime = LocalDateTime.parse(inputStr, formatter)

3. 使用Synapse表达式强制输出ISO格式 #

在管道中通过formatDateTime函数指定参数输出格式，示例表达式：

@formatDateTime(pipeline().parameters.startTime, 'yyyy-MM-dd\'T\'HH:mm:ss')

注意转义T字符，确保输出为标准ISO格式字符串。

内容的提问来源于stack exchange，提问作者Jaan