Azure Data Factory复制活动中按年/月/日分区SAP HANA的0CALDAY列

错误原因分析 #

你之前的写法错误地将分区路径表达式直接嵌入到SAP HANA的查询语句中，HANA会把/year=2023/month=09/day=14这类内容识别为列名，自然触发“无效列名”报错；另外直接用字符串类型的0CALDAY传入formatDateTime，会因为类型不匹配导致问题，核心是没区分开源数据查询和接收器分区路径配置的边界。

具体解决步骤 #

1. 在SAP HANA源查询中提取年/月/日字段
   因为0CALDAY是YYYYMMDD格式的字符串（如20230119），先在查询中拆分出对应的年、月、日字段，或者转换为日期后提取，示例SQL：

   SELECT 
       -- 保留原有查询字段
       *,
       -- 方式1：从字符串直接拆分年/月/日
       SUBSTRING("0CALDAY", 1, 4) AS CAL_YEAR,
       SUBSTRING("0CALDAY", 5, 2) AS CAL_MONTH,
       SUBSTRING("0CALDAY", 7, 2) AS CAL_DAY
       -- 方式2：先转日期再提取（可校验日期合法性）
       -- YEAR(TO_DATE("0CALDAY", 'YYYYMMDD')) AS CAL_YEAR,
       -- MONTH(TO_DATE("0CALDAY", 'YYYYMMDD')) AS CAL_MONTH,
       -- DAY(TO_DATE("0CALDAY", 'YYYYMMDD')) AS CAL_DAY
   FROM YOUR_SOURCE_TABLE
   

2. 在ADLS接收器中配置分区路径
   在Azure Data Factory的复制活动接收器（ADLS）设置中，不要把分区表达式写到源查询里，而是二选一配置：

   • 方式一：手动配置动态文件路径
     在文件路径中使用动态内容引用查询出的年/月/日字段：

     @concat('your-root-folder/year=', item().CAL_YEAR, '/month=', item().CAL_MONTH, '/day=', item().CAL_DAY)
     

   • 方式二：使用内置分区功能
     开启分区选项，选择“按列分区”，依次选择CAL_YEAR、CAL_MONTH、CAL_DAY，ADF会自动生成year=xxxx/month=xx/day=xx的层级路径。

额外注意事项 #

• 如果使用TO_DATE转换0CALDAY，要确保字段值都是合法的YYYYMMDD格式，否则会触发转换错误，可添加WHERE ISDATE("0CALDAY", 'YYYYMMDD') = 1过滤无效数据。
• 不要混淆utcnow()和业务字段：utcnow()取的是当前运行时间，你需要的是数据中0CALDAY对应的时间，必须引用查询出的CAL_YEAR/CAL_MONTH/CAL_DAY字段。

内容的提问来源于stack exchange，提问作者Lav Mehta