Talend-Snowflake：tDBOutput的UPSERT/UPDATE操作未更新数据

场景与表结构 #

我有两张表：ODS表存储最新未处理数据，DWH表存储最终需插入/更新的数据，两张表的DDL如下：

ODS表（ODS.ATT_HFSQL_ETTCTCP） #

create or replace TABLE ODS.ATT_HFSQL_ETTCTCP (
CTCSOC VARCHAR(5),
CTCAGE VARCHAR(5),
CTCCLI VARCHAR(10),
CTCAFF VARCHAR(10),
CTCMAN VARCHAR(16777216),
CTCCHG VARCHAR(10),
CTCCDE VARCHAR(10),
CTCLIG VARCHAR(10),
CTCSLI VARCHAR(10),
CTCPAG VARCHAR(10),
CTCPER VARCHAR(10),
CTCCTR VARCHAR(10),
CTCAVE VARCHAR(10),
CTCQUA VARCHAR(10),
CTCPON VARCHAR(10),
CTCPOE VARCHAR(10),
CTCPOC VARCHAR(10),
CTCMOT VARCHAR(20),
CTCACT VARCHAR(10),
CTCTER VARCHAR(20),
CTCDEB VARCHAR(20),
CTCFIN VARCHAR(20),
CTCREL VARCHAR(20),
CTCXFI VARCHAR(20),
CTCXF2 VARCHAR(20),
CTCFMO VARCHAR(20),
CTCDAV VARCHAR(20),
CTCFII VARCHAR(20),
CTCFPV VARCHAR(20),
CTCHRE VARCHAR(10),
CTCESS VARCHAR(10),
CTCDUR VARCHAR(10),
CTCSAL VARCHAR(10),
CTCSNH VARCHAR(10),
CTCCOE VARCHAR(10),
CTCSTA VARCHAR(10),
CTCJOD VARCHAR(10),
CTCJOF VARCHAR(10),
CTCTYC VARCHAR(10),
CTCCAT VARCHAR(10),
CTCFBU VARCHAR(10),
CTCREF VARCHAR(100),
CTCMEX VARCHAR(10),
CTCDUE VARCHAR(10),
CTCCD3 VARCHAR(20),
DATCRE VARCHAR(20),
DATMOD VARCHAR(20),
DATE_CHARGEMENT TIMESTAMP_NTZ(9)
);

DWH表（PRD_DWH_SOFINORD.ATT.ATT_CONTRAT） #

create or replace TABLE PRD_DWH_SOFINORD.ATT.ATT_CONTRAT (
CD_SOCIETE VARCHAR(20) NOT NULL,
CD_AGENCE VARCHAR(10) NOT NULL,
NUM_CONTRAT_TT VARCHAR(10) NOT NULL,
CD_CLIENT VARCHAR(10),
CD_SITE VARCHAR(10),
CD_CHARGE_AFFAIRE VARCHAR(10),
NUM_MATRICULE_TT VARCHAR(10),
CD_QUALIF VARCHAR(10),
CD_MOTIF_DEBUT VARCHAR(10),
CD_TERME VARCHAR(10),
DT_DEBUT_CONTRAT DATE,
DT_FIN_CONTRAT DATE,
HE_DEBUT_CONTRAT TIME(9),
DT_AVENANT DATE,
NB_ESSAI NUMBER(38,0),
MT_SALAIRE_REF FLOAT,
NB_HEURE_REF FLOAT,
NB_HEURE_HEBDO FLOAT,
CD_TYPE_CONTRAT VARCHAR(10),
CD_ACTIVITE VARCHAR(10),
CD_MOTIF_FIN VARCHAR(10),
DT_FIN_REEL DATE,
DT_DPAE DATE,
NUM_COMMANDE VARCHAR(100),
NUM_COMMANDE_INTERNE VARCHAR(10),
TX_COEFF FLOAT,
CD_STATUT VARCHAR(10),
DT_CREATION DATE,
DT_MODIFICATION DATE,
CD_SOURCE VARCHAR(10),
DT_CHARGEMENT TIMESTAMP_NTZ(9),
constraint PK_ATT_CONTRAT primary key (CD_SOCIETE, CD_AGENCE, NUM_CONTRAT_TT)
);

问题描述 #

搭建了Talend作业：从ODS表查询数据，通过tDBOutput组件以UPSERT模式写入DWH表，已确认输入schema映射正确。

目前DWH表中存在一条主键为CD_SOCIETE='006'、CD_AGENCE='F15'、NUM_CONTRAT_TT='201518'的记录，其DT_MODIFICATION字段值为2023-09-15；但ODS表中同主键记录的DATMOD（对应DWH的DT_MODIFICATION）字段值为2023-11-09。作业执行后无报错、无数据拒绝，但DWH表中的该字段值未更新，仍为旧值。

排查步骤 #

• 检查tDBOutput的UPSERT匹配键：确认是否将DWH表的主键（CD_SOCIETE、CD_AGENCE、NUM_CONTRAT_TT）全部设置为匹配键，Talend的UPSERT依赖匹配键定位待更新记录，若匹配键缺失或错误，会导致更新失效。
• 验证字段映射与类型转换：确认ODS的DATMOD字段正确映射到DWH的DT_MODIFICATION字段，注意两者类型差异（ODS为VARCHAR(20)，DWH为DATE），需在Talend中显式处理字符串到DATE的转换，比如在tMap中使用TalendDate.parseDate("yyyy-MM-dd", row1.DATMOD)（根据实际日期格式调整），避免转换失败导致值未更新。
• 查看Talend作业DEBUG日志：开启作业的DEBUG级别日志，检查执行UPSERT时生成的SQL语句，确认UPDATE语句中是否包含DT_MODIFICATION字段，且传入的新值正确。例如，正常的UPDATE语句应为：

  UPDATE PRD_DWH_SOFINORD.ATT.ATT_CONTRAT 
  SET DT_MODIFICATION = '2023-11-09' 
  WHERE CD_SOCIETE='006' AND CD_AGENCE='F15' AND NUM_CONTRAT_TT='201518'
  

  若日志中无此语句，说明Talend未识别到该记录需要更新；若语句存在但值错误，检查转换逻辑。
• 确认ODS数据读取正确性：在作业中添加tLogRow组件，输出从ODS读取的目标记录，检查DATMOD字段值是否确实为2023-11-09，排除数据源读取异常。
• 检查数据库层面约束或触发器：手动在数据库中执行UPDATE语句测试，若手动执行后字段更新成功，说明问题在Talend配置；若手动执行也不更新，检查DWH表是否存在触发器自动覆盖DT_MODIFICATION值，或字段是否有默认值约束导致更新被覆盖。

内容的提问来源于stack exchange，提问作者Emile Dadou