如何在Talend的tMap组件中调用Snowflake数据库的序列获取下一个值

解决方案 #

你可以通过以下3种方式实现需求，可根据业务场景选择：

方法1：直接依赖表字段默认值（最简单） #

你建表时已经为id列配置了DEFAULT dimsysteminterface_seq.NEXTVAL的默认值约束，只需要在tSnowflakeOutput的字段映射配置中，移除id字段的映射关系即可：

• 插入数据时Snowflake会自动为每条记录调用序列获取下一个值，完全不需要在Talend流中处理id字段
• 注意不要给id列传null或者空值，否则会覆盖默认值导致报错

方法2：自定义插入SQL #

如果需要保留id字段的映射配置，可以在tSnowflakeOutput的高级设置中开启「使用自定义插入语句」，编写插入SQL时直接将id字段的值写为序列调用：

INSERT INTO dimsysteminterface (
  id, systeminterfaceid, definitionkey, name, defname, servicename, 
  systemmanufacturer, systemname, systemversion, systemdeftype, status,
  scd_start, scd_end, scd_version, scd_active
) VALUES (
  dimsysteminterface_seq.NEXTVAL, ?, ?, ?, ?, ?,
  ?, ?, ?, ?, ?,
  ?, ?, ?, ?
)

按字段顺序把非id列用占位符?代替即可，执行时Snowflake会自动为每条记录生成序列值。

方法3：提前批量获取序列值 #

如果你的业务逻辑需要在插入前拿到id值做关联处理，可以先通过tSnowflakeRow组件批量获取对应数量的序列值，再和业务数据流做关联后插入：

1. 先统计待插入的数据总条数N
2. 执行SQL获取N个连续的序列值：

SELECT dimsysteminterface_seq.NEXTVAL AS id FROM TABLE(GENERATE_SERIES(1, ${N}))

3. 将拿到的id序列和业务流按行号做join，后续直接使用关联后的id字段即可

注意事项 #

每次任务执行删除表操作后，你已经通过CREATE OR REPLACE sequence语句重建序列，已经可以保证每次导入id都从1开始计数，不会出现之前自增列跳号的问题。
PostgreSQL的tdbOutput高级配置在Snowflake中不生效是因为Talend的Snowflake输出组件原生没有适配该功能，两个数据库的组件实现逻辑不同，不能直接复用pg的配置方式。

内容的提问来源于stack exchange，提问作者Djabone