Talend ETL中实现自增字段从数据库最大值续增以避免主键重复

我之前在做Talend数据插入的时候，也踩过一模一样的坑——任务中途挂了再重启，就因为自增主键重复报错，还得清空库重来，太折腾了！后来摸索出两个靠谱的办法，给你参考：

方法一：Talend端动态获取起始自增值 #

这个方法适合你一定要在Talend里生成自增编号的场景：

• 第一步：先加个数据库查询组件（比如tMysqlRow，对应你用的数据库类型选就行），执行查询语句：

  SELECT MAX(your_auto_inc_column) AS max_id FROM your_table;
  

  把your_auto_inc_column换成你的自增字段名，your_table换成目标表名。
• 第二步：用tSetGlobalVar组件把查询到的最大值存成全局变量，比如变量名设为globalMaxId，值填((Integer)globalMap.get("tMysqlRow_1.max_id"))（这里的tMysqlRow_1要和你刚才的查询组件名字对应）。
• 第三步：在生成自增编号的地方（比如tSequence组件），把起始值改成：

  ((Integer)globalMap.get("globalMaxId")) == null ? 1 : ((Integer)globalMap.get("globalMaxId")) + 1
  

  这样如果表是空的，就从1开始；表已有数据，就从最后一条的下一个值续上。要是你用tMap生成编号，直接把这个表达式写在字段映射里就行。

方法二：让数据库接管自增（更省心，推荐！） #

其实如果你的数据库本身支持自增主键（比如MySQL的AUTO_INCREMENT、Oracle的序列、SQL Server的IDENTITY），完全没必要在Talend里自己生成编号，交给数据库来处理最稳妥：

• 在Talend的插入组件（比如tMysqlOutput）里，把自增字段的映射关系删掉，或者在组件的高级设置里找到“忽略自增字段”的选项勾选上。
• 这样每次插入数据时，数据库会自动用当前的自增序列值填充这个字段，哪怕任务中断重启，数据库也会记住最后一次的最大值，根本不会出现重复主键的问题！

小提醒 #

如果用方法一，一定要考虑表为空的情况（就是max_id为null的时候），不然会报错；如果是多线程或者并发执行的Job，优先用方法二，避免Talend生成的编号出现冲突。

内容的提问来源于stack exchange，提问作者Zuhair Ahmed