Talend Lookup：基于客户姓名匹配双客户ID的最优实现方案

需求背景 #

现有两张业务数据表：
销售表（Sale）：

Sale ID,Sale Amount,Client 1,Client 2
1,500,John,Alice
2,700,Bob,Sarah
3,300,Alice,Michael
4,900,Sarah,Bob

客户表（Client）：

Client Name,Client ID
John,100
Alice,101
Bob,102
Sarah,103
Michael,104

需要将销售表中的Client 1和Client 2字段分别映射为对应的Client ID，最终得到如下结果：

SaleId, Client1Id,Client2Id
1,100,101
2,102,103
3,101,104

要求避免重复读取客户表，实现高效的多次Lookup操作。

实操方案（仅读取一次客户表） #

1. 将客户表缓存到内存（核心优化点） #

• 使用tFileInputDelimited读取客户表，配置好CSV分隔符、表头识别等基础参数。
• 连接tFileInputDelimited到tHashOutput组件，给这个内存哈希表设置一个唯一的标识名称（比如clientLookupHash）。运行时客户表会被一次性加载到内存，后续无论调用多少次都不会再读取磁盘文件。

2. 在单个tMap中完成双字段关联 #

• 使用tFileInputDelimited读取销售表。
• 拖拽两个tHashInput组件到画布，均选择之前创建的clientLookupHash作为数据源——这一步直接调用内存缓存，完全避免重复读盘。
• 将销售表输入、两个tHashInput都连接到同一个tMap组件：
  • 第一个tHashInput：设置关联条件为row_sale.Client 1 == row_client1.Client Name，取出对应的Client ID并重命名为Client1Id。
  • 第二个tHashInput：设置关联条件为row_sale.Client 2 == row_client2.Client Name，取出对应的Client ID并重命名为Client2Id。
• 在tMap的输出区域，仅选择Sale ID（重命名为SaleId）、Client1Id、Client2Id三个字段作为输出项。

3. 输出最终结果 #

• 将tMap的输出连接到tFileOutputDelimited组件，配置输出格式为CSV，即可生成符合要求的结果文件。

注意事项 #

• 若客户表数据量极大，内存无法容纳，可替换tHashOutput为tCacheOutput，以磁盘缓存替代内存缓存，但小到中等规模数据下tHashOutput性能最优。
• 关联时可根据业务需求选择Join类型：如需保留所有销售记录（即使客户ID匹配失败），选择Left Outer Join；仅保留能匹配到客户ID的记录，选择Inner Join（示例结果即为Inner Join后的效果）。

内容的提问来源于stack exchange，提问作者Ala Guidara