如何使用自定义id解析函数对两张id格式不同的表执行join操作

1. 需求实现思路 #

结合你给出的ID格式和自定义匹配规则的要求，整体实现逻辑如下：

• 第一步：先编写对应的ID解析逻辑，作用是从两张表的原始ID字符串中，提取出可用于匹配的统一标识。针对你给出的格式示例，常规逻辑是提取表A ID的前两段xx、yyyy，提取表B ID的前两段yyyy、xx，统一拼接成相同格式的匹配键（比如xx_yyyy），如果有额外自定义判定规则，直接补充到解析逻辑里即可
• 第二步：分别对两张表调用解析逻辑，新增一列专门用于关联的匹配键字段
• 第三步：基于新增的匹配键字段执行普通join操作即可。如果你的自定义规则是直接判断两个原始ID是否相等，不需要提前提取键，也可以直接把判定逻辑作为join的条件执行条件join。

2. 不同场景下调用自定义解析函数执行join的方法 #

下面是几个常用场景的实现示例：

普通SQL场景（Hive/MySQL 8.0+等） #

可以直接用内置函数写解析逻辑，也可以先把自定义逻辑注册为UDF后调用：

-- 直接用内置函数实现解析的示例
SELECT a.*, b.*
FROM 表A a
JOIN 表B b
ON CONCAT(SPLIT(a.id, '_')[0], '_', SPLIT(a.id, '_')[1]) = CONCAT(SPLIT(b.id, '_')[1], '_', SPLIT(b.id, '_')[0])

如果是注册自定义UDF的情况，注册get_a_match_key和get_b_match_key两个函数后直接调用即可：

SELECT a.*, b.*
FROM 表A a
JOIN 表B b
ON get_a_match_key(a.id) = get_b_match_key(b.id)

Pandas 场景 #

用apply调用自定义函数生成匹配键后再merge：

import pandas as pd

# 自定义解析函数
def parse_a_id(a_id):
    parts = a_id.split('_')
    return f"{parts[0]}_{parts[1]}"

def parse_b_id(b_id):
    parts = b_id.split('_')
    return f"{parts[1]}_{parts[0]}"

# 生成匹配键
df_a['match_key'] = df_a['id'].apply(parse_a_id)
df_b['match_key'] = df_b['id'].apply(parse_b_id)

# 执行join
result = pd.merge(df_a, df_b, on='match_key')

Spark 场景 #

注册UDF后生成匹配键再关联：

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 注册UDF
parse_a_udf = udf(lambda x: f"{x.split('_')[0]}_{x.split('_')[1]}", StringType())
parse_b_udf = udf(lambda x: f"{x.split('_')[1]}_{x.split('_')[0]}", StringType())

# 生成匹配键后join
df_a = df_a.withColumn("match_key", parse_a_udf("id"))
df_b = df_b.withColumn("match_key", parse_b_udf("id"))
result = df_a.join(df_b, on="match_key")

注意：如果数据量很大，提前给生成的匹配键建索引可以大幅提升join性能，避免全表扫描。

内容的提问来源于stack exchange，提问作者user3668129