Databricks中PySpark DataFrame电话号码标准化格式化问题

针对你提到的电话号码格式混乱问题，不用自定义UDF，直接用PySpark内置的正则和字符串函数就能高效解决，步骤如下：

处理逻辑 #

1. 移除分机号：先去掉x及后面的所有内容（比如505-999-8888x222变成505-999-8888）
2. 提取纯数字：过滤掉所有非数字字符（包括+、括号、横杠等）
3. 保留有效10位：如果纯数字长度≥10，取最后10位（自动去掉前置的1和多余前缀）；长度不足10的视为无效号码，返回null
4. 格式化目标样式：将10位数字转为(XXX) XXX-XXXX格式
5. 处理空值：原始tel_num为空时，结果直接返回空

代码实现 #

from pyspark.sql import functions as F

# 示例DataFrame（替换成你的实际数据）
data = [
    (1, "(555) 555-9876"),
    (2, "+18763334455"),
    (3, "505-999-8888x222"),
    (4, None),
    (5, "123-456-789"),  # 长度不足10，返回null
    (6, "9876543210")
]
df = spark.createDataFrame(data, ["emp_id", "tel_num"])

# 链式处理格式化
formatted_df = df \
    .withColumn("no_extension", F.when(F.col("tel_num").isNull(), None).otherwise(F.regexp_replace(F.col("tel_num"), r'x.*', ''))) \
    .withColumn("digits_only", F.when(F.col("no_extension").isNull(), None).otherwise(F.regexp_replace(F.col("no_extension"), r'[^0-9]', ''))) \
    .withColumn("valid_10digits", F.when(F.length(F.col("digits_only")) >= 10, F.substring(F.col("digits_only"), F.length(F.col("digits_only")) - 9, 10)).otherwise(None)) \
    .withColumn("formatted_tel", F.when(F.col("valid_10digits").isNull(), None).otherwise(F.format_string("(%s) %s-%s", F.substring(F.col("valid_10digits"), 1, 3), F.substring(F.col("valid_10digits"), 4, 3), F.substring(F.col("valid_10digits"), 7, 4)))) \
    .select("emp_id", "tel_num", "formatted_tel")

# 查看结果
formatted_df.show(truncate=False)

输出结果 #

+------+-------------------+----------------+
|emp_id|tel_num            |formatted_tel   |
+------+-------------------+----------------+
|1     |(555) 555-9876     |(555) 555-9876  |
|2     |+18763334455       |(876) 333-4455  |
|3     |505-999-8888x222   |(505) 999-8888  |
|4     |null               |null            |
|5     |123-456-789        |null            |
|6     |9876543210         |(987) 654-3210  |
+------+-------------------+----------------+

关键说明 #

• 用内置函数替代UDF：避免了Python UDF的序列化开销，即使数据量增大也能保持高效
• 正则匹配精准：r'x.*'确保完全移除分机，r'[^0-9]'过滤所有非数字字符
• 容错处理：对长度不足10的号码返回null，你可以根据需求调整（比如填充或保留原始值）

内容的提问来源于stack exchange，提问作者Chris Beredimas