如何在PySpark中对数据库列做字符、格式及数字验证并封装为函数？

单字段验证SQL（以MySQL为例） #

NAME字段（仅含字符） #

验证NAME是否仅包含英文字母（支持大小写，如需允许空格可调整正则）：

SELECT 
  ID,
  NAME,
  CASE 
    WHEN NAME REGEXP '^[A-Za-z]+$' THEN 'pass'
    ELSE 'fail'
  END AS name_validation
FROM emp;

如果需要支持空格（如全名），将正则改为 '^[A-Za-z ]+$'。

YEAR字段（dd-mm-yyyy格式） #

注意YEAR是MySQL关键字，需用反引号包裹。通过尝试转换日期格式验证，同时自动排除无效日期（如31-02-2024）：

SELECT 
  ID,
  `YEAR`,
  CASE 
    WHEN STR_TO_DATE(`YEAR`, '%d-%m-%Y') IS NOT NULL THEN 'pass'
    ELSE 'fail'
  END AS year_validation
FROM emp;

AGE字段（仅含整数） #

验证AGE是否为纯数字：

SELECT 
  ID,
  AGE,
  CASE 
    WHEN AGE REGEXP '^[0-9]+$' THEN 'pass'
    ELSE 'fail'
  END AS age_validation
FROM emp;

合并所有验证的SQL #

一次性返回所有字段的验证结果：

SELECT 
  ID,
  NAME,
  `YEAR`,
  AGE,
  CASE WHEN NAME REGEXP '^[A-Za-z ]+$' THEN 'pass' ELSE 'fail' END AS name_validation,
  CASE WHEN STR_TO_DATE(`YEAR`, '%d-%m-%Y') IS NOT NULL THEN 'pass' ELSE 'fail' END AS year_validation,
  CASE WHEN AGE REGEXP '^[0-9]+$' THEN 'pass' ELSE 'fail' END AS age_validation
FROM emp;

封装为函数 #

完全可以将验证逻辑封装为可复用的数据库函数，以下是MySQL实现：

DELIMITER //
CREATE FUNCTION validate_emp(emp_id INT) 
RETURNS VARCHAR(255)
DETERMINISTIC
BEGIN
  DECLARE name_res VARCHAR(10);
  DECLARE year_res VARCHAR(10);
  DECLARE age_res VARCHAR(10);

  SELECT 
    CASE WHEN NAME REGEXP '^[A-Za-z ]+$' THEN 'pass' ELSE 'fail' END,
    CASE WHEN STR_TO_DATE(`YEAR`, '%d-%m-%Y') IS NOT NULL THEN 'pass' ELSE 'fail' END,
    CASE WHEN AGE REGEXP '^[0-9]+$' THEN 'pass' ELSE 'fail' END
  INTO name_res, year_res, age_res
  FROM emp WHERE ID = emp_id;

  RETURN CONCAT('NAME: ', name_res, ', YEAR: ', year_res, ', AGE: ', age_res);
END //
DELIMITER ;

调用方式：

SELECT validate_emp(1); -- 替换为目标员工ID

返回示例：NAME: pass, YEAR: fail, AGE: pass

如果使用其他数据库（如PostgreSQL、SQL Server），函数语法会有差异，但核心验证逻辑可直接复用，只需调整对应数据库的函数定义语法。

内容的提问来源于stack exchange，提问作者Preeti Maddi