在AWS Glue中使用Dequ 1.0.1运行hasMaxLength检查报编译错误如何解决
Deequ在AWS Glue作业中方法缺失类不存在异常定位
场景说明
- 运行环境:AWS Glue数据集成作业,已将存储于S3的
deequ-1.0.1.jar配置为作业依赖 - 已验证正常运行的校验规则:基于Deequ
VerificationSuite搭建模板化数据质量校验规则时,hasDataType、hasMax、isComplete、isContainedIn等检查项均可正常编译、执行 - 触发的编译异常:
- 导入
com.amazon.deequ.analyzers包下的KLLParameters类时,编译器提示对应类不存在 - 调用
.hasMaxLength("* External Number", _==40)方法时,编译器提示该方法不属于com.amazon.deequ.checks.Check类的成员,仅该项检查触发编译失败
- 导入
异常根因
核心为依赖版本与调用API的版本不匹配:
KLLParameters类是Deequ 1.1.0版本开始新增的内置参数类,用于支撑KLL近似分位数计算能力,deequ-1.0.1版本的analyzers包下未包含该类定义,因此会提示类不存在hasMaxLength是Deequ 1.1.0版本新增的字符串长度快捷校验方法,deequ-1.0.1版本的Check类仅封装了基础的数值范围、非空、枚举值匹配、数据类型校验逻辑,未实现该方法,因此会提示方法不属于类成员
适配解决方式
- 方案1:升级匹配版本的依赖包
- 若需直接原生使用
hasMaxLength检查、KLL近似计算能力,可将S3中存储的deequ jar替换为1.1.0及以上版本,替换时注意匹配对应Scala版本的包,避免与Glue运行时自带的类加载冲突
- 若需直接原生使用
- 方案2:基于现有1.0.1版本实现等效校验逻辑
- 无需替换依赖的前提下,可通过现有Check类的能力自定义实现字符串最大长度校验,替代
hasMaxLength的功能:// 等效实现"External Number"字段最大长度不超过40的校验 val lengthCheck = Check(CheckLevel.Error, "字段长度校验组") .hasSize( _.withColumn("str_length", length(col("External Number"))) .filter(col("str_length") > 40), _ == 0, "External Number字段长度最大不能超过40" ) - 若原逻辑需要用到分位数计算能力,1.0.1版本可直接通过精确分位数统计替代KLL采样逻辑,满足常规数据校验的精度要求
- 无需替换依赖的前提下,可通过现有Check类的能力自定义实现字符串最大长度校验,替代
- 方案3:排查类加载冲突
- 检查Glue作业的类加载优先级配置,确认S3引入的自定义deequ包优先于Glue运行时预置的依赖被加载,避免运行时内置的低版本deequ类覆盖自定义包的类定义,导致方法、类找不到的问题
内容的提问来源于stack exchange,提问作者user3476582
相关产品推荐
相关产品推荐

