Presto转换16进制字符串报无效base16错误，如何校验字符串是否为合法hex？

报错原因 #

Presto的from_base函数返回值为64位有符号BIGINT类型，取值范围固定为 -2^63 ~ 2^63-1（即-9223372036854775808 ~ 9223372036854775807）。你提供的十六进制字符串ffffffffffdfae90转换为十进制后结果为18446744073707433616，已经远超BIGINT的最大正值上限，数值溢出触发了报错。
而Python的int类型支持任意精度，没有位数限制，所以可以正常解析该十六进制字符串。

解决方法 #

1. 校验十六进制字符串合法性 #

可以用正则匹配实现校验，只要字符串仅由0-9、a-f、A-F组成即为合法十六进制格式：

regexp_like(hexstring, '^[0-9a-fA-F]+$')

返回true则为合法十六进制字符串。

2. 解决大数值十六进制转换报错问题 #

• 方案1：避免任务直接中断
  如果使用Presto 0.228及以上版本，可以用try_from_base替代from_base，转换失败时会返回NULL而非报错：

try_from_base(hexstring, 16)

• 方案2：兼容无符号64位整数转换
  如果你确认待转换的十六进制为无符号64位整数，可以拆分转换后拼接为DECIMAL类型存储，避开BIGINT范围限制：

cast(
  case when length(hexstring) = 16 and regexp_like(substr(hexstring,1,1), '[89a-fA-F]')
    then (from_base(substr(hexstring,2), 16) + pow(2, 60) * from_base(substr(hexstring,1,1),16))
    else from_base(hexstring,16)
  end as decimal(20,0)
)

• 方案3：无需数值计算时转二进制处理
  如果不需要对转换结果做数值运算，可以直接用from_hex函数将十六进制字符串转为二进制类型使用。

内容的提问来源于stack exchange，提问作者zhh210