Hive中含UTF-8 BOM的数据查询方法求助

这个场景我之前处理过，确实挺坑的——UTF-8 BOM是隐藏的3字节序列（0xEF 0xBB 0xBF），肉眼看不到但会直接破坏字符串匹配逻辑。既然你没权限修改数据，这里有两种靠谱的查询方法：

方法1：精准构造带BOM的目标字符串 #

直接用unhex函数生成BOM对应的字节序列，和你要查询的字符串拼接后进行匹配，能精准定位到带BOM的那条数据：

SELECT A, B FROM test 
WHERE A = CONCAT(unhex('EFBBBF'), 'a1');

原理：unhex('EFBBBF')会生成UTF-8 BOM的字节流，拼上'a1'后就和表里存储的带BOM的字段值完全一致了。

方法2：先验证BOM前缀再匹配内容 #

如果想更严谨（比如避免误匹配其他带特殊前缀的字符串），可以先检查字段开头是否包含BOM，再截取后面的内容进行匹配：

SELECT A, B FROM test 
-- 先验证字段前3字节是UTF-8 BOM，再匹配后续内容
WHERE substr(binary(A), 1, 3) = unhex('EFBBBF')
  AND substr(binary(A), 4) = binary('a1');

这里用binary()把字符串转成二进制字节流，substr(binary(A), 1, 3)取前3字节判断是否为BOM，再从第4字节开始和'a1'的二进制内容做匹配。

补充说明 #

你直接查不到数据的核心原因是：表里的A字段值实际是U+FEFFa1（UTF-8 BOM对应的Unicode字符是U+FEFF），和你输入的纯'a1'是完全不同的字符串，所以普通的等于匹配会直接失效。

内容的提问来源于stack exchange，提问作者Z.Lun