Hive Parquet表查询异常：HTML过滤后拆分为多行

嘿，这个问题我之前碰到过好几次，本质是Parquet字段里的换行符在正则过滤时触发了Hive的多行匹配逻辑，给你拆解下原因和解决办法：

• 普通SELECT查询时，Hive只是直接读取Parquet中的整行数据，哪怕字段内部藏着换行符，大多数客户端（比如Beeline）默认会把它合并成单行展示，所以你看不到拆分的情况。
• 当用RLIKE 'xml'做过滤时，Hive的正则引擎会把字段内容按换行符分割成多行，逐行去匹配正则表达式。只要某一行（也就是某个标签行）匹配到了xml，就会单独返回这一行，最终导致整个HTML被拆成了零散的标签行。

1. 查询时先清除换行符（快速临时解决） #

在过滤前先把HTML字段里的换行、回车符替换掉，让正则匹配整个字符串：

SELECT regexp_replace(your_html_column, '\n|\r', '') AS cleaned_html
FROM your_hive_table
WHERE regexp_replace(your_html_column, '\n|\r', '') RLIKE 'xml';

如果担心重复调用regexp_replace影响性能，可以用子查询先处理：

SELECT cleaned_html
FROM (
    SELECT regexp_replace(your_html_column, '\n|\r', '') AS cleaned_html
    FROM your_hive_table
) t
WHERE cleaned_html RLIKE 'xml';

2. 从根源解决：写入Parquet时清理换行符 #

如果这个表是你有权限修改的，建议在写入Parquet阶段就把换行符处理掉，一劳永逸：

INSERT OVERWRITE TABLE your_hive_table
SELECT 
    regexp_replace(original_html_column, '\n|\r', '') AS your_html_column,
    -- 其他字段照抄
    col1, col2, col3
FROM source_data_table;

3. 验证问题的小技巧 #

你可以先确认字段里确实存在换行符：

SELECT your_html_column
FROM your_hive_table
WHERE your_html_column LIKE '%\n%' OR your_html_column LIKE '%\r%';

如果能查到数据，就坐实了是换行符导致的问题。

内容的提问来源于stack exchange，提问作者gjin