Hive含多行单元格数据在DBeaver/Tableau中拆分为多记录如何修复

Hive默认使用\n作为行分隔符，DBeaver、Tableau等第三方工具读取Hive文本格式存储的表时，会将所有\n识别为行结束标记，字段内部的换行符也会被误判为行拆分边界，就会出现单条记录拆分为多条、拆分后多余行其余字段为空的问题。

方案1：表结构层面修改（永久生效，推荐） #

• 建表时指定业务数据中不会出现的特殊字符作为自定义行分隔符，比如\001（SOH字符）、\003（ETX字符），同时配置序列化和反序列化规则：

CREATE TABLE 表名 (
  列1 数据类型,
  列2 数据类型,
  C 字符串类型
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
-- 替换默认的\n作为行分隔符
LINES TERMINATED BY '\001'
STORED AS TEXTFILE;

• 已创建的存量表可以修改属性后重新写入数据生效：

ALTER TABLE 表名 SET SERDEPROPERTIES ('line.delim'='\001', 'field.delim'='\t');
ALTER TABLE 表名 SET TBLPROPERTIES ('serialization.null.format' = '');
-- 执行完上述配置后全量重刷表数据即可

方案2：查询时转义换行符（无需修改表结构，临时查询适用） #

查询时对包含换行的字段做内容替换，把\n替换为其他不会触发行拆分的分隔符，或者转义为纯文本换行标记：

SELECT 
  列1,
  列2,
  -- 示例将换行符替换为|作为内容分隔，也可根据业务需求替换为其他字符
  regexp_replace(C, '\\n', '|') AS C
FROM 表名;

方案3：修改工具读取配置（仅适配单工具场景） #

• DBeaver：打开对应Hive连接的「编辑连接」→「驱动属性」，找到lineseparator配置项，修改为和Hive表设置一致的自定义行分隔符即可。
• Tableau：连接Hive数据源时，在自定义SQL中提前对含换行的字段做转义处理，或者在数据源的「高级设置」中修改行分隔符配置为和表一致的分隔符。

内容的提问来源于stack exchange，提问作者Ed Cheng