Hive使用OpenCSVSerde加载CSV列值分隔符导致列错位如何处理?
根因定位
- 出现转义不生效、逗号被误判为列分隔符的情况,本质不是SerDe配置的问题,是当前CSV文件本身不符合OpenCSVSerde的解析规则,导致字段拆分错位。
- 具体错位逻辑:OpenCSVSerde逐字符扫描文件内容时,只有碰到未转义的双引号,才会切换“字段包裹状态”。处于包裹状态下的逗号会被识别为字段内容,而非列分隔符。desc列存储的内容本身包含逗号,理应被一对外层双引号完整包裹,且内容内部所有的双引号都要前置加转义符
\。但你写的CSV里,desc字段内部出现了未转义的双引号,SerDe碰到这个无转义引号时,会直接判定当前字段闭合,后续的逗号就被当成了列分隔符,把原本属于desc的内容拆成了多个独立列,最终出现值错位。
拿原始错误行片段举例a1,"\"double bars","item1 and item2\"",0.0,SerDe的实际扫描路径是:
- 碰到a1后面的第一个双引号,判定进入字段包裹状态
- 碰到
\",识别为转义的双引号,作为普通字段内容保留,不改变状态 - 扫描到
bars后面的无转义双引号,判定退出包裹状态,当前desc字段在这里结束 - 碰到后面的逗号,识别为列分隔符,开始拆分下一列内容
这就是为什么文件碰到逗号就切到新列的直接原因。
实操解决步骤
修正CSV文件格式
把desc字段内部所有处于外层包裹范围内的非转义双引号,全部前置补加转义符\,确保整个含逗号的desc内容被完整包裹在一对外层双引号内,不会被内部的未转义引号打断。
修正后的全量CSV内容为:id,name,desc,per1,roll,age 226,a1,"\"double bars\",\"item1 and item2\"",0.0,10,25 227,a2,"\"doubles\",\"item2 & item3 item4\"",0.1,20,35 228,a3,"\"double\",\"item3 & item4 item5\"",0.2,30,45 229,a4,"\"double\",\"item5 & item6 item7\"",0.3,40,55和原文件的核心差异是:每个desc字段里,两个内部字符串块中间的逗号两侧的双引号,都补上了转义符
\,让整个desc值始终处于外层双引号的包裹范围内,中间的逗号会被识别为字段内容,不会被当成分隔符。确认建表配置
当前使用的建表语句本身没有问题,不需要修改:create table testing(id int, name string, desc string, uqc double, roll int, age int) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ( "separatorChar" = ",", "quoteChar" = '"', "escapeChar" = "\\" ) STORED AS textfile;这里要注意Hive的SQL语法规则:字符串中的
\\解析后的实际值就是单个反斜杠\,和CSV文件里使用的转义符完全匹配,不存在转义不生效的问题。导入校验
把修正后的CSV文件上传到HDFS对应路径,导入正式表前,建议先创建一个临时外部表指向该文件路径,执行简单查询校验对位情况:select * from 临时表名 limit 5;确认desc列完整存储了带逗号的字符串、uqc列对应原per1的数值、roll和age列值无错位后,再执行正式的
load data操作,避免重复导入错位数据。
内容的提问来源于stack exchange,提问作者Rahul Patidar
相关产品推荐
相关产品推荐

