Sqoop导出含包裹符、分隔符字段到PostgreSQL时识别错误求助

问题根因 #

你遇到的识别错误由两个叠加原因导致：

• 被双引号包裹的第一个字段内部同时包含你指定的字段分隔符;、以及未转义的双引号
• 当前Sqoop的转义参数没有匹配源数据格式，导致Sqoop误将字段内部的双引号识别为字段闭合标记，后续的;就会被当成字段分隔符拆分，最终第一个字段解析异常。

解决方案 #

方案1：可预处理源数据（优先选择，稳定性最高） #

1. 先统一转义所有字段内部的双引号，在每个内部双引号前加转义符\，比如源数据里的"'":.56#!:&7:&":8"需要处理为"\"\":.56#!:&7:&\":8"
2. 调整Sqoop命令的转义参数，解决Shell环境下反斜杠转义传递的问题，调整后命令如下：

sqoop export \
    --connect $DB_JDBC_URL_MAIN \
    --username=$DB_USER \
    --password="$DB_PASSWORD" \
    --table "$DB_SCHEMA.$DB_TABLE" \
    --export-dir $EXPORT_DIR \
    --input-lines-terminated-by '\n' \
    --input-fields-terminated-by ';' \
    --input-null-string 'N/A' \
    --optionally-enclosed-by '"' \
    --escaped-by '\\'

方案2：无法修改源数据，直接适配现有格式 #

放弃依赖Sqoop的包裹符识别逻辑，直接用字段之间的实际分隔规则拆分：

1. 将字段分隔符修改为";"，也就是两个字段之间实际的分隔组合，避开识别字段内部的;
2. 配合--map-column-java参数对拆分后的两个字段做字符串截断，去掉第一个字段开头的双引号、第二个字段结尾的双引号即可。如果嫌参数配置麻烦，也可以先通过Hive/Spark做一层轻量清洗，将清洗后的文件用不可见分隔符（比如\001）导出后再执行Sqoop导出，兼容性更强。

内容的提问来源于stack exchange，提问作者Alejandro