使用Sqoop将CSV文件导出到Vertica数据库时如何跳过表头行

下面是三种不同场景下的高效实现方式，优先级从高到低排序：

方案1：使用Sqoop内置参数直接跳过（首选） #

Sqoop 1.4.6及更高版本自带--lines-to-skip参数，可以直接在导出阶段指定要跳过的文件首行数量，不需要预处理源文件，性能损耗可以忽略。
示例命令如下：

sqoop export \
--connect jdbc:vertica://<Vertica主机地址>:<端口>/<数据库名> \
--driver com.vertica.jdbc.Driver \
--username <数据库用户名> \
--password <数据库密码> \
--table <目标表名> \
--export-dir <HDFS上CSV文件的目录路径> \
--input-fields-terminated-by ',' \
--input-lines-terminated-by '\n' \
--lines-to-skip 1

注意：如果导出目录下有多个CSV文件，每个文件都带表头，该参数会自动跳过每个文件的第一行，无需额外配置。

方案2：预处理CSV文件（适配低版本Sqoop） #

如果使用的Sqoop版本低于1.4.6，不支持上述参数，可以通过分布式预处理的方式删除表头，不会产生过高的性能开销：

• 小批量CSV文件：直接通过HDFS命令+sed处理

  hadoop fs -cat /path/to/source.csv | sed '1d' | hadoop fs -put - /path/to/processed_no_header.csv
  

• 大批量CSV文件：创建Hive外部表映射源CSV目录，配置跳过表头属性，直接用Sqoop导出该Hive表数据到Vertica即可
  建表参考配置：

  CREATE EXTERNAL TABLE csv_source (
    col1 STRING,
    col2 INT,
    -- 此处和CSV字段顺序、类型保持一致即可
  )
  ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  LOCATION '/path/to/csv/files'
  TBLPROPERTIES ("skip.header.line.count"="1");
  

方案3：自定义输入解析类（适配特殊场景） #

如果有跳过多行、表头格式不统一等特殊需求，可以自定义Sqoop的RecordReader解析类，重写文件读取逻辑过滤表头行，适合有二次开发能力的场景使用。

内容的提问来源于stack exchange，提问作者John Humanyun