将.tsv文件导入DuckDB时忽略最后列多余制表符的方法

方法1：利用DuckDB导入参数直接处理 #

不需要提前修改文件，导入时通过参数限制列数并忽略错误：

COPY target_table FROM 'your_data.tsv' (
  FORMAT TSV,
  MAX_COLUMNS 你实际需要的列数,
  IGNORE_ERRORS TRUE
);

• MAX_COLUMNS指定预期的列数量，超出部分会被自动截断；
• IGNORE_ERRORS确保不会因为列数不匹配导致导入中断。

方法2：先按单行导入再手动拆分 #

如果需要保留最后列的多余制表符（比如这些制表符是内容的一部分），可以先把整个文件当作单列读入，再手动拆分：

-- 先导入原始行数据
CREATE TABLE temp_raw AS 
SELECT * FROM read_csv('your_data.tsv', FORMAT 'TSV', columns={'raw_line': 'VARCHAR'});

-- 拆分列，最后一列保留所有内容（包括多余制表符）
CREATE TABLE target_table AS
SELECT
  split_part(raw_line, '\t', 1) AS col1,
  split_part(raw_line, '\t', 2) AS col2,
  -- 依次定义到倒数第二列
  split_part(raw_line, '\t', 5) AS col5,
  -- 最后一列截取第n个制表符后的所有内容
  substr(raw_line, strpos(raw_line, '\t', 5) + 1) AS col6
FROM temp_raw;

替换示例中的col1到col6以及对应的索引为你的实际列信息即可。

方法3：用命令行工具批量预处理文件 #

如果不需要保留最后列的多余制表符，用sed或awk批量清理比手动高效：

# 去掉每行末尾的所有制表符
sed 's/\t*$//' your_data.tsv > cleaned_data.tsv

处理完成后再正常导入DuckDB即可。

内容的提问来源于stack exchange，提问作者Tim