如何使用gsutil合并多个CSV文件为仅含单个表头的单个CSV文件

gsutil cat 和 compose 命令本质是对文件做二进制内容拼接，不会识别CSV的结构化规则，每个源CSV文件自带的表头行都会被原样写入最终输出文件，因此会出现多次重复的表头，导致数据统计/解析异常。

分两种场景处理：

场景1：尚未生成合并文件，提前规避表头重复 #

• 方法1：小批量文件合并（文件数<100，单文件体积不大）
  保留第一个文件的完整内容（含表头），剩余所有文件跳过首行后再拼接，示例命令：

  gsutil cat gs://你的存储桶路径/第一个文件.csv <(gsutil cat gs://你的存储桶路径/其他文件前缀*.csv | sed '1d') | gsutil cp - gs://你的存储桶路径/合并结果.csv
  

  命令说明：<(...)为进程替换，会将匹配到的所有非首份CSV文件内容读出后，用sed '1d'删除每个文件的表头行，再和第一份文件的内容合并后写入目标路径，最终仅保留1次表头。

• 方法2：大批量文件/大体积文件合并
  先合并所有文件并统一去掉所有表头，再单独给合并后的文件追加1次表头，避免管道处理压力过大：
  第一步生成无表头的临时合并文件：

  gsutil cat gs://你的存储桶路径/所有待合并文件前缀*.csv | sed '1d' | gsutil cp - gs://你的存储桶路径/临时无表头文件.csv
  

  第二步给临时文件添加表头后生成最终文件：

  gsutil cat <(echo "你的实际表头列1,列2,列3,列N") gs://你的存储桶路径/临时无表头文件.csv | gsutil cp - gs://你的存储桶路径/合并结果.csv
  

  注意：将echo后的内容替换为你实际的CSV表头内容即可

场景2：已生成带重复表头的合并文件，事后修复 #

过滤掉所有重复的表头行，仅保留第一行的表头即可，示例命令：

gsutil cat gs://你的存储桶路径/带重复表头的合并文件.csv | awk 'NR==1 || !/^你的实际表头内容$/' | gsutil cp - gs://你的存储桶路径/修复后文件.csv

命令说明：awk规则会保留第一行的表头，后续所有和表头内容一致的行都会被过滤掉，不会影响正常数据行。

• 如果你的CSV表头包含特殊符号，需要给sed/awk的匹配规则做对应转义，避免匹配失效
• 不要直接使用gsutil compose拼接CSV、JSON等结构化文本文件，该命令仅支持二进制内容拼接，无结构化内容处理能力

内容的提问来源于stack exchange，提问作者Raj jat