CSV逐行读取转TSV格式及大文件高效处理技术问询

你当前使用的CSV读取代码（Kotlin风格）如下：

csvReader().open("test.csv") {
    readNext()
}

需要将CSV文件转换为指定格式的TSV文件，示例TSV内容：

id  title   price_pc    shipping    rental_info
uniqueID    producttitle    1434000 0   23900^60

针对你的两个问题，解答如下：

1. 逐行读取CSV时能否逐行写入TSV？应使用什么库？ #

完全可以，逐行读写的流式处理模式还能避免一次性加载大文件到内存，是这类转换场景的最优选择。不同编程语言的推荐库如下：

Kotlin/Java 生态 #

• OpenCSV：成熟的CSV处理库，支持自定义分隔符，轻松实现CSV到TSV的转换：

  import com.opencsv.CSVReader
  import com.opencsv.CSVWriter
  import java.io.FileReader
  import java.io.FileWriter
  
  fun convertCsvToTsv(csvPath: String, tsvPath: String) {
      // 自动关闭流的use语法
      CSVReader(FileReader(csvPath)).use { reader ->
          CSVWriter(FileWriter(tsvPath), '\t').use { writer ->
              var line: Array<String>?
              // 逐行读取并写入
              while (reader.readNext().also { line = it } != null) {
                  writer.writeNext(line)
              }
          }
      }
  }
  

• Apache Commons CSV：官方维护的工具库，内置TSV格式支持（CSVFormat.TDF），代码更简洁：

  import org.apache.commons.csv.CSVFormat
  import java.io.FileReader
  import java.io.FileWriter
  
  fun convertCsvToTsv(csvPath: String, tsvPath: String) {
      val csvFormat = CSVFormat.DEFAULT.withHeader()
      val tsvFormat = CSVFormat.TDF.withHeader()
  
      FileReader(csvPath).use { reader ->
          FileWriter(tsvPath).use { writer ->
              val csvParser = csvFormat.parse(reader)
              val tsvPrinter = tsvFormat.print(writer)
  
              // 写入表头
              tsvPrinter.printRecord(csvParser.headerNames)
              // 逐行处理数据行
              for (record in csvParser) {
                  tsvPrinter.printRecord(record.toList())
              }
          }
      }
  }
  

Python 生态 #

直接使用内置的csv模块即可，无需额外安装依赖：

import csv

with open('test.csv', 'r', newline='') as csv_file, open('output.tsv', 'w', newline='') as tsv_file:
    csv_reader = csv.reader(csv_file)
    tsv_writer = csv.writer(tsv_file, delimiter='\t')
    # 逐行读写
    for row in csv_reader:
        tsv_writer.writerow(row)

⚠️ 注意：不要手动替换逗号为制表符，CSV中可能存在被引号包裹的字段包含逗号的情况，专业库会自动处理这类边界场景，保证转换正确性。

2. 原文件超过20MB时的高效处理方式 #

针对大文件，核心思路是降低内存占用、提升IO效率，具体方案如下：

• 坚持流式逐行处理：不要一次性将整个文件读入内存，保持逐行读写的模式，内存占用始终维持在单数据行的量级，避免内存溢出。
• 使用缓冲流优化IO：在Java/Kotlin中，用BufferedReader和BufferedWriter包裹文件流，减少磁盘IO的调用次数，大幅提升读写速度。示例：

  import com.opencsv.CSVReader
  import com.opencsv.CSVWriter
  import java.io.BufferedReader
  import java.io.BufferedWriter
  import java.io.FileReader
  import java.io.FileWriter
  
  fun convertCsvToTsv(csvPath: String, tsvPath: String) {
      CSVReader(BufferedReader(FileReader(csvPath))).use { reader ->
          CSVWriter(BufferedWriter(FileWriter(tsvPath)), '\t').use { writer ->
              var line: Array<String>?
              while (reader.readNext().also { line = it } != null) {
                  writer.writeNext(line)
              }
          }
      }
  }
  

• 避免不必要的数据操作：如果不需要修改字段内容，直接转分隔符即可，不要额外做解析、转换或校验，减少CPU开销。
• 谨慎使用多线程：20MB级别的文件单线程流式处理已经足够高效，多线程反而可能因为磁盘IO竞争降低效率。若处理GB级超大文件，可考虑按行拆分文件后多线程并行处理，再合并结果，但需注意表头和行顺序的一致性。

内容的提问来源于stack exchange，提问作者user8749481