我有一个7GB的鸟类观测坐标制表符分隔文件，因体积过大无法用Excel或Notepad打开，尝试用RGui加载失败，需要将其转换为CSV格式以在ArcGIS中读取，需保留所有列，核心关注decimalLatitude和decimalLongitude列。

以下是几种高效的处理方案：

一、命令行工具（无需加载整个文件，速度最快） #

Linux/macOS环境 #

使用awk直接替换制表符为逗号，同时自动包裹含逗号的字段避免格式错误：

awk 'BEGIN {FS="\t"; OFS=","} {for(i=1; i<=NF; i++) {if($i ~ /,/) $i = "\"" $i "\""} print}' input_file.txt > output_file.csv

如果确认文件中没有含逗号的字段，可简化为：

sed 's/\t/,/g' input_file.txt > output_file.csv

Windows PowerShell环境 #

分批次读取写入，避免内存溢出：

Get-Content input_file.txt -ReadCount 1000 | ForEach-Object { $_ -replace "`t", "," } | Add-Content output_file.csv

-ReadCount 1000表示每次读取1000行，可根据内存情况调整数值。

二、改进的R分块处理方法 #

RGui加载失败是因为一次性读取整个文件，改用分块读写规避内存限制：

# 无需额外安装包，用基础函数即可
con <- file("input_file.txt", "r")

# 读取并转换表头
header <- readLines(con, n = 1)
writeLines(gsub("\t", ",", header), "output_file.csv")

# 循环分块读取转换
chunk_size <- 100000
while(length(chunk <- readLines(con, n = chunk_size)) > 0) {
  chunk_csv <- gsub("\t", ",", chunk)
  writeLines(chunk_csv, "output_file.csv", append = TRUE)
}

close(con)

三、Python分块处理方法 #

适合需要后续对坐标列做清洗验证的场景：

import pandas as pd

chunk_size = 100000
first_write = True

# 分块读取制表符文件，逐块写入CSV
for chunk in pd.read_csv("input_file.txt", sep="\t", chunksize=chunk_size):
    if first_write:
        chunk.to_csv("output_file.csv", index=False)
        first_write = False
    else:
        chunk.to_csv("output_file.csv", index=False, header=False, mode="a")

内容的提问来源于stack exchange，提问作者Adin Silverstein