R语言如何向已存在的gz压缩文件追加写入内容而不覆盖？

原代码失效原因 #

gzfile()连接原生不支持追加模式，直接搭配write.table()的append=T参数会直接覆盖原文件内容。其底层逻辑是gzip格式无法直接在已有的压缩流末尾拼接未压缩内容，但多个独立gzip压缩块拼接后的文件仍然是合法的.gz格式文件，可被所有标准解压工具正常识别，利用这一特性即可实现无需全量解压重压缩的追加操作。

实现代码 #

# 以二进制追加模式打开已存在的目标gz文件
con <- file("DT.DAT.gz", open = "ab")
# 将文件连接包装为gzip压缩连接，level参数为压缩等级（取值1-9，越大压缩比越高、写入速度越慢）
gz_con <- gzcon(con, level = 6)
# 写入新数据，无需额外设置append参数，外层连接已为追加模式
write.table(DT, file = gz_con,
            sep = ",", quote = FALSE, col.names = FALSE, 
            row.names = FALSE, na = "")
# 按顺序关闭连接：必须先关闭gzip压缩连接，再关闭底层文件连接，否则会导致数据丢失或文件损坏
close(gz_con)
close(con)

操作验证 #

你可以通过以下两种方式确认追加成功：

• R内验证：执行tail(read.table(gzfile("DT.DAT.gz"), sep = ","))，检查末尾行是否为新写入的内容
• 系统终端验证：执行zcat DT.DAT.gz | tail，直接查看文件末尾内容

注意事项 #

• 避免高频执行小批量追加操作，每次追加都会生成独立压缩块，过多小压缩块会轻微降低整体压缩比
• 如果写入的数据量极大，可适当调低压缩等级提升写入速度

内容的提问来源于stack exchange，提问作者Macosso