AWS EFS存储大文件时追加数据是否无需重传整个文件？

核心结论 #

EFS对大文件的追加操作是高效的，不会强制重写整个文件，只会传输并写入新增的内容部分。

具体原因 #

• 与s3fs的本质区别：s3fs依赖S3对象存储，而S3本身没有原生的文件追加能力，s3fs只能通过「下载整个文件→本地追加→重新上传」的方式模拟追加，这才导致了全文件重传的问题。EFS是分布式文件系统，从设计上就支持文件的随机写入和追加，和对象存储的逻辑完全不同。
• NFS协议的原生支持：EFS支持NFSv3、NFSv4.0和NFSv4.1，这些版本的NFS协议都原生提供了APPEND操作（比如NFSv3的NFSPROC3_APPEND调用），不需要重写已有数据。你看到的早年学术论文是针对早期NFS的实验性优化，现在这些特性已经成为标准协议的一部分，AWS的EFS完全实现了这些标准功能。
• EFS的底层机制：EFS将文件拆分为多个数据块存储，追加操作只会针对新增的内容分配新的块并写入，不会修改或重传已有的数据块，网络传输的只有新增的字节，不会涉及整个大文件的内容。

简单验证方式 #

你可以在挂载EFS的EC2实例上做个测试：

1. 先创建一个大文件：dd if=/dev/zero of=/mnt/efs/largefile bs=1G count=1
2. 追加部分数据：dd if=/dev/zero of=/mnt/efs/largefile bs=10M count=1 oflag=append
3. 查看此时的网络流量（比如用iftop或nload），会发现传输量只有10M左右，而非1.01G，这就证明了追加操作只传输新增内容。

内容的提问来源于stack exchange，提问作者user1169420