使用Python hdfs 2.6.0包实现HDFS文件复制时小文件出现0字节目标文件的问题求助

嘿，这个问题我之前处理过类似的场景，核心原因出在hdfs 2.6.0 Python客户端的写缓冲机制，以及小文件处理时的竞态条件，下面给你拆解清楚：

1. 客户端写缓冲的“隐形坑” #

你用clt.write()拿到的写入句柄，内部是带缓冲机制的：当你调用writer.write(chunk)时，数据并不会立刻发送到HDFS集群，而是先存在客户端的内存缓冲里。只有当缓冲被填满（默认大小通常是几十KB级别），或者你显式调用flush()/close()时，缓冲的数据才会批量提交到HDFS。

你的小文件只有几十KB，而设置的chunk_size是64KB，整个文件只会生成一个chunk。写入这个chunk后，缓冲根本没被填满，数据就一直留在客户端内存里，没被提交到HDFS。

2. 小文件的处理速度引发竞态 #

因为小文件的读取+写入循环瞬间就能完成，当代码走到with块结束时，写入句柄会触发close()操作，尝试把缓冲的数据发去HDFS。但这里有个时间差：

• 客户端把数据发去HDFS需要一点网络IO时间
• 但小文件处理太快，可能close()还没完成数据提交，程序就已经跑完后续逻辑了，导致缓冲里的数据根本没机会写入HDFS，最终目标文件就是0长度。

你加的time.sleep(0.001)其实是给了客户端“喘气”的时间，让缓冲的数据有足够时间完成传输并被HDFS确认，所以问题就解决了。

3. 比sleep更靠谱的解决方案 #

靠延时解决问题始终是治标不治本，更优雅的做法是显式刷新缓冲，在每次写入chunk后强制把数据推去HDFS：

def hdfs_copy_stream(src, dst, namenode=None):
    try:
        md5 = hashlib.md5()
        offset = 0
        clt = get_client(src, namenode)
        with clt.read(src, offset=offset, chunk_size=2 ** 16) as reader:
            with clt.write(dst, overwrite=True) as writer:
                for chunk in reader:
                    md5.update(chunk)
                    offset += len(chunk)
                    writer.write(chunk)
                    writer.flush()  # 强制刷新缓冲，立刻发送数据
        md5_value = md5.hexdigest()
        print('md5 = {}, length = {}'.format(md5_value, offset))
        return RunState.Done, (md5_value, offset)
    except Exception as e:
        print("copy file {} to {} failed: {}".format(src, dst, e))
        return RunState.Error, None

这样既保证了数据及时写入，又不需要依赖不确定的延时，完全解决小文件零长度的问题。

为啥大文件没问题？ #

大文件的话，每次写入的chunk会不断填满客户端缓冲，缓冲一满就自动触发flush，数据分批发送到HDFS，自然不会有缓冲数据残留的情况，所以大文件复制一直正常。

内容的提问来源于stack exchange，提问作者David Fish