如何在HDFS中创建文件？已知可通过Python的snakebite创建HDFS目录

Snakebite提供了两种常用的方式在HDFS中创建文件，下面是具体实现：

1. 直接写入内容创建文件 #

通过Client的create方法可以直接将字符串内容写入HDFS并创建文件，示例代码如下：

from snakebite.client import Client

# 初始化HDFS客户端，替换为你的NameNode地址和端口
client = Client('namenode_host', 9000)

# 要创建的HDFS文件路径
hdfs_file_path = '/user/test/new_file.txt'
# 要写入的内容
content = 'Hello HDFS from Snakebite!'

# 创建文件并写入内容
try:
    # create方法默认会覆盖已存在的文件，若要避免覆盖可添加参数 overwrite=False
    client.create(hdfs_file_path, content)
    print(f"文件 {hdfs_file_path} 创建并写入成功")
except Exception as e:
    print(f"创建文件失败: {str(e)}")

2. 上传本地文件到HDFS创建文件 #

如果要将本地已有的文件上传到HDFS来创建文件，可以使用put方法：

from snakebite.client import Client

client = Client('namenode_host', 9000)

# 本地文件路径
local_file_path = '/local/path/to/local_file.txt'
# HDFS目标路径（包含文件名）
hdfs_target_path = '/user/test/uploaded_file.txt'

try:
    # put方法支持批量上传，这里传入单个文件路径的列表
    for result in client.put([local_file_path], hdfs_target_path):
        if result['result']:
            print(f"文件 {local_file_path} 成功上传到 {hdfs_target_path}")
        else:
            print(f"上传失败: {result['error']}")
except Exception as e:
    print(f"上传过程出错: {str(e)}")

注意事项 #

• 确保运行代码的机器能正常访问HDFS的NameNode服务，端口通常为9000或8020，根据集群配置调整。
• 若目标HDFS目录不存在，需要先使用client.mkdir()创建目录，否则文件创建会失败。
• 检查执行代码的用户是否有对应HDFS路径的写入权限。

内容的提问来源于stack exchange，提问作者Zak_Stack