如何使用geopandas 0.8.1读取HDFS存储的Shapefile文件

你遇到的问题很典型：geopandas的read_file依赖Fiona，而Fiona又基于GDAL——默认情况下GDAL没有启用HDFS文件系统的支持，再加上Shapefile本身是由.shp、.shx、.dbf、.prj等多个关联文件组成的，直接指定单个.shp的HDFS路径，不仅GDAL识别不了协议，还会因为找不到配套文件报错。

下面提供两种可行的解决方案：

方法一：将HDFS上的Shapefile下载到本地临时目录读取 #

这是最稳妥的方案，不需要修改GDAL的系统配置，适合大多数场景：

1. 用Python的HDFS客户端（比如hdfs3或pyhdfs）将Shapefile的所有相关文件下载到本地临时文件夹
2. 再用geopandas.read_file读取本地路径

示例代码：

import geopandas as gpd
from hdfs3 import HDFileSystem
import tempfile
import os
import shutil

# 初始化HDFS客户端（根据你的集群配置调整host/port参数）
hdfs = HDFileSystem(host='hdfsha', port=9000)

# 创建本地临时目录
temp_dir = tempfile.mkdtemp()
hdfs_shapefile_prefix = 'my_hdfs_directory/my_shapefile'

# 下载所有Shapefile相关文件（匹配前缀的所有后缀文件）
for hdfs_file_path in hdfs.glob(f'{hdfs_shapefile_prefix}.*'):
    filename = os.path.basename(hdfs_file_path)
    local_file_path = os.path.join(temp_dir, filename)
    # 从HDFS读取并写入本地
    with hdfs.open(hdfs_file_path, 'rb') as hdfs_f, open(local_file_path, 'wb') as local_f:
        local_f.write(hdfs_f.read())

# 读取本地临时目录中的Shapefile
shp = gpd.read_file(os.path.join(temp_dir, 'my_shapefile.shp'))

# 用完临时目录后删除（可选，避免占用磁盘）
shutil.rmtree(temp_dir)

方法二：配置GDAL支持HDFS并使用VSI接口读取 #

如果你的环境允许调整GDAL配置，可以直接通过GDAL的VSI虚拟文件系统访问HDFS：

1. 确保你的GDAL版本为2.3+（geopandas 0.8.1对应的Fiona版本通常兼容GDAL 2.x/3.x），且编译时启用了HDFS支持（需要依赖libhdfs3或Hadoop的libhdfs库）
2. 使用GDAL专属的VSI路径前缀/vsihdfs/替代常规的hdfs://格式

示例代码：

import geopandas as gpd

# 使用GDAL的VSI HDFS路径格式
shp_path = '/vsihdfs/hdfsha/my_hdfs_directory/my_shapefile.shp'
shp = gpd.read_file(shp_path)

注意事项： #

• 预编译的GDAL包（比如conda/pip默认安装的）大多没有开启HDFS支持，可能需要你自行编译GDAL，或者寻找带HDFS支持的定制包
• 要确保GDAL能读取到HDFS集群的配置文件（core-site.xml、hdfs-site.xml），可以通过设置环境变量HADOOP_CONF_DIR指定配置目录
• 可以运行gdalinfo --formats命令，查看输出中是否有HDFS条目，来验证GDAL是否支持HDFS

内容的提问来源于stack exchange，提问作者Ric S