PySpark中tifffile无法读取HDFS路径的uint16格式.tif图像求助

你的判断完全正确：tifffile库是为本地文件系统设计的，它无法识别HDFS的hdfs://路径格式，所以会错误地把这个路径解析成本地文件系统的一部分，导致FileNotFoundError。Spark原生API也没有直接支持读取多通道uint16 TIFF的功能，不过我们有几种可行的解决方案：

方法1：先将HDFS文件复制到本地临时目录再读取 #

这种方法适合处理单张或少量图片，通过Spark的HDFS文件系统API将文件下载到本地临时目录，再用tifffile读取：

from pyspark.sql import SparkSession
import tifffile as tiff
import tempfile
import os

# 初始化Spark会话
spark = SparkSession.builder.appName("HDFSTiffReader").getOrCreate()
sc = spark.sparkContext

# 定义HDFS和本地路径
hdfs_tiff_path = "hdfs://master:9000/image1.tif"
local_temp_dir = tempfile.mkdtemp()
local_tiff_path = os.path.join(local_temp_dir, "image1.tif")

# 获取HDFS文件系统实例并复制文件到本地
hdfs = sc._jvm.org.apache.hadoop.fs.FileSystem.get(sc._jsc.hadoopConfiguration())
hdfs.copyToLocalFile(
    sc._jvm.org.apache.hadoop.fs.Path(hdfs_tiff_path),
    sc._jvm.org.apache.hadoop.fs.Path(local_tiff_path)
)

# 读取TIFF图像
img = tiff.imread(local_tiff_path)
print(f"图像形状：{img.shape}，数据类型：{img.dtype}")

# 清理临时文件
os.remove(local_tiff_path)
os.rmdir(local_temp_dir)

方法2：直接读取HDFS文件字节流（无需本地存储） #

通过hdfs库直接获取文件的字节流，用BytesIO包装后传给tifffile，避免本地磁盘IO：

首先确保安装了hdfs库：

pip install hdfs

然后执行代码：

from hdfs import InsecureClient
import tifffile as tiff
from io import BytesIO

# 连接HDFS（注意WebHDFS端口通常是50070，用户名替换为你的HDFS用户名）
hdfs_client = InsecureClient('http://master:50070', user='your_hdfs_username')

# 读取文件字节流并解析
with hdfs_client.read('/image1.tif') as stream:
    tiff_bytes = stream.read()
    img = tiff.imread(BytesIO(tiff_bytes))

print(f"图像形状：{img.shape}，数据类型：{img.dtype}")

方法3：分布式批量处理TIFF图像（适合大量文件） #

如果需要处理HDFS上的多张TIFF图像，可以用Spark的二进制文件API读取，再通过RDD分布式处理每个文件的字节数据：

from pyspark.sql import SparkSession
import tifffile as tiff
from io import BytesIO

# 初始化Spark会话
spark = SparkSession.builder.appName("DistributedTiffProcessing").getOrCreate()

# 读取HDFS上的所有TIFF二进制文件
tiff_df = spark.read.format("binaryFile").load("hdfs://master:9000/*.tif")

# 定义处理单张TIFF的函数
def process_single_tiff(row):
    # 将字节数组转为可读取的流
    img_stream = BytesIO(row.content)
    img = tiff.imread(img_stream)
    # 返回文件路径、图像形状和数据类型（可根据需求修改返回内容）
    return (row.path, img.shape, img.dtype)

# 转换为RDD进行分布式处理
processed_rdd = tiff_df.rdd.map(process_single_tiff)

# 收集结果（小数据量场景使用，大数据量建议写入HDFS或数据库）
results = processed_rdd.collect()
for file_path, shape, dtype in results:
    print(f"文件：{file_path} | 形状：{shape} | 数据类型：{dtype}")

注意事项 #

• 确保Spark集群的所有节点都安装了tifffile和依赖库（如numpy），否则executor会因缺少库报错。
• 处理大尺寸TIFF图像时，注意监控内存使用，避免出现OOM（内存溢出）问题。
• 方法3中如果需要对图像进行复杂处理，建议将处理逻辑封装为可序列化的函数，确保能在分布式环境中运行。

内容的提问来源于stack exchange，提问作者Orwa kassab