如何将float32格式TIF图像切片读取为TensorFlow float32张量用于CNN训练
实现方案
完全可以在你现有代码框架上修改,不需要推翻重写。目前tfio自带的experimental TIF解码器仅支持8位整型图像,对float32存储的TIFF没有原生适配,直接使用会出现精度丢失。
适配依赖
提前安装支持float32 TIFF读取的工具库:
pip install tifffile
该库是遥感图像处理场景下的常用TIFF读取工具,能完整保留float32像素的原始数值,不会做强制uint8量化转换。
修改图像读取逻辑
整体流程和你之前实现的png读取逻辑完全对齐,仅替换解码部分的代码即可。
- 编写numpy层的TIFF读取函数,保证读取的数值和本地用Python打开文件得到的float32值完全一致
import tifffile import numpy as np import tensorflow as tf def read_rgb_float32_tif(file_path): path_str = file_path.numpy().decode() img = tifffile.imread(path_str) # 强制转换为float32,避免存储端的类型偏差 return img.astype(np.float32) def read_label_float32_tif(file_path): path_str = file_path.numpy().decode() lbl = tifffile.imread(path_str) lbl = lbl.astype(np.float32) # 统一标签形状为(H,W,1),和后续模型输入要求对齐 if len(lbl.shape) == 2: lbl = np.expand_dims(lbl, axis=-1) return lbl
- 重写
_process_pathnames函数,用TensorFlow官方支持的tf.numpy_function把上述读取逻辑包装为可在数据管道中运行的操作
img_shape = (128, 128, 3) batch_size = 2 def _process_pathnames(fname, label_path): # 读取RGB输入图像,输出float32张量 img = tf.numpy_function( func=read_rgb_float32_tif, inp=[fname], Tout=tf.float32 ) # 锁定张量固定形状,避免动态维度推断报错 img.set_shape(img_shape) # 读取单通道标签图像 label_img = tf.numpy_function( func=read_label_float32_tif, inp=[label_path], Tout=tf.float32 ) # 锁定标签形状为(128,128,1) label_img.set_shape((img_shape[0], img_shape[1], 1)) return img, label_img
对接已有的文件名列表
直接复用你已经整理好的训练、验证、测试集文件路径列表,搭建标准的tf.data数据管道,和之前png版本的处理流程完全兼容:
# 训练集管道 train_dataset = tf.data.Dataset.from_tensor_slices((x_train_filenames, y_train_filenames)) train_dataset = train_dataset.map(_process_pathnames, num_parallel_calls=tf.data.AUTOTUNE) train_dataset = train_dataset.shuffle(buffer_size=num_train_examples) train_dataset = train_dataset.batch(batch_size).prefetch(tf.data.AUTOTUNE) # 验证集管道 val_dataset = tf.data.Dataset.from_tensor_slices((x_val_filenames, y_val_filenames)) val_dataset = val_dataset.map(_process_pathnames, num_parallel_calls=tf.data.AUTOTUNE) val_dataset = val_dataset.batch(batch_size).prefetch(tf.data.AUTOTUNE) # 测试集管道 test_dataset = tf.data.Dataset.from_tensor_slices((x_test_filenames, y_test_filenames)) test_dataset = test_dataset.map(_process_pathnames, num_parallel_calls=tf.data.AUTOTUNE) test_dataset = test_dataset.batch(batch_size).prefetch(tf.data.AUTOTUNE)
注意事项
- 不要直接在
map操作里调用tifffile读文件,TensorFlow的数据管道是在图模式下运行的,直接调用会报路径无法解析的错误,必须通过tf.numpy_function封装一层。 - 一定要用
set_shape锁定固定维度,不然CNN模型搭建时会因为维度动态推断失败抛出形状不匹配的错误。 - 这套流程的读取精度和你在eager模式下用
tf.convert_to_tensor转换得到的张量完全一致,且不会破坏数据管道的预取、并行处理性能。
内容的提问来源于stack exchange,提问作者Sam
相关产品推荐
相关产品推荐

