TensorFlow GAN输出含负数引发PIL错误的问题排查与解决

问题背景 #

使用TensorFlow和Keras搭建GAN模型，训练过程正常，但将输出张量转换为图像时触发错误。检查发现RGB格式的输出张量中存在通道值为负数的情况：

arr = generated_image.numpy() # (128, 128, 3)

# 查看特定像素的RGB值
print(arr[0][0][0]) # array([0.80051363, 0.55783302, 0.34086022])
print(arr[0][0][1]) # array([0.1622794 , 0.40731752, 0.41627714])
print(arr[0][0][2]) # array([-22.26079941, -17.90978622, -17.2147789 ])

尝试用PIL转换时触发如下错误：

KeyError                                  Traceback (most recent call last)
/opt/conda/lib/python3.7/site-packages/PIL/Image.py in fromarray(obj, mode)
   2927         try:
-> 2928             mode, rawmode = _fromarray_typemap[typekey]
   2929         except KeyError as e:

KeyError: ((1, 1, 3), '<f8')

The above exception was the direct cause of the following exception:

TypeError                                 Traceback (most recent call last)
/tmp/ipykernel_33/14769953.py in <module>
----> 1 img = Image.fromarray(arr[0])

/opt/conda/lib/python3.7/site-packages/PIL/Image.py in fromarray(obj, mode)
   2928             mode, rawmode = _fromarray_typemap[typekey]
   2929         except KeyError as e:
-> 2930             raise TypeError("Cannot handle this data type: %s, %s" % typekey) from e
   2931         else:
   2932             rawmode = mode

TypeError: Cannot handle this data type: (1, 1, 3), <f8

针对该场景，以下是三个核心问题的解答：

1. 为何输出张量含负数却仍能通过matplotlib.pyplot.imshow()正常显示？ #

matplotlib的imshow函数会自动对输入数值执行归一化处理：它会将张量中的最小值映射为0，最大值映射为1，所有中间值按比例缩放至0-1区间后再渲染。不管输入是负数还是远超0-1范围的数值，都会被自动调整到合法区间，因此即便存在负数也能正常显示。

而PIL的fromarray没有自动归一化逻辑，它要求输入的数据类型和数值范围严格匹配预设格式（比如0-255的uint8类型，或0-1范围的float32且对应正确色彩模式），直接传入带负数的float64张量会因不匹配触发错误。

2. 如何调整GAN使其输出的图像全部为0-1之间的浮点数？ #

观察你的生成器代码，最后一层Conv2DTranspose未添加激活函数，导致输出是无约束的线性结果，自然会出现正负值。解决方法非常直接：在最后一层添加sigmoid激活函数，它能将任意实数压缩至0-1区间：

修改后的生成器代码：

generator = keras.Sequential([
    keras.layers.Dense(8*8*64, use_bias=False, input_shape=(100,)),
    keras.layers.BatchNormalization(),
    keras.layers.LeakyReLU(),
    
    keras.layers.Reshape((8, 8, 64)),
    
    keras.layers.Conv2DTranspose(32, (3, 3), strides=(4, 4), use_bias=False, padding="same"),
    keras.layers.BatchNormalization(),
    keras.layers.LeakyReLU(),
    
    keras.layers.Conv2DTranspose(16, (3, 3), strides=(2, 2), use_bias=False, padding="same"),
    keras.layers.BatchNormalization(),
    keras.layers.LeakyReLU(),
    
    # 添加sigmoid激活函数
    keras.layers.Conv2DTranspose(3, (3, 3), strides=(2, 2), use_bias=False, padding="same", activation='sigmoid'),
])

如果训练时使用的是归一化到[-1,1]范围的数据集（比如通过tf.keras.layers.Rescaling(1./127.5, offset=-1)处理），可以将最后一层激活换成tanh，之后再将输出转换到0-1区间：

output = (generated_image.numpy() + 1) / 2

3. 这一问题是否重要？是否存在其他图像编码方式？若有，如何从中提取图像？ #

问题的重要性

该问题非常关键：

• 功能层面：无约束的输出数值会导致PIL、OpenCV等图像处理工具无法正常解析，无法保存或进一步处理生成的图像；
• 训练层面：生成器输出范围与真实数据分布不匹配（比如真实数据是0-1，生成器输出任意值），会干扰判别器的损失计算，长期可能导致模型模式崩溃、训练不稳定。

其他图像编码方式及提取方法

常见的图像张量编码方式还有两种：

1. [-1,1]范围的float32张量

   • 生成器配置：最后一层使用tanh激活函数，输出范围为[-1,1]；
   • 提取图像：先将数值转换到0-1区间，再转成uint8类型供PIL处理：

     import numpy as np
     from PIL import Image
     
     arr = generated_image.numpy()
     # 从[-1,1]转换到[0,1]
     arr = (arr + 1) / 2
     # 转换为0-255的uint8类型
     arr = (arr * 255).astype(np.uint8)
     img = Image.fromarray(arr)
     

2. 0-255范围的uint8整数张量

   • 一般不建议直接在模型中输出uint8，因为浮点数训练稳定性更高；
   • 提取方法：如果生成器用sigmoid输出0-1的float张量，可直接转换：

     arr = generated_image.numpy()
     arr = (arr * 255).astype(np.uint8)
     img = Image.fromarray(arr)
     

内容的提问来源于stack exchange，提问作者coderman1234