Keras自定义标准化函数适配IMDB数据集时出现Tensor无numpy属性错误

错误原因 #

当你用TextVectorization的adapt方法或把它整合进模型时，TensorFlow会切换到Graph执行模式。此时传入函数的是Graph Tensor，这类张量不支持.numpy()方法——只有Eager模式下的单个Eager Tensor才能直接调用.numpy()转成numpy数组。你之前的测试用的是单个Eager Tensor，所以没问题，但批量处理数据集时进入Graph模式就触发了错误。

解决方案：用TensorFlow原生字符串API替代numpy转换 #

把自定义标准化函数里基于Python字符串的操作，全部替换成TensorFlow的tf.strings模块提供的方法，这样函数能兼容Graph模式和Eager模式：

修改后的标准化函数示例

import tensorflow as tf

def custom_standardization(input_tensor):
    # 移除HTML标签：用正则匹配所有<>包裹的内容并替换为空
    cleaned_text = tf.strings.regex_replace(input_tensor, r'<.*?>', '')
    # 替换邮箱地址：匹配邮箱格式并替换为指定字符串
    cleaned_text = tf.strings.regex_replace(cleaned_text, r'\S+@\S+', '[EMAIL]')
    # 可选：转小写（根据你的需求添加）
    cleaned_text = tf.strings.lower(cleaned_text)
    return cleaned_text

复杂逻辑的兼容方案（不推荐，仅当无法用TF原生API时使用）

如果你的标准化逻辑必须依赖Python库（比如BeautifulSoup解析HTML），可以用tf.py_function包装Python函数，但要注意指定输入输出类型并恢复张量形状：

import tensorflow as tf
from bs4 import BeautifulSoup
import re

def custom_standardization(input_tensor):
    def py_process(text):
        # 这里是Python层面的处理逻辑
        text_str = text.decode('utf-8')
        # 用BeautifulSoup移除HTML标签
        text_str = BeautifulSoup(text_str, "html.parser").get_text()
        # 替换邮箱
        text_str = re.sub(r'\S+@\S+', '[EMAIL]', text_str)
        return text_str.encode('utf-8')
    
    # 用tf.py_function包装Python函数，指定输出类型为字符串
    result = tf.py_function(py_process, [input_tensor], tf.string)
    # 恢复张量形状，避免后续层报错
    result.set_shape(input_tensor.shape)
    return result

注意事项 #

• 优先使用TensorFlow原生API（比如tf.strings.regex_replace），因为tf.py_function会带来性能损耗，且在模型部署（比如转成TensorFlow Lite）时可能出现兼容性问题。
• 修改后先在单个Eager Tensor上测试函数，确认输出符合预期，再将其传入TextVectorization层的standardize参数中使用。

内容的提问来源于stack exchange，提问作者Arindam