如何在TensorFlow TextVectorization层设置standardize参数为None

错误原因 #

• 字符串形式的"None"/"none"不符合参数要求，该参数接受的空值为无引号的Python原生None对象，不是字符串类型
• 参数名拼写错误会导致配置不生效：注意参数名是standardize，不要写成多了末尾d的standardized

正确方案 #

方案1：直接传None参数 #

直接给standardize参数传无引号的Python None即可：

vectorize_layer = TextVectorization(
    max_tokens=10000,
    standardize=None,
    split='`',
    output_mode='int',
    output_sequence_length=3
)

方案2：自定义空标准化函数（兼容性更强） #

如果部分TensorFlow版本对None的校验有异常，可以自定义一个直接返回原文本的空处理函数传入，完全不会修改输入文本：

def empty_standardize(input_text):
    return input_text

vectorize_layer = TextVectorization(
    max_tokens=10000,
    standardize=empty_standardize,
    split='`',
    output_mode='int',
    output_sequence_length=3
)

内容的提问来源于stack exchange，提问作者Dylan Skinner