TensorFlow：如何将二维字符串张量转换为字符索引三维张量

我明白你的需求了——把二维的字节字符串张量转换成三维的字符索引张量，每个单词拆成对应的字符索引。之前用map_fn没搞定的话，咱们可以结合TensorFlow的字符串操作和RaggedTensor来优雅处理可变长度的单词，或者用嵌套map_fn（注意指定输出签名）来实现。下面给你两种可行的代码示例：

方法1：用RaggedTensor自动处理可变长度（推荐） #

这种方式不需要手动嵌套循环，利用TensorFlow的内置函数直接处理整个张量，代码更简洁高效：

import tensorflow as tf

# 你的输入二维字节字符串张量
input_tensor = tf.constant([
    [b'This', b'is', b'a', b'word', b'here'],
    [b'hello', b'world', b'how', b'are', b'you']
])

# 定义你的字符到索引查找表（替换成你实际的映射关系）
chars = ['T', 'h', 'i', 's', 'a', 'w', 'o', 'r', 'l', 'd', 'e', 'y', 'u']
indices = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
chars_lookup = tf.lookup.StaticHashTable(
    tf.lookup.KeyValueTensorInitializer(chars, indices),
    default_value=0  # 处理不在映射表中的字符
)

# 1. 把每个字节串解码成单个字符的RaggedTensor（自动适配不同长度的单词）
decoded_chars = tf.strings.unicode_decode(input_tensor, 'UTF-8')

# 2. 用查找表映射每个字符到对应的索引
char_index_tensor = chars_lookup.lookup(decoded_chars)

# 转换成你示例中的NumPy数组格式（如果需要）
result_np = char_index_tensor.to_list()
print(result_np)

运行后输出的结构和你描述的完全一致：每个单词对应一个字符索引的子数组，整个结构是三维的。

方法2：嵌套map_fn实现（适配你之前的尝试） #

如果一定要用map_fn，需要注意指定输出签名——因为每个单词的字符长度是可变的，TensorFlow需要明确知道输出是RaggedTensor（而非固定形状的张量），否则会因为形状不匹配报错：

import tensorflow as tf

input_tensor = tf.constant([
    [b'This', b'is', b'a', b'word', b'here'],
    [b'hello', b'world', b'how', b'are', b'you']
])

# 同样定义查找表
chars = ['T', 'h', 'i', 's', 'a', 'w', 'o', 'r', 'l', 'd', 'e', 'y', 'u']
indices = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
chars_lookup = tf.lookup.StaticHashTable(
    tf.lookup.KeyValueTensorInitializer(chars, indices),
    default_value=0
)

# 定义单个单词的映射函数
def word_to_indices(word):
    # 解码字节串为字符张量
    chars = tf.strings.unicode_decode(word, 'UTF-8')
    return chars_lookup.lookup(chars)

# 定义单句话的映射函数，用map_fn处理每个单词
def sentence_to_indices(sentence):
    return tf.map_fn(
        word_to_indices,
        sentence,
        fn_output_signature=tf.RaggedTensorSpec(shape=[None], dtype=tf.int32)
    )

# 处理整个张量
result_ragged = tf.map_fn(
    sentence_to_indices,
    input_tensor,
    fn_output_signature=tf.RaggedTensorSpec(shape=[None, None], dtype=tf.int32)
)

# 转换成NumPy格式
result_np = result_ragged.to_list()
print(result_np)

可选：转换成固定形状的三维张量 #

如果需要把结果转换成固定形状的张量（比如每个单词填充到最大字符长度），可以用to_tensor()方法自动填充默认值：

# 填充到最大字符长度，默认填充0
fixed_shape_tensor = char_index_tensor.to_tensor()
print(fixed_shape_tensor.numpy())

内容的提问来源于stack exchange，提问作者Gaddy