如何将十六进制字符串的tf.RaggedTensor转换为整数Tensor？

方法1：自定义向量化转换函数（适配RaggedTensor） #

由于tf.strings.to_number不支持十六进制转换，我们可以基于TensorFlow原生操作实现转换逻辑，完美适配RaggedTensor结构：

1. 拆分字符并映射数值：将字节字符串解码为单个字符，把每个十六进制字符（0-9、A-F）映射为对应的0-15整数。
2. 加权求和计算整数值：根据十六进制的位权规则（每一位权重为16的幂次），对每个字符串的字符数值加权求和得到最终整数。
3. 转换为固定形状Tensor：利用tf.RaggedTensor.to_tensor()将结果转换为目标形状(batch_size, 100, 10)的Tensor。

示例代码：

import tensorflow as tf

def hex_strings_to_int(ragged_tensor):
    # 将字节字符串解码为Unicode字符张量
    char_tensor = tf.strings.unicode_decode(ragged_tensor, 'UTF-8')
    
    # 定义十六进制字符到数值的映射表
    hex_chars = tf.constant([ord(c) for c in '0123456789ABCDEF'], dtype=tf.int32)
    hex_values = tf.constant(list(range(16)), dtype=tf.int32)
    
    # 匹配每个字符对应的数值
    char_values = tf.gather(hex_values, tf.argmax(tf.equal(char_tensor[..., tf.newaxis], hex_chars), axis=-1))
    
    # 计算每一位的权重（16^(长度-1)、16^(长度-2)...16^0）
    str_length = tf.shape(char_values)[-1]
    powers = tf.cast(tf.math.pow(16.0, tf.cast(tf.range(str_length-1, -1, -1), tf.float32)), tf.int32)
    
    # 加权求和得到整数
    int_values = tf.reduce_sum(char_values * powers, axis=-1)
    
    # 转换为目标形状的Tensor，若原结构符合要求可直接转换
    return int_values.to_tensor(shape=(None, 100, 10))

# 测试用例
sample_ragged = tf.RaggedTensor.from_tensor([
    [[b'F6EE', b'BFED'], [b'FFEE', b'FFED']],
    [[b'FEED', b'FDEE'], [b'FAAE', b'FFBE']]
])
result = hex_strings_to_int(sample_ragged)
print(result.shape)
print(result[0][0])

方法2：用tf.py_function包装Python原生转换（简单易实现） #

如果对性能要求不高，可直接用Python原生的十六进制转整数逻辑，通过tf.py_function适配TensorFlow计算图：

def hex_to_int_py(hex_str):
    return int(hex_str.decode('utf-8'), 16)

def ragged_hex_to_int(ragged_tensor):
    # 对RaggedTensor的每个元素应用Python转换函数
    int_ragged = ragged_tensor.map_flat_values(lambda x: tf.py_function(hex_to_int_py, [x], tf.int32))
    # 转换为目标形状的Tensor
    return int_ragged.to_tensor(shape=(None, 100, 10))

注意事项 #

• 若存在小写十六进制字符，先通过tf.strings.upper()统一转换为大写，避免映射失败。
• 若原RaggedTensor子序列长度不一致，to_tensor()会自动用0填充，可通过default_value参数自定义填充值。

内容的提问来源于stack exchange，提问作者Omicron