如何获取TFdataset的形状,实现类似pandas.shape()的功能
解决方案
按优先级从高到低可选以下方案:
- 规整数据直接使用普通tf.Tensor
如果所有DataFrame的行列数都是固定的,不需要使用RaggedTensor,直接转普通Tensor即可直接读取维度,和pandas用法一致:
# 张量转换 df_tensor = tf.constant(df.to_numpy()) # 计算输入形状 input_shape = df_tensor.shape[1] + df2_tensor.shape[1] + df3_tensor.shape[1]
普通Tensor的静态形状读取无额外开销,完全适配模型输入层定义需求。
- 必须使用RaggedTensor时预存列数
如果业务逻辑需要用到RaggedTensor做变长处理,可在转换张量前直接存储pandas侧的列数,不需要从tf对象中读取:
# 提前存储各数据集列数 col_df = df.shape[1] col_df2 = df2.shape[1] col_df3 = df3.shape[1] # 直接计算输入形状 input_shape = col_df + col_df2 + col_df3 # 后续再执行张量转换逻辑 df_tensor = tf.ragged.constant(df.to_numpy())
该方法完全规避了tf侧读取维度的兼容问题,不影响后续张量运算。
- 从已生成的tf对象直接读取列数
如果必须从已生成的RaggedTensor或tf.data.Dataset中读取列数,使用对应API即可,不需要转列表遍历:
# 从RaggedTensor读取静态形状(模型定义阶段用) col_cnt = df_tensor.shape.as_list()[1] # 从RaggedTensor读取动态形状(运行时动态计算用) col_cnt = tf.shape(df_tensor)[1] # 从tf.data.Dataset读取列数 col_cnt = dataset.element_spec.shape[1]
内容的提问来源于stack exchange,提问作者Lostsoul
相关产品推荐
相关产品推荐

