如何对两个不等长的tf.data.Dataset实现短数据集自动重复的成对迭代?
TensorFlow 不等长数据集成对迭代诉求
目前需要处理两个长度不等的数据集,核心需求是:遍历datasetA的每一个元素时,都从datasetB中按顺序取一个对应元素形成配对。
之前试过的踩坑方案:
- 尝试调用
.take(1)从datasetB获取单元素,但多次调用.take(1)不会推进数据集的内部计数,始终返回同一个元素,完全不符合每次获取新元素的要求。 - 尝试外层通过
for element in datasetA:遍历其中一个数据集,内层用elementB = iterB.get_next()消费第二个数据集,但等iterB把datasetB的元素全部消耗完之后,就会直接抛出报错。
最初的报错版本测试代码:
datasetA = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) datasetB = tf.data.Dataset.from_tensor_slices([11, 22, 33, 44]) iterB = iter(datasetB) epochs = 5 for epoch in range(epochs): print(f"Epoch {epoch}") for element in datasetA: print(element) elementB = iterB.get_next() print(elementB)
后续摸索出的能跑但粗糙的实现:
for epoch in range(epochs): print(f"Epoch {epoch}") for element in datasetA: print(element) elementB = iterB.get_next_as_optional() if not elementB.has_value(): iterB = iter(datasetB) elementB = iterB.get_next_as_optional() print(elementB.get_value())
这个实现虽然可以正常运行,但手动检测迭代器耗尽、重新初始化datasetB迭代器的做法太粗糙,完全谈不上优雅。
之前找过的方案大多是适配旧版TensorFlow的,靠TF操作重新初始化迭代器的方法在TF2.x中已经无法使用。也看到过对比tf.data.Dataset.repeat和旧迭代器初始化器差异的讨论,但始终没有给出TF2.x下对应的成熟解决方案。
现在需要的是优雅实现方式:从datasetA和datasetB中按顺序获取成对元素,且datasetB被全部消费完毕后可以自动从头重启遍历。
不接受两个数据集硬合并打乱顺序的方案——除非较短的数据集会通过自动重复采样的方式,把长度填充到和较长数据集完全一致,这样就能直接采样得到(A来自datasetA,B来自datasetB)的配对结果。
简言之:需要实现两个不等长数据集的成对迭代,短数据集被消费完毕后自动重启遍历。
内容的提问来源于stack exchange,提问作者emil
相关产品推荐
相关产品推荐

