场景描述

一个网页一般由一段大的文本描述和若干其中的图片和视频组成，爬取网页的时候，一般会将单独的文本构建成一个数据集，然后解析其中的图片超链接，再单独爬取图片链接，构建成的新的图片数据集。
因此，一个网页对应，一个文本，N个图片（视频同理，这里简化为只有图片场景）。
一般情况下，文本数据集用于 NLP 任务的数据操作，图片数据集用于 CV 任务的数据处理。
但某些训练任务要求，将整个网页的文本和图片混排在一起，进行训练。 这个时候就需要将文本数据集和图片数据集通过 docID 关联在一起，并输出结果。

当前方案

图片数据集一般会采用 Webdataset 存储， 计算采用 Spark 引擎。

1. 首先对图片数据集会进行一次抽列和过滤操作。
2. 然后对图片数据集按照 docID 进行聚合操作
3. 最后跟文本数据集进行 join 操作，完成数据拼接。

Lance 方案

和传统数据流程类似，计算依然使用 spark，但图像数据集存储为 Lance 格式。

1. 抽数 + AGG + Join，都不获取 Image 内容，只使用 Lance 中的 RowId 指代。
2. 在 Join 完毕后，输出了（docID，TEXT， List）结构
3. 最后加入一个替值的步骤，该步骤实际就是 LookUp 过程，通过 RowId 查找 Image 字段，并完成替换。

方案对比