TensorFlow Data API处理大数据集时TextLineDataset为何加载全量数据

你观察到的全量加载现象并不是tf.data.TextLineDataset接口的固有设计，主要由两个原因导致：

• 测试场景的样本规模过小：3个小文件的总数据量远低于TensorFlow运行时的默认内存缓存阈值，TF为了减少IO开销会自动将小文件全量预加载到内存，属于运行时自适应优化行为。当你使用总数据量远大于内存的数据集测试时，该接口就会按照流式逻辑按需读取数据，不会加载全量内容。
• 代码参数设置的叠加影响：
  1. interleave的cycle_length参数设置为5，而你只有3个待读取文件，相当于并行读取所有文件，小文件会被瞬间读完全部内容
  2. shuffle_buffer_size设置为10000，如果3个文件的总样本数小于这个值，shuffle缓冲区会直接拉取所有样本填满缓冲区，外在表现就是全量数据集被加载到内存。

如果要验证流式加载的实际效果，可以使用总样本数远大于shuffle_buffer_size的数据集测试，此时内存占用会稳定在shuffle缓冲区+预取批次的大小，不会随数据集总规模增长。如果要进一步优化超大规模CSV的加载效率，也可以提前将CSV转换为TFRecord格式，流式读取的吞吐量会有明显提升。

内容的提问来源于stack exchange，提问作者guilerme_coppola84