咨询Google Cloud DataFlow读取Cloud Storage的Class B操作计费细节

核心结论 #

你完全不用担心会产生数百万美元的费用——beam.io.ReadFromText读取GCS文件时的Class B操作次数远低于文件行数，实际计费成本极低。

GCS Class B操作的计费逻辑 #

GCS的Class B操作按API请求次数计费，而非文件行数。这类操作主要包含对象分段读取、数据块请求等，当前每千次操作的费用约为0.004美元。

DataFlow读取GCS文件的具体机制 #

• beam.io.ReadFromText不会逐行发起GCS请求，而是借助GCS的分段读取能力，将大文件分割成固定大小的数据块（默认64MB左右），每个数据块对应一次Class B操作。
• 以你的场景举例：假设100亿条小行总大小为100GB（按每行10字节估算），按默认64MB块计算，总Class B操作次数约为100*1024/64 = 1600次，对应费用仅约0.0064美元，完全可控。
• 数据读取后，DataFlow会将这些块暂存到作业的托管临时存储中，后续的过滤等处理都基于暂存数据，不会重复发起GCS请求。

可选优化 #

如果想进一步减少Class B操作次数，你可以通过FileIO.Read的withChunkSize方法（Beam 2.x及以上版本支持）调整分块大小，比如设置为128MB或256MB，进一步降低请求次数。

内容的提问来源于stack exchange，提问作者Giancarlo Metitieri