Apache Beam如何访问Bigtable数据?Dataflow中BigtableIO.Read的访问路径问题
问题描述
在Dataflow中运行BigtableIO.Read时,数据是通过Bigtable节点访问,还是直接访问Bigtable tablets?
参考的Bigtable架构说明
根据Bigtable官方架构文档的公开说明:
客户端请求会先经过前端服务器,再发送到Cloud Bigtable 节点
同时架构文档中也提到:
Cloud Bigtable表会被分片为连续行组成的块,称为tablet,用于平衡查询负载……tablets以SSTable格式存储在Google的文件系统Colossus上。
提问背景
日常业务发起的单个普通请求确定会经过Bigtable节点,因此重点担忧同时运行Dataflow作业时会产生多大规模的资源竞争——初步猜测如果Dataflow作业也通过节点访问数据,相比直接访问tablets,资源竞争会显著更高。
内容的提问来源于stack exchange,提问作者lf215
相关产品推荐
相关产品推荐

