PowerBI Desktop连接BigQuery大型项目拉取数据报错如何解决？

根因说明 #

该报错核心为2.4.0.1002版本Microsoft ODBC Driver for Google BigQuery默认会拉取连接项目下全量数据集、表的元数据，当项目内表数量超过2万时，会触发驱动内置的元数据拉取阈值限制或BigQuery API调用频率限制，和PowerBI本地缓存无关，因此清理缓存无法解决问题。

分步解决措施 #

• 调整ODBC数据源配置
  打开64位ODBC数据源管理器（与PowerBI Desktop架构保持一致），找到对应的BigQuery ODBC数据源点击「配置」，在「高级选项」页修改两处配置：
  • 将Metadata Catalog Mode调整为Custom，关闭默认全量元数据拉取逻辑
  • 勾选Restrict Metadata to Specified Projects/Datasets，在下方输入框填写你实际需要访问的数据集完整名称，避免驱动枚举全项目200+数据集、3万张表的元数据
• 修改PowerBI连接逻辑，跳过全量元数据枚举
  不要使用PowerBI可视化导航器选择项目和表，改用Power Query高级编辑器直接指定目标数据集和表，参考代码如下：

  let
    Source = Odbc.DataSource("dsn=你配置的BigQuery ODBC数据源名称", [HierarchicalNavigation=true]),
    RequiredDataset = Source{[Name="目标数据集名称",Kind="Dataset"]}[Data],
    RequiredTable = RequiredDataset{[Name="目标分区表名称",Kind="Table"]}[Data]
  in
    RequiredTable
  

• 升级ODBC驱动版本
  当前使用的2.4.0.1002版本为2021年发布的旧版本，存在已知的大规模元数据拉取兼容性Bug，升级到官方发布的2.5.x及以上版本可修复该类超限问题
• 缩减小账号权限范围
  确认连接BigQuery使用的用户/服务账号仅分配了目标数据集的访问权限，不要配置全项目级别的bigquery.tables.list权限，驱动拉取元数据时仅会返回当前账号有权限的资源，不会触发全项目表枚举

内容的提问来源于stack exchange，提问作者Manju