BigQuery外部表结果缓存新增文件时是否会自动失效？

核心判定逻辑（自动触发为主） #

BigQuery针对GCS外部表的结果缓存失效，默认完全由系统自动完成，不需要用户手动干预，判定过程不依赖频繁的全量桶扫描，核心校验逻辑基于元数据快照比对：

• 每次发起外部表查询时，系统会先拉取和外部表配置的文件匹配规则（通配符路径、文件格式）命中的所有对象的元数据，计算包含文件总数量、总大小、集合内所有对象的最后修改时间最大值的校验值，这种方式避免了定期全量扫描存储桶的性能开销
• 将本次计算的校验值和上次缓存结果存储的校验基线做对比，只要存在任何差异，就会自动判定底层数据发生变更，直接作废对应缓存，重新走计算逻辑
• 常见的触发自动失效的操作包括：匹配路径下新增文件、删除原有文件、修改任意匹配文件的内容导致最后修改时间变化、调整外部表的路径匹配规则或解析参数

无法自动识别的失效场景 #

有一类操作系统没办法通过元数据校验捕捉，会出现缓存不匹配实际数据变化的问题，这类问题大多出现在用户通过后台工具批量替换文件，但没有更新对象元数据的场景下：

• 对路径下的文件做内容篡改，但刻意保留文件的原始最后修改时间、保持文件大小完全一致，这种情况下系统计算的校验值和之前的基线没有差异，会继续命中旧缓存
• 如果文件所在的存储桶开启了不合适的访问权限，导致BigQuery无法正常拉取对象元数据，系统为了避免错误命中旧缓存，会直接放弃使用缓存，重新计算结果

手动触发缓存失效的操作 #

遇到上述元数据校验失效的特殊场景，或者你想主动跳过旧缓存拉取最新结果，可以通过简单操作手动触发缓存作废，不需要复杂流程：

• 最简单的操作是在查询末尾加上--use_cache=false参数，单次查询直接跳过所有缓存
• 如果需要批量清空某个外部表对应的所有缓存，可以对外部表的配置做任意不影响解析逻辑的小改动（比如更新表的自定义描述标签），系统会在检测到表定义变化时自动作废所有和该表关联的缓存
• 注意目前没有独立的“定向清除外部表缓存”的专属命令，所有手动操作本质都是通过打破系统的校验基线，让系统判定数据已变化，从而绕开旧缓存

内容的提问来源于stack exchange，提问作者Mim