如何在Google BigQuery中获取GDELT可用库表及引用语法
BigQuery中GDELT表引用规则与库表清单获取方法
全限定表名的层级逻辑
你接触到的gdelt-bq.gdeltv2.gkg_partitioned这类点号分隔的引用,是BigQuery的全限定资源名,作用就是区分不同归属的数据资源,对应BigQuery的三级资源结构:
- 第一级:项目ID,
gdelt-bq是GDELT官方托管公共数据的专属项目,所有开放数据集都归属于这个项目 - 第二级:数据集(Schema)ID,等价于传统数据库的“库”,用来归组同类主题的数据
- 第三级:表ID,是实际存储数据的对象
举个拆解示例:gdelt-bq.full.events对应gdelt-bq项目下、full数据集内的events表。
注意:跨项目引用必须写全三级路径;如果查询时指定了默认项目和数据集,可省略对应层级。
GDELT全量库表清单获取方法
所有操作均可在BigQuery控制台内完成,无需访问外部站点:
- 资源树直接浏览
在BigQuery控制台的资源搜索栏输入gdelt-bq,选中该公共项目后,即可展开查看其下所有开放数据集,点击任意数据集可列出包含的所有表,同时可直接预览表结构、分区规则、样本数据。 - 系统表SQL查询
通过BigQuery内置的INFORMATION_SCHEMA系统表,可直接用SQL查询全量资源,常用语句:
- 查看
gdelt-bq项目下所有数据集:
SELECT schema_name FROM `gdelt-bq`.INFORMATION_SCHEMA.SCHEMATA
- 查看指定数据集下的所有表(以
gdeltv2为例):
SELECT table_name, table_type FROM `gdelt-bq.gdeltv2`.INFORMATION_SCHEMA.TABLES
核心数据集说明
日常常见的GDELT公共数据集均为官方开放的核心资源:
gdeltv2:GDELT 2.0核心数据集,包含事件、全球知识图谱(GKG)、提及关联三类核心表,均按日期分区,适合近实时分析full:全量历史归档数据集,整合多年历史数据,适合长周期回溯covid19:专项主题数据集,包含新冠疫情相关的新闻、地理关联数据
内容的提问来源于stack exchange,提问作者juanmac
相关产品推荐
相关产品推荐

