GDELT数据库抗议事件统计查询结果差异及表选择问题

使用的查询语句 #

select
    GlobalEventID
    ,MonthYear
    ,ActionGeo_Long
    ,ActionGeo_Lat
from
    gdelt-bq.full.events_partitioned -- 返回34650条记录
    --gdelt-bq.gdeltv2.events_partitioned -- 返回93551条记录
where
    _PARTITIONTIME >= TIMESTAMP('2004-01-01')
    and _PARTITIONTIME <= TIMESTAMP('2020-12-31')
    and EventRootCode = '14'
    and ActionGeo_CountryCode = 'MX'
;

表选择建议 #

• 若需完整覆盖2004-2020年全时间段的抗议数据，选择gdelt-bq.full.events_partitioned（GDELT 1.0版本表）
• 若仅需2015年2月之后的相关数据，优先选择gdelt-bq.gdeltv2.events_partitioned（GDELT 2.0版本表），其数据收录完整度更高
• 若需兼顾全时间覆盖和高数据质量，可拼接2004-2015年2月的v1表数据与2015年2月-2020年的v2表数据，去重后使用

结果差异核心原因 #

• 覆盖时间范围不同：GDELT 2.0表仅收录2015年2月18日之后的事件，2004-2015年2月的区间无对应数据，GDELT 1.0表完整覆盖你查询的全时间区间
• 信源收录标准不同：GDELT 2.0大幅扩展了数据源范围，新增了全球线上媒体、地方小报、广播电视转录内容等更多信源，同一时间段内的事件收录量是GDELT 1.0的3-5倍，因此哪怕缺失了前11年的数据，总返回量仍远高于1.0表
• 事件编码规则差异：2.0版本优化了事件分类、地理定位的算法，部分1.0版本未识别到的抗议事件（EventRootCode='14'）在2.0版本中会被正确识别归类

内容的提问来源于stack exchange，提问作者Arturo Sbr