求问BigQuery上最新的StackOverflow数据集,现有已知数据集已过时
BigQuery上最新的StackOverflow数据集说明
你提到的两个数据集现状
bigquery-public-data.stackoverflow:这是BigQuery官方公开的StackOverflow数据集,也是平台入门教程里的常用案例,最后一次更新停留在2022年11月24日,后续没有再更新。- Filipe Hoffe维护的数据集:其
fh-bigquery.stackoverflow_archive_questions.merged表中,最新数据仅到2019年。执行查询语句:
返回的结果显示,所有数据的季度区间集中在2017年至2019年:SELECT distinct quarter FROM fh-bigquery.stackoverflow_archive_questions.mergedRow((datetime.date(2017, 6, 1),), {'quarter': 0}) Row((datetime.date(2017, 3, 1),), {'quarter': 0}) Row((datetime.date(2017, 12, 1),), {'quarter': 0}) Row((datetime.date(2018, 6, 1),), {'quarter': 0}) Row((datetime.date(2019, 3, 1),), {'quarter': 0}) Row((datetime.date(2018, 9, 1),), {'quarter': 0}) Row((datetime.date(2017, 9, 1),), {'quarter': 0}) Row((datetime.date(2018, 3, 1),), {'quarter': 0}) Row((datetime.date(2018, 12, 1),), {'quarter': 0})
关于更新版本的说明
目前BigQuery公开领域内,暂时没有比bigquery-public-data.stackoverflow更新的官方StackOverflow数据集。如果需要获取更近期的数据,可以尝试以下两种方式:
- 自行导入Stack Exchange官方转储数据:Stack Exchange会定期发布全量数据转储,你可以下载最新的转储文件后,自行导入到自己的BigQuery数据集中,这种方式能获取到最新的季度全量数据,但需要自己处理数据导入和后续维护。
- 通过API增量同步:使用Stack Exchange API抓取增量数据,定期同步到你的BigQuery数据集,适合需要较高实时性的场景,但需要编写代码实现同步逻辑,同时要遵守API的调用频率限制。
内容的提问来源于stack exchange,提问作者Yulia V
相关产品推荐
相关产品推荐

