为何bq query命令仅写入100行到文件？如何导出全量视图数据？

为什么只导出了100条记录？ #

这是因为BigQuery的bq query命令默认限制返回的结果行数为100条，这个设计是为了防止用户意外触发大规模数据查询，占用不必要的资源。你的视图有4000+条记录，但这个默认限制截断了结果，只保留了前100条。

如何导出所有记录？ #

有两种可靠的方法可以导出视图的全量数据：

方法1：修改bq query命令的行数限制

直接在你的命令中添加--max_rows参数，设置一个大于视图记录数的值（比如5000，足够覆盖你的4000+条数据）：

bq query --format=csv --use_legacy_sql=false --max_rows=5000 "select * from `myproject.mydataset.myview`" > D:/out.csv

如果不确定具体行数，可以设置一个更大的数值（比如100000），只要不超过BigQuery的查询结果上限（当前是10GB或1000万行，以先达到的限制为准）。

方法2：使用bq extract命令（更推荐大量数据导出）

bq extract是BigQuery专门用于导出表/视图数据的工具，没有默认行数限制，性能也更优，适合全量数据导出。步骤如下：

1. 先将视图数据导出到Google Cloud Storage（GCS）的存储桶中：

bq extract --destination_format=CSV `myproject.mydataset.myview` gs://your-bucket-name/out.csv

（替换your-bucket-name为你自己的GCS存储桶名称，如果没有需要先创建一个）
2. 再将GCS中的文件下载到本地：

gsutil cp gs://your-bucket-name/out.csv D:/out.csv

额外注意事项 #

• 如果你的视图包含嵌套或重复字段，CSV格式可能无法正确解析这类数据，此时可以考虑使用NEWLINE_DELIMITED_JSON作为导出格式，修改--destination_format参数即可。
• 确保你的Google Cloud账号拥有查询该视图、以及（如果用bq extract）写入目标GCS存储桶的权限。

内容的提问来源于stack exchange，提问作者Jaison