Google BigQuery执行bq show时遇sqlite3数据库锁定错误求助

首先得明确：这个错误不是BigQuery本身的问题，而是你的Google Cloud SDK本地的凭证存储SQLite数据库被多个并发进程访问导致的锁冲突。从错误栈能看到，问题出在SDK尝试刷新/存储OAuth凭证时，本地的~/.config/gcloud/credentials.db被锁定了。

你的定时脚本每隔10分钟运行多个bq命令，这些脚本可能同时启动，都在尝试访问本地凭证库——而SQLite是单写多读的数据库，当多个进程同时触发凭证刷新（写入操作）时，就会触发这个锁定错误。

下面是具体的解决思路：

• 错开脚本执行时间，避免并发：如果你的多个脚本是同时启动的，改成错开1-2分钟执行（比如在cron里设置不同的分钟数），或者用文件锁机制（比如flock）确保同一时间只有一个bq相关进程在运行，避免多个进程同时读写凭证库。
• 改用服务账号密钥，绕过本地凭证存储：使用服务账号密钥文件代替用户OAuth凭证，通过设置环境变量GOOGLE_APPLICATION_CREDENTIALS=/path/to/your/service-account-key.json，这样gcloud SDK不会频繁更新本地的credentials.db，从根源减少锁的概率。这是最推荐的方案，尤其适合自动化脚本场景。
• 禁用凭证自动刷新：如果你的凭证是长期有效的（比如服务账号密钥），可以设置环境变量CLOUDSDK_AUTH_DISABLE_REFRESH=true，阻止SDK自动刷新凭证，减少对本地SQLite的写入操作。注意：如果用的是用户OAuth令牌（有过期时间），这个方案不适用。
• 升级gcloud SDK到最新版本：旧版本的SDK可能在凭证存储的并发处理上有bug，执行gcloud components update升级到最新版本，可能修复锁冲突的问题。
• 临时解锁方案：如果已经出现锁定，先杀掉所有gcloud相关进程，然后删除SQLite的临时锁文件~/.config/gcloud/credentials.db-journal，再重启你的脚本。

附上你提供的错误栈：

Traceback (most recent call last): File "/usr/lib64/google-cloud-sdk/bin/bootstrapping/bq.py", line 79, in <module> exceptions.HandleError(e, 'bq') File "/usr/lib64/google-cloud-sdk/bin/bootstrapping/bq.py", line 75, in <module> bootstrapping.CheckCredOrExit() File "/usr/lib64/google-cloud-sdk/bin/bootstrapping/bootstrapping.py", line 110, in CheckCredOrExit c_store.Load() File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/store.py", line 358, in Load Refresh(cred) File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/store.py", line 377, in Refresh credentials.refresh(http_client or http.Http()) File "/usr/lib64/google-cloud-sdk/lib/third_party/oauth2client/client.py", line 571, in refresh self._refresh(http.request) File "/usr/lib64/google-cloud-sdk/lib/third_party/oauth2client/client.py", line 793, in _refresh self._do_refresh_request(http_request) File "/usr/lib64/google-cloud-sdk/lib/third_party/oauth2client/client.py", line 837, in _do_refresh_request self.store.locked_put(self) File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/creds.py", line 227, in locked_put getattr(self._credentials, 'rapt_token', None)) File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/creds.py", line 181, in Store (account_id, access_token, token_expiry, rapt_token)) File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/creds.py", line 167, in _Execute cur.Execute(*args) File "/usr/lib64/google-cloud-sdk/lib/googlecloudsdk/core/credentials/creds.py", line 106, in Execute return self._cursor.execute(*args) sqlite3.OperationalError: database is locked

内容的提问来源于stack exchange，提问作者Lison