Python云函数从云存储加载CSV到BigQuery时出现'client'未定义错误
Cloud Storage导数据到BigQuery的NameError报错修复
报错根因
出现NameError: name 'client' is not defined和依赖版本、API权限都没关系,纯粹是代码缩进结构错乱,变量作用域不匹配:
- 原代码里
client = bigquery.Client()是my_function函数内部的局部变量,只有函数运行的局部上下文里才能访问到。 - 但后续用到
client的load_job初始化、表查询等代码全部没有缩进进函数块,被Python当成了模块级别的全局代码。模块加载时执行到这部分代码,全局作用域里根本找不到client变量,直接抛出未定义错误。 - 额外的小问题:原代码在模块最末尾直接写了
my_function()强制调用,会导致模块加载阶段就触发函数执行,和云函数框架的运行逻辑冲突。
具体修复操作
- 统一把所有业务逻辑代码(BigQuery客户端初始化、表配置、加载任务定义、GCS路径声明、任务执行校验)全部缩进至
my_function函数块内,保证client变量的作用域覆盖所有引用它的代码位置,缩进统一使用4个空格,避免混用制表符导致的解析错误。 - 删除模块末尾手动调用的
my_function()语句:Cloud Functions运行框架会根据部署时配置的入口点自动触发对应函数,不需要手动在模块加载阶段执行调用。 - 确认部署时的入口点配置为
my_function,不要选错目标函数。
修复后的可运行代码
def my_function(event=None, context=None): print("step-1") from google.cloud import bigquery print("step0") # 初始化BigQuery客户端 client = bigquery.Client() print("step1") # 目标BigQuery表ID table_id = "project-a-307309:DatasetA.TableD" print("step2") # 加载任务配置 job_config = bigquery.LoadJobConfig( schema=[ bigquery.SchemaField("Column_A", "STRING"), bigquery.SchemaField("Column_B", "STRING"), bigquery.SchemaField("Column_C", "STRING"), bigquery.SchemaField("Column_D", "STRING"), bigquery.SchemaField("Column_E", "STRING"), ], skip_leading_rows=1, source_format=bigquery.SourceFormat.CSV, ) # 源CSV文件GCS路径 uri = "gs://bq_dummy_data/Big Query Dummy Data.csv" # 发起加载请求 load_job = client.load_table_from_uri( uri, table_id, job_config=job_config ) # 阻塞等待任务执行完成 load_job.result() # 输出加载结果 destination_table = client.get_table(table_id) print("Loaded {} rows.".format(destination_table.num_rows))
额外排查提示
原配置的
requirements.txt依赖版本没有逻辑冲突,不需要调整。如果修复缩进问题后遇到权限类报错,需要检查云函数关联的服务账号是否具备BigQuery表写入、Cloud Storage对象读取的最小权限。
内容的提问来源于stack exchange,提问作者awanish dwivedi
相关产品推荐
相关产品推荐

