Docker环境PySpark使用Simba JDBC连接BigQuery空指针异常求助

你遇到的NullPointerException出现在Spark解析JDBC表元数据的阶段，可按以下顺序排查：

• 首先检查未定义的my_query变量：代码中直接给dbtable参数传入了未赋值的my_query，空值传入JDBC表解析逻辑是触发本次报错的最高概率原因。dbtable参数可传入完整表名（格式为项目ID.数据集ID.表名），或者用括号包裹的子查询语句。
• 移除重复的上下文初始化逻辑：你先单独初始化了SparkContext，后续又通过SparkSession.builder创建会话，两次配置的master参数不一致（前者为local[*]后者为local），可能造成配置冲突。直接通过SparkSession.builder统一配置所有参数即可，无需单独创建SparkContext。
• 修正JDBC URL的格式：你用三引号定义的JDBC URL包含首尾换行符，可能导致驱动解析参数失败，定义时追加.strip()去掉首尾空白字符。
• 确认Jar包加载正常：先打印my_jar_str检查glob读取的Jar列表是否完整，Simba JDBC压缩包内的所有Jar（包括驱动本身、第三方依赖包）都需要被加载，同时确认Docker容器内/root/Downloads/BigQuery/simba_jdbc_1.2.4.1007/路径确实存在，且Spark进程有读取权限。
• 验证服务账号密钥路径：确认/workspaces/code/secrets/etl.json路径在Docker容器内存在，且Spark的Driver进程有读取权限，若使用分布式运行模式，还需要确保所有Executor节点都能访问该路径，或者将密钥文件上传到Spark的files列表中同步分发。

修正后参考代码 #

import pyspark
from pyspark.sql import SparkSession
from glob import glob

# 加载所有Simba相关Jar包
my_jar = glob('/root/Downloads/BigQuery/simba_jdbc_1.2.4.1007/*.jar')
my_jar_str = ','.join(my_jar)
# 打印确认Jar列表正确
print("加载的Jar包列表：", my_jar_str)

# 统一通过SparkSession初始化配置
spark = SparkSession \
    .builder \
    .master('local[*]') \
    .appName('spark-read-from-bigquery') \
    .config("spark.jars", my_jar_str)\
    .config("spark.executor.extraClassPath", my_jar_str) \
    .config("spark.driver.extraClassPath", my_jar_str) \
    .getOrCreate()

# 定义查询语句/目标表，这里替换为你实际的表名或者查询SQL
my_query = "your_project_id.your_dataset_id.your_table_name"
# 子查询写法示例：my_query = "(SELECT col1, col2 FROM dataset.table WHERE col1 > 100) AS t"

# 生成JDBC URL，去掉首尾空白
myJDBC = '''
jdbc:bigquery://https://www.googleapis.com/bigquery/v2:443;OAuthType={OAuthType};ProjectId={ProjectId};OAuthServiceAcctEmail={OAuthServiceAcctEmail};OAuthPvtKeyPath={OAuthPvtKeyPath};
'''.format(
    OAuthType=0, 
    ProjectId='替换为你的实际项目ID', 
    OAuthServiceAcctEmail="etl@dProjectId.iam.gserviceaccount.com",
    OAuthPvtKeyPath="/workspaces/code/secrets/etl.json"
).strip()

# 读取数据
pgDF = spark.read \
    .format("jdbc") \
    .option("url", myJDBC) \
    .option("driver", "com.simba.googlebigquery.jdbc42.Driver") \
    .option("dbtable", my_query) \
    .load()

# 测试打印数据
pgDF.show(5)

内容的提问来源于stack exchange，提问作者fromSAS2Spark