PySpark跨文件访问变量:正确获取Spark_connect_1类的_port等配置
PySpark跨文件获取MySQL连接参数的实现方案
原代码的核心问题
- 原
Spark_connect_1类中定义的connection是普通实例方法,直接通过类名访问Spark_connect_1.connection拿到的是方法对象本身,既不会执行方法内部的逻辑,也无法获取方法执行后才生成的返回值。 - 方法内部定义的
_username、_pass、_host、_port全是方法运行时的临时局部变量,方法执行结束后就会被内存回收,不存在可跨文件、跨方法访问的属性入口,自然无法通过类名直接引用。 - 原JDBC配置的url拼接逻辑存在类型错误:直接把代表SparkSession的返回值和端口号字符串拼接,会触发类型不匹配的报错。
分文件调整方案
1. 修改spark_conn.py结构
把数据库连接参数从方法内部的局部变量提升为类可访问的属性,拆分连接参数获取、SparkSession初始化、JDBC URL生成的职责,避免逻辑混乱:
from pyspark.sql import SparkSession from pyspark.sql.types import StructType,StructField, StringType, IntegerType,BooleanType,DoubleType from aws_config import * from Table_structure import* class Spark_connect_1: # 类初始化阶段统一拉取一次密钥配置,避免重复调用接口 _secret_config = get_secret() _username = _secret_config['username'] _pass = _secret_config['password'] _host = _secret_config['host'] _port = _secret_config['port'] _dbname = _secret_config['dbname'] @classmethod def get_jdbc_url(cls) -> str: # 统一生成合规的MySQL JDBC连接地址,避免跨文件零散拼接出错 return f"jdbc:mysql://{cls._host}:{cls._port}/{cls._dbname}?useSSL=false&characterEncoding=utf8&serverTimezone=UTC" @classmethod def get_spark_session(cls, app_name: str = "JSON_MYSQL") -> SparkSession: # 单独封装SparkSession初始化逻辑 return SparkSession.builder \ .master("local[1]") \ .appName(app_name) \ .getOrCreate()
2. 调整sk_read_write.py的调用逻辑
替换原来错误的属性访问写法,调用封装好的类方法获取配置和SparkSession:
from spark_conn import * from Table_structure import * class read_write1: def sk_read_write1(self, schema): # 调用类方法获取SparkSession,不再依赖外部传入参数避免逻辑割裂 spark = Spark_connect_1.get_spark_session() df3 = spark.read.option("multiline", "true").option("mode", "PERMISSIVE").schema(schema).json( "C:\\Users\\komu0\\Desktop\\Read\\*.json" ) # 直接使用封装好的JDBC配置参数,不需要零散访问临时变量 df3.write.format('jdbc').options( url=Spark_connect_1.get_jdbc_url(), driver='com.mysql.cj.jdbc.Driver', dbtable='sparktable', user=Spark_connect_1._username, password=Spark_connect_1._pass ).mode('append').save()
调整后的运行逻辑
- 只要模块导入,类属性就会完成初始化,所有数据库连接参数都可以通过
类名.属性名的方式跨文件访问,不会出现局部变量访问不到的问题。 - 用类方法封装的能力不需要额外实例化类,直接调用就可以拿到SparkSession和组装好的JDBC连接信息,避免原来“将方法对象直接当属性访问”的逻辑错误。
- 统一在连接配置类里生成JDBC URL,不会出现拼接格式错误、类型不匹配的问题。
内容的提问来源于stack exchange,提问作者asd
相关产品推荐
相关产品推荐

