You need to enable JavaScript to run this app. PySpark跨文件访问变量:正确获取Spark_connect_1类的_port等配置
优惠活动
大模型
产品
解决方案
定价
更多

PySpark跨文件访问变量:正确获取Spark_connect_1类的_port等配置

PySpark跨文件获取MySQL连接参数的实现方案

原代码的核心问题

  • 原Spark_connect_1类中定义的connection是普通实例方法,直接通过类名访问Spark_connect_1.connection拿到的是方法对象本身,既不会执行方法内部的逻辑,也无法获取方法执行后才生成的返回值。
  • 方法内部定义的_username、_pass、_host、_port全是方法运行时的临时局部变量,方法执行结束后就会被内存回收,不存在可跨文件、跨方法访问的属性入口,自然无法通过类名直接引用。
  • 原JDBC配置的url拼接逻辑存在类型错误:直接把代表SparkSession的返回值和端口号字符串拼接,会触发类型不匹配的报错。

分文件调整方案

1. 修改spark_conn.py结构

把数据库连接参数从方法内部的局部变量提升为类可访问的属性,拆分连接参数获取、SparkSession初始化、JDBC URL生成的职责,避免逻辑混乱:

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType,StructField, StringType, IntegerType,BooleanType,DoubleType
from aws_config import *
from Table_structure import*

class Spark_connect_1:
    # 类初始化阶段统一拉取一次密钥配置,避免重复调用接口
    _secret_config = get_secret()
    _username = _secret_config['username']
    _pass = _secret_config['password']
    _host = _secret_config['host']
    _port = _secret_config['port']
    _dbname = _secret_config['dbname']

    @classmethod
    def get_jdbc_url(cls) -> str:
        # 统一生成合规的MySQL JDBC连接地址,避免跨文件零散拼接出错
        return f"jdbc:mysql://{cls._host}:{cls._port}/{cls._dbname}?useSSL=false&characterEncoding=utf8&serverTimezone=UTC"

    @classmethod
    def get_spark_session(cls, app_name: str = "JSON_MYSQL") -> SparkSession:
        # 单独封装SparkSession初始化逻辑
        return SparkSession.builder \
            .master("local[1]") \
            .appName(app_name) \
            .getOrCreate()

2. 调整sk_read_write.py的调用逻辑

替换原来错误的属性访问写法,调用封装好的类方法获取配置和SparkSession:

from spark_conn import *
from Table_structure import *

class read_write1:
    def sk_read_write1(self, schema):
        # 调用类方法获取SparkSession,不再依赖外部传入参数避免逻辑割裂
        spark = Spark_connect_1.get_spark_session()
        df3 = spark.read.option("multiline", "true").option("mode", "PERMISSIVE").schema(schema).json(
            "C:\\Users\\komu0\\Desktop\\Read\\*.json"
        )
        # 直接使用封装好的JDBC配置参数,不需要零散访问临时变量
        df3.write.format('jdbc').options(
            url=Spark_connect_1.get_jdbc_url(),
            driver='com.mysql.cj.jdbc.Driver',
            dbtable='sparktable',
            user=Spark_connect_1._username,
            password=Spark_connect_1._pass
        ).mode('append').save()

调整后的运行逻辑

  • 只要模块导入,类属性就会完成初始化,所有数据库连接参数都可以通过类名.属性名的方式跨文件访问,不会出现局部变量访问不到的问题。
  • 用类方法封装的能力不需要额外实例化类,直接调用就可以拿到SparkSession和组装好的JDBC连接信息,避免原来“将方法对象直接当属性访问”的逻辑错误。
  • 统一在连接配置类里生成JDBC URL,不会出现拼接格式错误、类型不匹配的问题。

内容的提问来源于stack exchange,提问作者asd

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 04:24:01