从本地文件读取密码传入PySpark脚本实现SAP密码统一管理的问题

你的思路非常合理——把密码集中存储在单个文件里，避免50+脚本重复修改，这能大幅降低维护成本。不过当前代码里读取密码的方式有两个问题，我帮你修正并优化：

首先，修正密码读取的错误 #

你现在写的passwd=cat /root/Documents/pwd.txt是Shell命令语法，Python无法直接识别；而注释掉的sc.textFile()虽然能读文件，但对于单个小文件来说，用Spark RDD读取有点大材小用，还会增加不必要的开销。

正确的本地文件读取方式（单个节点运行场景） #

用Python内置的文件操作读取即可，记得去掉文件里的换行符和空格：

# 读取本地密码文件，strip()移除换行符、前后空格
with open("/root/Documents/pwd.txt", "r") as f:
    passwd = f.read().strip()

集群运行场景的适配 #

如果你的Spark脚本是在集群上运行，要确保密码文件在所有执行节点的相同路径存在，或者把密码文件放到HDFS上，这时候可以用Spark读取分布式文件：

# 从HDFS读取密码文件，取第一行并清理格式
passwd = sc.textFile("hdfs:///path/to/pwd.txt").first().strip()

完整的修改后代码 #

from pyspark.context import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
from pyspark.sql.types import *

sc = SparkContext()
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.tungsten.enabled", "false")

ZTGLINT011_query = """ (select * from ZTGLINT011) a """

# 【修改这里】正确读取本地密码文件
with open("/root/Documents/pwd.txt", "r") as f:
    passwd = f.read().strip()

ZTGLINT011 = sqlContext.read.format("jdbc").options(
    url="jdbc:sap://myIP:30015",
    currentschema="SAPABAP1",
    user="loginName",
    password=passwd,
    dbtable=ZTGLINT011_query
).load()

ZTGLINT011.write.format("parquet").save("/user/admin/sqoop/base/sap/ZTGLINT011/")

进阶优化：封装密码读取逻辑 #

既然有50+脚本，你可以把密码读取的逻辑封装成一个独立的Python模块，进一步降低重复代码：

1. 创建sap_config.py文件：

def get_sap_password():
    """读取SAP连接密码的通用函数"""
    with open("/root/Documents/pwd.txt", "r") as f:
        return f.read().strip()

# 还可以把其他SAP连接参数（比如URL、用户名）也放这里统一管理
SAP_JDBC_URL = "jdbc:sap://myIP:30015"
SAP_SCHEMA = "SAPABAP1"
SAP_USER = "loginName"

2. 每个脚本里调用这个模块：

from pyspark.context import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
from pyspark.sql.types import *
from sap_config import get_sap_password, SAP_JDBC_URL, SAP_SCHEMA, SAP_USER

sc = SparkContext()
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.tungsten.enabled", "false")

ZTGLINT011_query = """ (select * from ZTGLINT011) a """
passwd = get_sap_password()

ZTGLINT011 = sqlContext.read.format("jdbc").options(
    url=SAP_JDBC_URL,
    currentschema=SAP_SCHEMA,
    user=SAP_USER,
    password=passwd,
    dbtable=ZTGLINT011_query
).load()

ZTGLINT011.write.format("parquet").save("/user/admin/sqoop/base/sap/ZTGLINT011/")

这样以后不仅密码，连其他SAP连接参数改起来也只需要修改sap_config.py这一个文件，维护效率更高。

重要安全提示 #

• 一定要给密码文件设置严格的权限：chmod 600 /root/Documents/pwd.txt，确保只有运行脚本的用户能读取，避免密码泄露。
• 如果是生产环境，更推荐用企业级的密钥管理服务来存储密码，不过如果是中小型场景，明文文件加严格权限也能满足需求。

内容的提问来源于stack exchange，提问作者Ankit