如何使用PySpark连接DB2 BLU数据库并将CSV数据导入指定表

• 提前获取DB2 JDBC驱动包，通用版本为db2jcc4.jar，需保证驱动版本和你使用的DB2 BLU服务版本兼容，避免连接报错
• 确认DB2 BLU的连接信息：数据库IP/域名、端口、数据库名、具备表读写权限的用户名、密码
• 确认要写入的目标表结构已经提前在DB2 BLU中创建完成，字段顺序、类型要和CSV文件的字段对应

第一步：加载CSV文件到PySpark DataFrame #

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType

# 初始化SparkSession，注意要指定DB2 JDBC驱动的本地路径
spark = SparkSession.builder \
    .appName("CSV2DB2BLU") \
    .config("spark.jars", "/path/to/db2jcc4.jar") \
    .getOrCreate()

# 推荐手动定义Schema，避免Spark自动推断字段类型出错，和DB2目标表字段严格对齐
custom_schema = StructType([
    StructField("id", IntegerType(), nullable=False),
    StructField("user_name", StringType(), nullable=True),
    StructField("trade_amount", DoubleType(), nullable=True)
])

# 加载CSV文件，参数根据实际CSV属性调整
csv_df = spark.read.csv(
    path="/path/to/your/source_data.csv",
    header=True, # 若CSV第一行是字段名设为True，否则设为False
    schema=custom_schema,
    sep=",", # 分隔符按需调整，比如制表符填"\t"
    encoding="utf-8"
)

# 可选：核对字段类型是否符合预期
csv_df.printSchema()

第二步：将DataFrame写入DB2 BLU数据库 #

# DB2 BLU连接配置，替换为实际参数
db2_host = "xxx.xxx.xxx.xxx"
db2_port = "50000" # DB2默认端口，有修改填实际端口
db2_database = "YOUR_DB_NAME"
db2_schema = "YOUR_SCHEMA_NAME"
db2_table = "TARGET_TABLE_NAME"
db2_user = "YOUR_USERNAME"
db2_password = "YOUR_PASSWORD"

# 拼接JDBC URL
jdbc_url = f"jdbc:db2://{db2_host}:{db2_port}/{db2_database}:currentSchema={db2_schema};"

# 连接配置
connection_properties = {
    "user": db2_user,
    "password": db2_password,
    "driver": "com.ibm.db2.jcc.DB2Driver",
    "useJDBC4ColumnNameAndLabelSemantics": "2", # 解决DB2字段名大小写敏感问题
    "batchsize": "2000" # 开启批量写入，提升大数据量写入性能
}

# 执行写入
csv_df.write.jdbc(
    url=jdbc_url,
    table=db2_table,
    mode="append", # *写入模式：append追加/overwrite覆盖/ignore忽略/error表存在就报错，按需选择*
    properties=connection_properties
)

# 关闭会话
spark.stop()

• 写入前建议先抽样验证CSV数据的完整性、合法性，避免脏数据导致写入中断
• 若出现字符乱码问题，可在JDBC URL后追加characterEncoding=utf8参数
• 写入超大数据量时，可以先对DataFrame做重分区repartition()调整并行度，提升写入效率

内容的提问来源于stack exchange，提问作者bdlogin