PySpark通过JDBC覆写Teradata表时varchar长度限制问题求助

原因 #

Teradata JDBC驱动默认会将Spark的StringType映射为varchar(255)，无论源数据字段的实际定义长度，这就导致BigQuery中varchar(1024)的字段被压缩为255长度。

解决方案 #

1. 手动指定建表字段类型（推荐） #

在写入JDBC时，通过createTableColumnTypes参数明确指定每个字段的类型和长度，覆盖驱动的默认映射逻辑。

示例代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("BigQueryToTeradata").getOrCreate()

# 读取BigQuery源表数据
df = spark.read.format("bigquery") \
    .option("table", "your_project.your_dataset.source_table") \
    .load()

# 定义目标表的字段类型映射，确保需要的字段设为varchar(1024)
column_type_mapping = {
    "id": "INT",
    "long_content": "VARCHAR(1024)",
    "create_time": "TIMESTAMP"
}
# 转换为JDBC要求的字符串格式
create_table_cols = ",".join([f"{col} {dtype}" for col, dtype in column_type_mapping.items()])

# 写入Teradata
df.write.format("jdbc") \
    .option("url", "jdbc:teradata://TERADATA_HOST/database=YOUR_DB") \
    .option("dbtable", "target_table") \
    .option("user", "YOUR_USER") \
    .option("password", "YOUR_PWD") \
    .option("driver", "com.teradata.jdbc.TeraDriver") \
    .option("createTableColumnTypes", create_table_cols) \
    .mode("overwrite") \
    .save()

2. 全局调整Spark JDBC字符串默认长度 #

通过Spark配置spark.sql.jdbc.varchar.maxlength统一设置JDBC写入时字符串类型的默认长度，该配置会影响所有JDBC写入操作，适合所有字符串字段都需要保留较长长度的场景。

示例代码：

spark = SparkSession.builder \
    .appName("BigQueryToTeradata") \
    .config("spark.sql.jdbc.varchar.maxlength", "1024") \
    .getOrCreate()

# 读取BigQuery数据
df = spark.read.format("bigquery") \
    .option("table", "your_project.your_dataset.source_table") \
    .load()

# 写入Teradata，无需额外指定字段类型
df.write.format("jdbc") \
    .option("url", "jdbc:teradata://TERADATA_HOST/database=YOUR_DB") \
    .option("dbtable", "target_table") \
    .option("user", "YOUR_USER") \
    .option("password", "YOUR_PWD") \
    .option("driver", "com.teradata.jdbc.TeraDriver") \
    .mode("overwrite") \
    .save()

3. 预先在Teradata创建目标表 #

如果不需要Spark自动建表，可以先在Teradata中手动创建好带有正确字段长度的表，之后Spark直接写入即可，避免类型映射问题。

Teradata建表示例：

CREATE TABLE target_table (
    id INT,
    long_content VARCHAR(1024),
    create_time TIMESTAMP
);

Spark写入代码：

df.write.format("jdbc") \
    .option("url", "jdbc:teradata://TERADATA_HOST/database=YOUR_DB") \
    .option("dbtable", "target_table") \
    .option("user", "YOUR_USER") \
    .option("password", "YOUR_PWD") \
    .option("driver", "com.teradata.jdbc.TeraDriver") \
    .mode("overwrite") \
    .save()

内容的提问来源于stack exchange，提问作者Keerthi