Glue Job执行Redshift Upsert因VARCHAR长度限制失败的解决咨询

针对你遇到的Glue自动生成临时表VARCHAR默认长度255导致长字段插入失败的问题，以下是几个可行的解决方案：

1. 显式定义数据Schema，覆盖默认VARCHAR长度 #

在Glue脚本中手动指定字段的类型和长度，避免Glue自动推断时使用默认的255长度。通过转换为Spark DataFrame并应用自定义Schema，再转回DynamicFrame执行Upsert。

示例代码：

from awsglue.dynamicframe import DynamicFrame
from pyspark.sql.types import StructType, StructField, StringType

# 读取源数据（S3/RDS均可）
source_dyf = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"path": "s3://your-source-path/"},
    format="parquet"
)

# 定义自定义Schema，将description字段设为VARCHAR(4000)（根据实际需求调整长度）
custom_schema = StructType([
    StructField("id", StringType(), nullable=False),
    StructField("description", StringType(), nullable=True),
    # 其他字段按实际类型添加
])

# 转换为DataFrame并应用Schema，再转回DynamicFrame
source_df = source_dyf.toDF().cast(custom_schema)
updated_source_dyf = DynamicFrame.fromDF(source_df, glueContext, "updated_source")

# 执行Upsert
glueContext.write_dynamic_frame.from_jdbc_conf(
    frame=updated_source_dyf,
    catalog_connection="your-redshift-connection",
    connection_options={
        "dbtable": "target_redshift_table",
        "database": "target_db",
        "upsert": "true",
        "upsert_keys": ["id"],
        "tempdir": "s3://your-temp-bucket/temp/"
    },
    transformation_ctx="write_redshift"
)

2. 用Preaction预创建临时表，指定字段长度 #

在Upsert配置中通过preactions参数手动创建临时表，明确设置长字段的VARCHAR长度，替代Glue自动生成的临时表。

示例代码：

# 预定义临时表DDL，确保description字段长度符合需求
pre_create_temp_table = """
CREATE TEMP TABLE temp_upsert_table (
    id VARCHAR(255) NOT NULL,
    description VARCHAR(4000),
    -- 其他字段按目标表Schema定义
);
"""

# 执行Upsert，指定preactions创建临时表
glueContext.write_dynamic_frame.from_jdbc_conf(
    frame=source_dyf,
    catalog_connection="your-redshift-connection",
    connection_options={
        "dbtable": "target_redshift_table",
        "database": "target_db",
        "upsert": "true",
        "upsert_keys": ["id"],
        "preactions": pre_create_temp_table,
        "tempdir": "s3://your-temp-bucket/temp/"
    },
    transformation_ctx="write_redshift"
)

3. 绕过Glue自动Upsert，手动用COPY+MERGE实现 #

直接将数据写到S3临时目录，然后通过Redshift的COPY命令导入临时表，再执行MERGE语句完成Upsert，完全控制临时表的Schema。

示例代码：

# 将源数据写入S3临时路径
temp_s3_path = "s3://your-temp-bucket/redshift-upsert-temp/"
source_dyf.toDF().write.mode("overwrite").parquet(temp_s3_path)

# 构造COPY和MERGE SQL语句
copy_sql = f"""
COPY temp_upsert_table
FROM '{temp_s3_path}'
IAM_ROLE 'arn:aws:iam::your-account-id:role/redshift-access-role'
FORMAT AS PARQUET;
"""

merge_sql = """
MERGE INTO target_redshift_table t
USING temp_upsert_table s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET
    description = s.description,
    -- 其他需要更新的字段
WHEN NOT MATCHED THEN INSERT (id, description, ...)
VALUES (s.id, s.description, ...);
"""

# 先复制目标表Schema创建临时表
spark.sql("""
CREATE OR REPLACE TEMP VIEW temp_upsert_table AS
SELECT * FROM target_redshift_table LIMIT 0;
""")

# 执行COPY和MERGE
spark.sql(copy_sql)
spark.sql(merge_sql)

4. 在Glue Visual Studio中手动修改字段映射类型 #

如果仍想使用可视化工具，在Apply Mapping转换步骤中，找到长度超标的字段（如description），将目标字段的类型从默认的varchar(255)修改为varchar(4000)或varchar(max)，保存Job配置后重新运行。

注意事项 #

• 确保目标Redshift表的对应字段长度已设置为足够的值（如VARCHAR(4000)或VARCHAR(max)）
• 所有方案中指定的S3临时目录需确保Glue Job有读写权限
• 批量修改数百个Job时，可考虑通过Glue API或脚本批量更新Schema配置，提升效率

内容的提问来源于stack exchange，提问作者Nakul