在Synapse中用PySpark自定义Schema创建支持大字段的Delta表

当前方法的合理性判断 #

直接将CSV转Parquet后依赖自动推断Schema创建ICE表的方法不合理。核心原因是Synapse Lake Database在自动推断Parquet文件的字符串列类型时，默认会设置为VARCHAR(8000)，这会导致长度超过8000的字段被截断，完全无法满足你对长文本（30000字符）和CLOB列的需求。

正确实现方案 #

要解决类型截断问题，核心是手动定义精确的Schema，跳过自动推断的限制。以下是两种可行的实现路径：

路径1：直接从CSV创建Delta表（推荐） #

跳过Parquet中间步骤，直接用Spark读取CSV时指定自定义Schema，然后写入Delta格式并在Synapse中注册表，避免类型信息丢失。

示例代码（PySpark）：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType

# 定义与业务匹配的Schema，替换为你的实际列名和类型
custom_schema = StructType([
    StructField("record_id", IntegerType(), nullable=True),
    StructField("create_time", TimestampType(), nullable=True),
    StructField("normal_desc", StringType(), nullable=True),
    StructField("long_content", StringType(), nullable=True),  # 对应VARCHAR(30000)或MAX
    StructField("clob_content", StringType(), nullable=True)   # CLOB用STRING映射VARCHAR(MAX)
])

# 读取CSV，强制使用自定义Schema
csv_df = spark.read.csv(
    path="abfss://<your-container>@<your-storage>.dfs.core.windows.net/csv-files/",
    schema=custom_schema,
    header=True,
    sep=",",
    inferSchema=False  # 必须关闭自动推断
)

# 写入Delta格式到存储路径
csv_df.write.format("delta").mode("overwrite").save(
    "abfss://<your-container>@<your-storage>.dfs.core.windows.net/delta-tables/your-table/"
)

# 在Synapse Lake Database的default schema下注册Delta表
spark.sql("""
CREATE TABLE IF NOT EXISTS default.your_delta_table
USING DELTA
LOCATION 'abfss://<your-container>@<your-storage>.dfs.core.windows.net/delta-tables/your-table/'
""")

路径2：保留Parquet中间步骤（若必须使用） #

如果业务流程要求先转Parquet，同样需要先指定Schema读取CSV，再写入Parquet，最后建表时显式声明列类型，不依赖自动推断。

示例代码：

# 步骤1：用自定义Schema读取CSV并写入Parquet
csv_df.write.format("parquet").mode("overwrite").save(
    "abfss://<your-container>@<your-storage>.dfs.core.windows.net/parquet-files/your-table/"
)

# 步骤2：在Synapse中显式指定Schema创建ICE表
spark.sql("""
CREATE TABLE IF NOT EXISTS default.your_ice_table (
    record_id INT,
    create_time DATETIME,
    normal_desc VARCHAR(1000),
    long_content VARCHAR(30000),
    clob_content VARCHAR(MAX)
)
USING ICEBERG
LOCATION 'abfss://<your-container>@<your-storage>.dfs.core.windows.net/parquet-files/your-table/'
""")

关键类型映射说明 #

在Synapse Lake Database中，Spark类型与SQL类型的对应关系需注意：

• Spark TimestampType → Synapse DATETIME
• Spark IntegerType → Synapse INT
• Spark StringType → Synapse VARCHAR(MAX)（若需固定30000长度，建表时显式写VARCHAR(30000)）
• CLOB列直接用VARCHAR(MAX)即可兼容，支持存储超大文本数据

内容的提问来源于stack exchange，提问作者Vikram Singh Yadav