Synapse Notebook：读取含受限字符列名的CSV转Parquet报错求助

批量清洗列名（通用解决方案） #

直接遍历所有列名，替换掉Spark/Synapse禁止的 ,;{}()\n\t=字符，推荐用下划线_替代，还可以处理连续下划线避免冗余：

def clean_col_name(col_name):
    # 遍历所有非法字符并替换为下划线
    for char in " ,;{}()\n\t=":
        col_name = col_name.replace(char, "_")
    # 移除连续下划线和首尾下划线
    col_name = "_".join(filter(None, col_name.split("_")))
    return col_name

# 对DataFrame的列批量重命名
df_cleaned = df.toDF(*[clean_col_name(col) for col in df.columns])

# 打印Schema验证结果
df_cleaned.printSchema()

单独重命名特定列 #

如果只有少数列有问题，用withColumnRenamed精准修改：

# 将含方括号的列名替换为合法名称
df_cleaned = df.withColumnRenamed("xxxxx [xxxxxxxx]", "xxxxx_xxxxxxxx")

加载CSV时提前处理（预防方案） #

虽然你已经生成DataFrame，但可以补充这个方案避免后续重复踩坑：加载CSV时直接清洗列名，不用先加载再处理：

# 先读取表头获取列名，清洗后再加载全量数据
temp_df = spark.read.csv("your_csv_path.csv", header=True)
cleaned_cols = [clean_col_name(col) for col in temp_df.columns]

df = spark.read.csv(
    "your_csv_path.csv",
    header=True,
    inferSchema=True
).toDF(*cleaned_cols)

注意事项 #

• 替换后要确保列名唯一，避免不同原列名清洗后出现重复。
• 下划线是Spark列名的安全替代字符，不会触发任何命名限制。

内容的提问来源于stack exchange，提问作者david