将DataFrame列写入文本文件时如何去除空格填充

核心方案 #

放弃通过填充空格实现左对齐的方式，直接对字段值和列名去除左右空格后，拼接成无冗余空格的INSERT语句，既满足去空格要求，又保证文件体积紧凑。

具体实现步骤 #

1. Spark DataFrame转Pandas并预处理数据 #

先完成格式转换，同时对所有字符串字段执行去空格操作：

import pandas as pd
from pyspark.sql import SparkSession

# 初始化Spark会话（按需调整配置）
spark = SparkSession.builder.appName("spark_to_pandas").getOrCreate()

# 假设已有目标Spark DataFrame：spark_df
pandas_df = spark_df.toPandas()

# 对字符串类型字段去除左右空格，非字符串字段保持原样
pandas_df = pandas_df.apply(lambda col: col.str.strip() if col.dtype == "object" else col)

2. 生成无冗余空格的INSERT语句 #

直接拼接列名和处理后的字段值，无需填充额外空格：

# 对列名也执行去空格处理
clean_columns = [col.strip() for col in pandas_df.columns]
columns_str = ", ".join(clean_columns)

insert_lines = []
for _, row in pandas_df.iterrows():
    value_list = []
    for col in clean_columns:
        val = row[col]
        # 处理空值
        if pd.isna(val):
            value_list.append("NULL")
        # 处理字符串类型，转义单引号避免SQL语法错误
        elif isinstance(val, str):
            escaped_val = val.replace("'", "''")
            value_list.append(f"'{escaped_val}'")
        # 处理数值等非字符串类型
        else:
            value_list.append(str(val))
    values_str = ", ".join(value_list)
    insert_lines.append(f"INSERT INTO your_table_name ({columns_str}) VALUES ({values_str});")

3. 写入文本文件 #

将生成的语句按行写入文件：

with open("compact_inserts.sql", "w", encoding="utf-8") as f:
    f.write("\n".join(insert_lines))

关键细节说明 #

• 列名和字段值的去空格操作直接在拼接前完成，避免了后续填充冗余空格的问题。
• 字符串类型的单引号转义是必要操作，防止出现SQL语法错误或注入风险。
• 这里的“列左对齐”是指列名在语句中按自然顺序排列，无多余空格，完全满足紧凑格式要求。

内容的提问来源于stack exchange，提问作者Rebecca