PySpark读取Excel时空表头列未被读取的问题求助

问题根源 #

crealytics的spark-excel库默认会自动剔除表头为空的列，这是内置的过滤逻辑，调整header、inferSchema等参数无法覆盖这个行为。

解决方案：先读取所有列，再手动处理表头 #

通过以下步骤保留所有列：

1. 不带表头读取全量数据：设置header=false，让库读取所有列（包括空表头对应的列），此时列名会被自动命名为_c0、_c1、_c2...
2. 提取原始表头并重命名列：取出第一行数据作为表头，为空的表头自定义命名（比如empty_col_1、empty_col_2），然后给DataFrame重命名列。
3. 过滤掉表头行：保留从第二行开始的实际数据。

具体代码实现 #

# 1. 不带表头读取所有列，确保空表头列被保留
raw_data = (spark.read.format("com.crealytics.spark.excel")
            .option("dataAddress", "'data'!A1")
            .option("treatEmptyValuesAsNulls", "true")
            .option("Header", "false")
            .option("inferSchema", "false")
            .load("empty_column_name_example.xlsx"))

# 2. 提取第一行作为表头
header_row = raw_data.first()
# 生成新列名：空表头的列自定义命名，非空表头保留原名称
new_column_names = []
for idx, col_name in enumerate(header_row):
    if col_name is None or col_name == "":
        new_column_names.append(f"empty_col_{idx+1}")
    else:
        new_column_names.append(col_name)

# 3. 重命名列，并过滤掉表头行
processed_data = raw_data.withColumnRenamed("_c0", new_column_names[0])
for i in range(1, len(new_column_names)):
    processed_data = processed_data.withColumnRenamed(f"_c{i}", new_column_names[i])

# 过滤表头行，保留实际数据
final_data = processed_data.filter(processed_data[new_column_names[0]] != header_row[0])

display(final_data)

补充说明 #

• 如果需要推断列类型，可以在过滤表头行后，对final_data执行类型推断操作，或者手动指定schema。
• 自定义空列名时可以根据业务需求调整命名规则，比如用业务相关的名称代替empty_col_x。

内容的提问来源于stack exchange，提问作者Emiliew