Python中4维Xarray转换为指定5列Pandas DataFrame的问题求助

问题原因 #

你的代码长时间无响应核心有两个问题：

• 总数据量达1.3亿条，用itertools手动展开数组的方式效率极低，内存开销是官方内置方法的数倍
• 手动展开的逻辑没有正确关联坐标值，就算运行完成也得不到你需要的5列结构

正确实现方案 #

xarray内置了经过性能优化的to_dataframe()方法，会自动关联坐标与数值，无需手动处理数组结构：

import pandas as pd

# 第一步：删除不需要的坐标变量，仅保留你需要的4个维度坐标，降低内存占用
keep_coords = ['XC', 'YC', 'Z', 'time']
raw_data = raw_data.drop_vars([var for var in raw_data.coords if var not in keep_coords])

# 第二步：直接转为DataFrame，reset_index会把坐标从索引转为普通列
df = raw_data.to_dataframe().reset_index()

运行完成后你会得到刚好包含XC、YC、Z、time、TRAC045列的DataFrame，完全符合需求。

导出优化建议 #

你的原始导出代码存在格式错误、效率低的问题，按以下方式调整：

常规导出（内存足够的场景） #

如果一定要存csv格式，调整格式参数避免精度丢失：

df.to_csv(r'c:\data\DF_TRAC04.csv', index=False, float_format='%.6f')

如果仅用于后续Python读取，更推荐用parquet格式，体积是csv的1/10不到，读写速度快3-5倍：

# 导出
df.to_parquet(r'c:\data\DF_TRAC04.parquet', index=False)
# 后续读取用 pd.read_parquet(r'c:\data\DF_TRAC04.parquet') 即可

低内存场景分块导出 #

如果设备内存不足，可按time维度分块处理：

for i in range(len(raw_data.time)):
    # 每次仅处理单个time切片的数据
    sub_df = raw_data.isel(time=i).to_dataframe().reset_index()
    # 第一次导出写入表头，后续追加不重复写表头
    sub_df.to_csv(
        r'c:\data\DF_TRAC04.csv',
        index=False,
        float_format='%.6f',
        mode='w' if i == 0 else 'a',
        header=i == 0
    )

内容的提问来源于stack exchange，提问作者Strobila