如何高效将CFD生成的CSV网格数据转换为xarray/numpy结构化格式？

问题描述 #

我有一些由计算流体动力学（CFD）模拟生成的.csv文件，其中包含空间特定点的速度、压力、密度等场变量值。每个点的坐标及其场变量值在csv文件中占一行。以x取值为1、2、3，y取值为4、5、6的二维网格为例，数据排列方式如下：

X Y (field variables)
1 4         :
2 4         :
3 4         :
1 5         :
2 5         :
3 5         :
1 6         :
2 6         :
3 6         :

数据排列规则为：从最小的y值开始，遍历所有x值，再进入下一个y值重复此过程。
我希望将这些数据转换为结构化格式，例如存入以x和y为坐标轴的xarray数据集，或转换为合适形状的numpy ndarray（此示例中为3×3）。我可将文件加载到Pandas DataFrame后通过手动循环重构数据，但即使是中等规模的数据文件，这种方法也极其缓慢。我希望找到一种利用pandas、numpy和xarray库内置函数的更快方法。

解决方案 #

核心思路是利用Pandas/xarray的内置重塑函数，避免手动循环，充分利用库的底层优化实现高效转换。

1. 转换为Numpy数组

利用数据的排列规律，排序后直接reshape即可：

import pandas as pd
import numpy as np

# 加载CSV数据到DataFrame
df = pd.read_csv('cfd_data.csv')

# 按Y（升序）、X（升序）排序，确保匹配数据排列规则
df_sorted = df.sort_values(by=['Y', 'X'])

# 获取唯一的X、Y值，确定网格形状
x_unique = df_sorted['X'].unique()
y_unique = df_sorted['Y'].unique()
grid_shape = (len(y_unique), len(x_unique))

# 将目标场变量转换为Numpy数组（以'velocity'为例）
velocity_array = df_sorted['velocity'].values.reshape(grid_shape)

• 优势：操作简单，速度极快，适合只需要数组的场景。

2. 转换为xarray Dataset

xarray天生适配多维网格数据，支持坐标标签，后续分析更便捷：

import pandas as pd
import xarray as xr

# 加载并排序数据
df = pd.read_csv('cfd_data.csv').sort_values(by=['Y', 'X'])

# 设置X、Y为多级索引，转换为xarray Dataset并展开X维度
ds = xr.Dataset.from_dataframe(df.set_index(['Y', 'X'])).unstack('X')

# 可选：调整维度顺序为(X, Y)（默认是(Y, X)）
ds = ds.transpose('X', 'Y')

• 特性：可以直接通过坐标查询数据（如ds.sel(X=2, Y=5)），保留所有场变量的关联关系，支持后续的CFD数据可视化、分析操作。

3. 大规模数据优化

如果数据量极大，可直接用xarray读取并处理，减少中间DataFrame的内存开销：

import xarray as xr

ds = xr.read_csv('cfd_data.csv').set_index(['Y', 'X']).unstack('X')

内容的提问来源于stack exchange，提问作者K.defaoite