Python优化Ansys VFOPT生成的大体积viewfactor文件解析速度

问题背景 #

需读取Ansys（VFOPT生成）的viewfactor.db文件，转换为6982×6982的Python二维数组。文件大小从数MB到数十GB不等，格式示例如下：

Ansys Release 2020 R2          Build 20.2  Update 20200601  Format     0
RS3D

Number of Enclosures =        1

Enclosure Number =        1 Number of Surfaces =     6982
Element number =    28868 Face Number     2 TOTAL= 1.0000
  0.0000 0.0000 0.0000 0.0029 0.0056 0.0000 0.0000 0.0105 0.0000 0.0000
  0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
  0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
  (numbers numbers numbers)
  0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
  0.0000 0.0000

Element number =    28869 Face Number     2 TOTAL= 1.0000
  0.0000 0.0000 0.0000 0.0029 0.0056 0.0000 0.0000 0.0105 0.0000 0.0000
  0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
  etc etc

每个元素的视因子数值每行10个（最后一行可能不足），之后有两行可忽略内容，接着是下一个元素。当前代码可运行但速度极慢，处理350MB文件需约50秒：

import numpy as np

# 文件读取较快，仅需几秒
with open('viewfactor.db', 'r') as f:
    lines = f.read().splitlines()

nfaces = 6982 # 已知表面数量
vf = [[None] * nfaces] * nfaces
row = 0
col = 0

# 需优化的部分
for line in lines[7:]:
    if line == '': continue
    elif line.startswith('Element number'): # 重置计数器
        row += 1
        col = 0
    else: # 保存数值
        nums = list(map(float, line.split()))
        vf[row][col:col+len(nums)] = nums
        col += len(nums)
vf = np.array(vf)

以下是针对性的优化方案：

优化方案 #

1. Numpy直接读取重塑（无Python循环） #

核心思路：跳过无关行，提取所有数值后直接重塑为目标二维数组。利用numpy的C底层实现，大幅提升效率。

import numpy as np

nfaces = 6982
total_values = nfaces * nfaces

with open('viewfactor.db', 'r') as f:
    # 跳过前7行
    for _ in range(7):
        next(f)
    # 收集所有有效数值行
    data_segments = []
    for line in f:
        stripped_line = line.strip()
        if not stripped_line or stripped_line.startswith('Element number'):
            continue
        data_segments.append(stripped_line)

# 合并所有数值字符串，直接转为numpy数组并重塑
all_values = np.fromstring(' '.join(data_segments), dtype=np.float64, sep=' ')
vf = all_values.reshape(nfaces, nfaces)

优势：完全规避Python循环，350MB文件处理时间可压缩至几秒内。

2. 分块读取（适配超大型文件） #

针对数十GB级别的文件，避免一次性加载所有数据到内存，采用逐元素块读取的方式：

import numpy as np

nfaces = 6982
values_per_row = nfaces
lines_per_row = (values_per_row + 9) // 10  # 每个元素对应的行数（每行10个值）

vf = np.zeros((nfaces, nfaces), dtype=np.float64)

with open('viewfactor.db', 'r') as f:
    # 跳过前7行
    for _ in range(7):
        next(f)
    
    current_row = 0
    while current_row < nfaces:
        # 定位到元素标题行
        while True:
            line = next(f)
            if line.strip().startswith('Element number'):
                break
        # 读取当前元素的所有数值行
        row_data = []
        for _ in range(lines_per_row):
            line = next(f).strip()
            if not line:
                continue
            row_data.extend(map(float, line.split()))
        # 赋值到数组
        vf[current_row] = row_data[:values_per_row]
        current_row += 1
        # 跳过元素块末尾的空行
        try:
            while next(f).strip() == '':
                pass
        except StopIteration:
            pass

优势：内存占用可控，仅需加载单元素块的数据，适合超大型文件处理。

3. Numba JIT编译（保留原有逻辑） #

用numba将Python循环编译为机器码，在保留原有逻辑的前提下提升速度：

import numpy as np
from numba import jit

nfaces = 6982
vf = np.zeros((nfaces, nfaces), dtype=np.float64)

with open('viewfactor.db', 'r') as f:
    lines = f.read().splitlines()

@jit(nopython=True)
def fill_vf(lines, vf, nfaces):
    row = 0
    col = 0
    for line in lines[7:]:
        stripped_line = line.strip()
        if not stripped_line:
            continue
        if stripped_line.startswith('Element number'):
            row += 1
            col = 0
            continue
        nums = np.fromstring(stripped_line, dtype=np.float64, sep=' ')
        vf[row, col:col+len(nums)] = nums
        col += len(nums)
    return vf

vf = fill_vf(lines, vf, nfaces)

优势：无需大幅修改原有代码，循环速度接近C语言级别。

4. 并行计算的局限性说明 #

此场景下并行计算收益有限：文件读取是IO密集型操作，多线程读取易引发磁盘竞争反而变慢；而numpy的数组操作本身已做了底层并行优化。仅当处理超大型文件且需分块并行处理时，可考虑多进程分块读取，但实现复杂度较高，常规场景不推荐。

内容的提问来源于stack exchange，提问作者man-teiv