如何在Python中高效读取含复杂多行数据的文本文件？

面临的挑战 #

我的数据集里单条数据以多行形式存在，前两条示例如下：

[array([[ 1,  0,  0,  0,  0],
       [ 0,  1,  0,  0,  0],
       [ 0,  0,  1,  0,  0],
       [ 1,  0, -1,  0,  0],
       [ 0,  0,  0,  1,  0],
       [ 0,  0,  0,  0,  1],
       [-2, -1,  0, -1, -1],
       [-2, -2,  0, -1,  0]]), 24, 4, 0, 232, 988, 1464, 10, 8, 246, 12]
[array([[ 1,  0,  0,  0,  0],
       [-1,  0,  0,  0,  0],
       [ 0,  1,  0,  0,  0],
       [ 0,  0,  1,  0,  0],
       [ 0,  0,  0,  1,  0],
       [-1, -1,  0,  1,  0],
       [ 0,  0,  0,  0,  1],
       [ 0, -2, -2, -2, -1]]), 28, 4, 0, 244, 1036, 1536, 10, 8, 260, 13]
...

数据由CAS生成，调整输出格式的空间有限，且文件体积较大，后续可能增长至3GB。

已尝试的方法 #

• 使用np.genfromtxt('polytopes_5d_reflexive.txt')读取，无法正常运行
• 常规逐行读取不适用，因为单条数据的行数不固定

背景 #

我们自行生成五维多面体的数学数据，用于研究顶点数、体积等属性。不需要现成解决方案，仅需思路启发。

内容的提问来源于stack exchange，提问作者Eldar Sultanow