如何使用Numpy读取文本文件并转换其中数组为Numpy数组

针对你遇到的带方括号多块数据转Numpy数组的问题，numpy.loadtxt因为对文本格式要求严格，确实没法直接处理这种带括号和换行的结构，下面给你两种实用的解决方法：

一、处理本地文本文件的方案 #

先对文本做预处理，提取每个方括号内的内容，再转成数组：

import numpy as np

# 读取文件全部内容
with open('你的数据文件.txt', 'r', encoding='utf-8') as f:
    full_content = f.read()

# 按方括号分割，筛选出有效数据块（去掉空内容）
data_blocks = [block.strip() for block in full_content.split('[]') if block.strip()]

# 逐个处理数据块转Numpy数组
result_arrays = []
for block in data_blocks:
    # 把换行换成空格，去掉末尾多余的逗号
    cleaned_data = block.replace('\n', ' ').rstrip(',')
    # 用fromstring直接加载清洗后的字符串
    numpy_array = np.fromstring(cleaned_data, sep=',', dtype=np.float64)
    result_arrays.append(numpy_array)

# 验证结果
for idx, arr in enumerate(result_arrays):
    print(f"第{idx+1}个数组：形状{arr.shape}，前5个元素：{arr[:5]}")

为什么不用loadtxt？ #

loadtxt适合处理每行结构一致的纯数值文本，而你的数据被方括号分割成块，还存在换行断行的情况，预处理后用fromstring更灵活，能直接解析逗号分隔的数值字符串。

二、适配实时数据馈送的优化方案 #

如果后续要处理每秒收到的数据包，不需要读文件，直接逐字符监听数据块的开始和结束标记即可，避免整段数据处理的延迟：

import numpy as np
# 这里假设用socket接收实时数据，你可以换成自己的数据源
import socket

# 初始化连接（示例）
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('你的数据源地址', 端口号))

current_chunk = []
is_in_block = False

while True:
    # 逐段接收数据
    received_data = sock.recv(1024).decode('utf-8')
    if not received_data:
        break
    
    # 逐字符解析，识别方括号边界
    for char in received_data:
        if char == '[':
            is_in_block = True
            current_chunk = []
        elif char == ']':
            is_in_block = False
            # 处理当前完成的数据块
            cleaned_chunk = ''.join(current_chunk).replace('\n', ' ').rstrip(',')
            new_array = np.fromstring(cleaned_chunk, sep=',', dtype=np.float64)
            print(f"收到新数据块：形状{new_array.shape}")
            # 这里添加你的实时处理逻辑
        elif is_in_block:
            current_chunk.append(char)

注意事项 #

• 如果数据可能包含异常字符，要加try-except捕获错误，避免程序崩溃
• 可以根据实际需求调整dtype，比如用np.float32减少内存占用
• 实时场景下，这种逐字符解析的方式能解决数据包拆分的问题（比如一个数据块被分成两次接收）

内容的提问来源于stack exchange，提问作者PhotatoSalad