如何读取在线分段大文件并处理文件间首尾行衔接以执行分析

需求：对拆分后的π十进制分段大文件应用指定函数分析，既要单独处理每个文件，还要用上一个文件的最后100行与下一个文件的前100行拼接后做分析，已有单个文件的分析代码，求实现方法。

原代码（中文注释版） #

import sympy
from urllib.request import urlopen

def prime_palindromo(number, number_size):
    k = number_size
    list_number = list(str(number))
    for j, item in enumerate(list_number):
        # 截取当前起始位置开始的指定长度数字段
        iterate_lst = list_number[j:k]
        # 判断是否为指定长度的回文数且是质数
        if iterate_lst == iterate_lst[::-1] and len(iterate_lst) == number_size and sympy.isprime(int(''.join(iterate_lst))):
            return f"在π的十进制数中，找到的第一个{number_size}位回文质数是：{int(''.join(iterate_lst))}"
            break
        k += 1

# 指定要查找的回文质数位数
number_size = 21

# 单个文件示例URL
url = 'https://archive.org/download/pi_dec_1t/pi_dec_1t_01.zip/pi_dec_1t_01.txt'
response = urlopen(url)
filename = f'pi_dec_1t_01.txt'

with open(filename, 'wb') as fp:
    while True:
        chunk = response.read()  # 读取数据块
        palindrom_number = prime_palindromo(chunk, number_size)
        if palindrom_number:
            print(palindrom_number)  # 对数据块应用分析函数
        if not chunk:
            break

实现方案 #

核心是留存上一个文件的末尾内容，处理下一个文件时先拼接衔接段分析，再处理当前文件主体。

1. 整理文件序列 #

先把所有分段文件的URL按顺序列成列表：

file_urls = [
    'https://archive.org/download/pi_dec_1t/pi_dec_1t_01.zip/pi_dec_1t_01.txt',
    'https://archive.org/download/pi_dec_1t/pi_dec_1t_02.zip/pi_dec_1t_02.txt',
    # 后续文件URL依次补充
]

2. 完整实现代码 #

import sympy
from urllib.request import urlopen

def prime_palindromo(number, number_size):
    # 优化遍历逻辑：只遍历可能的起始位置，避免无效循环
    num_str = str(number)
    max_start = len(num_str) - number_size + 1
    for j in range(max_start):
        current_segment = num_str[j:j+number_size]
        # 判断回文+质数
        if current_segment == current_segment[::-1] and sympy.isprime(int(current_segment)):
            return f"找到第一个{number_size}位回文质数：{current_segment}"
    return None

def process_single_file(url, number_size, prev_tail=None):
    response = urlopen(url)
    lines = []
    # 逐行读取文件（大文件友好）
    while True:
        line = response.readline()
        if not line:
            break
        lines.append(line.decode('utf-8').strip())
    
    # 处理跨文件衔接段
    if prev_tail:
        # 拼接上一个文件末尾100行 + 当前文件开头100行
        衔接内容 = ''.join(prev_tail + lines[:100])
        cross_result = prime_palindromo(衔接内容, number_size)
        if cross_result:
            print(f"跨文件衔接段分析结果：{cross_result}")
    
    # 处理当前文件主体内容
    full_content = ''.join(lines)
    main_result = prime_palindromo(full_content, number_size)
    if main_result:
        print(f"当前文件分析结果：{main_result}")
    
    # 返回当前文件最后100行，供下一个文件使用
    return lines[-100:] if len(lines) >= 100 else lines

# 主执行流程
target_digit_size = 21
file_urls = [
    # 按顺序填入所有分段文件的URL
    'https://archive.org/download/pi_dec_1t/pi_dec_1t_01.zip/pi_dec_1t_01.txt',
    'https://archive.org/download/pi_dec_1t/pi_dec_1t_02.zip/pi_dec_1t_02.txt',
]

last_tail = None
for file_url in file_urls:
    last_tail = process_single_file(file_url, target_digit_size, last_tail)

3. 关键优化与注意事项 #

• 内存优化：采用逐行读取而非一次性加载整个文件，避免大文件占用过多内存。
• 遍历优化：修改prime_palindromo函数的遍历逻辑，只遍历有效起始位置，减少无效循环。
• 异常防护：可以添加try-except块捕获网络请求、解码错误等异常，防止单个文件处理失败中断整个流程。
• 重复分析规避：如果需要避免衔接段与前文件末尾的重复分析，可以记录前文件的分析结束位置，仅在衔接段中分析跨文件的部分（比如只分析从len(prev_tail_str) - number_size + 1开始的位置）。

内容的提问来源于stack exchange，提问作者moxú