You need to enable JavaScript to run this app. 实现按最大行长度压缩txt文本的函数,求解高效通用的优化算法
优惠活动
大模型
产品
解决方案
定价
更多

实现按最大行长度压缩txt文本的函数,求解高效通用的优化算法

通用文本拆行高效实现方案

现有伪代码的核心问题

  • 硬编码创建多组空列表存储文本块,完全无法适配不定长度的拆分结果,冗余度极高
  • 固定按逗号分割行内容的规则通用性极差,完全适配不了普通叙事文本的自然断句逻辑
  • 为每个文本块单独编写长度判断循环,逻辑重复,没有可复用性,后续调整规则要改多处

核心算法设计逻辑

完全锚定两个硬性约束,从机制上规避违规场景,不需要后置校验:

  1. 跨段不合并约束落地:先把全量文本按空行拆分为独立段落块,每个段落单独走拆行流程,从流程上彻底杜绝不同段落的内容被拼到同一行
  2. 利用“源文件无超maxLine长度单词”的前置条件,采用贪心逐行填充的逻辑替代固定split规则,不需要额外做单词截断的异常处理

拆分流程分步说明

  • 文件读取阶段:直接读取全量文本内容,不逐行存原始行,减少冗余存储
  • 段落拆分:按连续空行匹配分割独立段落,过滤段落首尾的多余空白
  • 单词拆分:每个段落内部按任意连续空白(空格、制表符、缩进)拆分为独立单词列表,适配所有普通叙事文本的排版
  • 逐行贪心填充:
    • 维护一个当前行的累加变量,初始为空
    • 逐个遍历段落内的单词,计算将该单词拼接到当前行后的总长度(需额外计算单词之间1个空格的分隔长度,原伪代码完全遗漏了这个计算项)
    • 若拼接后长度不超过maxLine阈值,就将单词加入当前行
    • 若拼接后超出阈值,就将当前已攒好的行存入最终结果列表,重置当前行为当前遍历的这个新单词,继续往下匹配
    • 单个段落所有单词遍历完成后,将最后剩余的当前行存入结果,自动进入下一个段落的处理流程

可直接落地的函数参考

def split_text_lines(target_filename: str, max_line_length: int) -> list[str]:
    result = []
    # 显式指定utf-8编码规避常见乱码问题
    with open(target_filename, "r", encoding="utf-8") as f:
        full_text = f.read()
    # 拆分独立段落,过滤空段落
    paragraphs = [seg.strip() for seg in full_text.split("\n\n") if seg.strip()]
    for para in paragraphs:
        words = para.split()
        current_line = ""
        for word in words:
            # 计算拼接后的总长度
            if not current_line:
                join_len = len(word)
            else:
                join_len = len(current_line) + 1 + len(word)
            if join_len <= max_line_length:
                current_line = word if not current_line else f"{current_line} {word}"
            else:
                result.append(current_line)
                current_line = word
        # 存入段落最后剩余的行
        if current_line:
            result.append(current_line)
    return result

方案优势

  • 无任何硬编码的固定长度存储结构,结果列表完全适配实际拆分出来的行数,无冗余
  • 无针对特定分隔符(如逗号)的硬编码规则,适配绝大多数普通叙事文本的排版场景
  • 所有长度判断、存储逻辑只实现一次,不存在多套重复判断流程,代码维护成本极低
  • 从段落拆分环节就卡死跨段合并的规则,不需要额外增加后置校验逻辑
  • 依托前置的单词长度约束,贪心填充逻辑不会出现无法续行的死循环,运行稳定性足够

备注:当前设定lineMax=50时,直接调用函数传入对应参数即可生效,不需要修改内部逻辑


内容的提问来源于stack exchange,提问作者oLans9

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 07:36:04