You need to enable JavaScript to run this app. 如何使用pandas读取文本数据,将auth_name等类别拆分为DataFrame独立列
优惠活动
大模型
产品
解决方案
定价
更多

如何使用pandas读取文本数据,将auth_name等类别拆分为DataFrame独立列

基于pandas实现非结构化文本的三字段结构化存储

核心目标是把逐行存储的、包含作者姓名(auth_name)、所属院校(univ)、所属院系(department)的非结构化长文本,拆分为独立列存入最终的DataFrame,满足结构化数据的分析要求。

分步实现操作

  • 加载原始非结构化文本
    逐行读取本地存储的原始文本,避免默认的csv解析逻辑把文本内容错拆为多列,将整条原始文本暂存在单独的临时列中:
    import pandas as pd
    # 按换行符逐行分隔读取文本内容
    df = pd.read_csv("raw_text_file.txt", header=None, names=["raw_text"], sep="\n")
    
  • 拆分三类目标字段
    按照原始文本的逗号分隔结构,对临时列的字符串做拆分,拆分后同步清理每段文本首尾的多余空格、冗余标点,分别映射为三个独立列:
    # 最多拆分3段,避免院系名称内部带逗号导致的拆分错误
    split_data = df["raw_text"].str.split(",", n=2, expand=True)
    # 映射为目标列并做格式清洗
    df["auth_name"] = split_data[0].str.strip()
    df["univ"] = split_data[1].str.strip()
    df["department"] = split_data[2].str.strip()
    # 临时列可按需删除
    df = df.drop(columns=["raw_text"])
    
  • 结果校验
    运行df.head()查看前几行的字段对齐情况,用df.isna().sum()统计每列的空值数量,快速定位因原始文本标点缺失、格式不规范导致的字段错位问题,对异常行做单独修正即可。

针对部分格式不统一的文本(比如分隔符前后空格数量不一致、夹杂多余装饰符号),可以改用正则提取的方式批量匹配字段,降低人工清洗的工作量:

# 正则匹配三个字段,自动适配分隔符周围的多余空白
df[["auth_name", "univ", "department"]] = df["raw_text"].str.extract(
    r"(?P<auth_name>.*?),\s*(?P<univ>.*?),\s*(?P<department>.*)"
)

内容的提问来源于stack exchange,提问作者ammar ibrahim

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 04:15:02