如何使用pandas读取文本数据,将auth_name等类别拆分为DataFrame独立列
基于pandas实现非结构化文本的三字段结构化存储
核心目标是把逐行存储的、包含作者姓名(auth_name)、所属院校(univ)、所属院系(department)的非结构化长文本,拆分为独立列存入最终的DataFrame,满足结构化数据的分析要求。
分步实现操作
- 加载原始非结构化文本
逐行读取本地存储的原始文本,避免默认的csv解析逻辑把文本内容错拆为多列,将整条原始文本暂存在单独的临时列中:import pandas as pd # 按换行符逐行分隔读取文本内容 df = pd.read_csv("raw_text_file.txt", header=None, names=["raw_text"], sep="\n") - 拆分三类目标字段
按照原始文本的逗号分隔结构,对临时列的字符串做拆分,拆分后同步清理每段文本首尾的多余空格、冗余标点,分别映射为三个独立列:# 最多拆分3段,避免院系名称内部带逗号导致的拆分错误 split_data = df["raw_text"].str.split(",", n=2, expand=True) # 映射为目标列并做格式清洗 df["auth_name"] = split_data[0].str.strip() df["univ"] = split_data[1].str.strip() df["department"] = split_data[2].str.strip() # 临时列可按需删除 df = df.drop(columns=["raw_text"]) - 结果校验
运行df.head()查看前几行的字段对齐情况,用df.isna().sum()统计每列的空值数量,快速定位因原始文本标点缺失、格式不规范导致的字段错位问题,对异常行做单独修正即可。
针对部分格式不统一的文本(比如分隔符前后空格数量不一致、夹杂多余装饰符号),可以改用正则提取的方式批量匹配字段,降低人工清洗的工作量:
# 正则匹配三个字段,自动适配分隔符周围的多余空白 df[["auth_name", "univ", "department"]] = df["raw_text"].str.extract( r"(?P<auth_name>.*?),\s*(?P<univ>.*?),\s*(?P<department>.*)" )
内容的提问来源于stack exchange,提问作者ammar ibrahim
相关产品推荐
相关产品推荐

