如何将含分段字段的DataFrame拆分至多个数据集并导入SQL Server

嘿，我刚好处理过类似的需求，这就给你一个清晰可行的实现方案，完全符合你的预期输出：

需求回顾 #

我们有一个包含index和ds_value列的DataFrame，其中ds_value字段用~分隔不同的segment，每个segment内部用|拆分数据。需要将每个类型的segment单独提取为独立的DataFrame（比如SEG1对应df1，SEG2对应df2等），方便后续插入SQL Server。

原始数据准备 #

先把你的原始数据用代码还原：

import pandas as pd

# 你的原始DataFrame
df = pd.DataFrame({
    'index': [1, 2],
    'ds_value': [
        'SEG1|CA|90025|34|~SEG2|2|3|10150|~TITLE|Test|',
        'SEG1|NV|90567|50|~SEG24|4|5|54678|~JOB|None|'
    ]
})

完整实现代码 #

下面是一步到位的代码，注释已经写得很清楚了：

import pandas as pd

# 1. 加载原始数据
df = pd.DataFrame({
    'index': [1, 2],
    'ds_value': [
        'SEG1|CA|90025|34|~SEG2|2|3|10150|~TITLE|Test|',
        'SEG1|NV|90567|50|~SEG24|4|5|54678|~JOB|None|'
    ]
})

# 2. 拆分每行的segment，同时保留原始index
segment_list = []
for _, row in df.iterrows():
    # 用~拆分所有segment，过滤掉空字符串（避免首尾~的情况）
    raw_segments = [seg.strip() for seg in row['ds_value'].split('~') if seg.strip()]
    for seg in raw_segments:
        # 用|拆分每个segment，去掉末尾的空元素（因为每个seg最后都有个多余的|）
        seg_parts = seg.split('|')[:-1]
        segment_list.append({'index': row['index'], 'parts': seg_parts})

# 3. 转换为临时DataFrame，并将parts列展开为多列
temp_df = pd.DataFrame(segment_list)
expanded_df = temp_df['parts'].apply(pd.Series).join(temp_df['index'])

# 4. 按segment类型（第0列）分组，生成独立DataFrame
segment_dfs = {}
for seg_type, group in expanded_df.groupby(0):
    # 调整列顺序，把index放在第一列，符合预期格式
    reordered_cols = ['index'] + list(range(len(group.columns)-1))
    segment_dfs[seg_type] = group[reordered_cols].reset_index(drop=True)

# 5. 可选：将独立DF赋值为全局变量df1、df2...（按顺序）
for idx, (seg_name, seg_df) in enumerate(segment_dfs.values(), 1):
    globals()[f'df{idx}'] = seg_df

# 验证输出（打印每个DF）
for idx, (seg_name, seg_df) in enumerate(segment_dfs.items(), 1):
    print(f"df{idx}（对应{seg_name}）：")
    print(seg_df)
    print("-" * 30)

关键细节说明 #

• 保留原始index：拆分过程中始终关联原始行的index，确保每个segment能追溯到来源行
• 处理多余分隔符：用[:-1]去掉每个segment末尾因最后一个|产生的空值
• 灵活分组：通过groupby(0)按segment类型（每个拆分后的第一个元素）分组，自动处理同类型或不同类型的segment
• 方便后续操作：最终的segment_dfs字典以segment类型为键，直接对应到对应的DataFrame，插入SQL时可以直接调用segment_dfs['SEG1']这样的对象

输出效果 #

运行代码后，你会得到完全符合预期的独立DataFrame：

• df1对应SEG1，包含两行数据
• df2对应SEG2，包含第一行的SEG2数据
• df3对应TITLE，包含第一行的TITLE数据
• df4对应SEG24，包含第二行的SEG24数据
• df5对应JOB，包含第二行的JOB数据

内容的提问来源于stack exchange，提问作者Tai Phan