PySpark：将多列合并为带列名的字符串数组

需求说明 #

输入表格：

A  | B  | C  | D  | E
aa | bb | cc | dd | null

需新增combine列，将所有列的键值对整合为[A: aa, B: bb, C: cc, D: dd, E: null]格式的字符串。

1. SQL实现（以MySQL为例） #

通过CONCAT拼接字符串，用IFNULL处理空值：

SELECT 
    A, B, C, D, E,
    CONCAT(
        '[',
        'A: ', IFNULL(A, 'null'), ', ',
        'B: ', IFNULL(B, 'null'), ', ',
        'C: ', IFNULL(C, 'null'), ', ',
        'D: ', IFNULL(D, 'null'), ', ',
        'E: ', IFNULL(E, 'null'),
        ']'
    ) AS combine
FROM your_table;

替换your_table为实际表名即可得到目标结果。

2. Python Pandas实现 #

利用apply遍历每行数据，拼接键值对：

import pandas as pd

# 构造示例数据（实际可替换为读取你的数据源）
df = pd.DataFrame({
    'A': ['aa'],
    'B': ['bb'],
    'C': ['cc'],
    'D': ['dd'],
    'E': [None]
})

# 生成combine列
df['combine'] = df.apply(
    lambda row: '[' + ', '.join([f'{col}: {row[col] if row[col] is not None else "null"}' for col in df.columns]) + ']',
    axis=1
)

# 打印结果
print(df.to_string(index=False))

运行后输出的DataFrame将包含目标combine列。

3. Excel实现 #

使用TEXTJOIN和IF函数组合生成目标字符串，在F2单元格输入：

="["&TEXTJOIN(", ", TRUE, "A: "&IF(A2="", "null", A2), "B: "&IF(B2="", "null", B2), "C: "&IF(C2="", "null", C2), "D: "&IF(D2="", "null", D2), "E: "&IF(E2="", "null", E2))&"]"

下拉填充公式即可批量处理所有行。

内容的提问来源于stack exchange，提问作者Smithy