如何将Python中指定列的所有字符串拼接为单个字符串以统计词频

Python 内置的str.join()是拼接序列类字符串最高效的方法，完全不需要手动写循环处理，根据你存储数据的结构，对应方法如下： #

情况1：数据存放在普通Python列表中 #

示例代码：

# 你的列数据转成列表后的结构示例
text_list = [
    'Friends+CCas+good result',
    'just want everything to go smooth. serious',
    'a mixture of both academic and non-academic'
]

# 直接用空格作为分隔符拼接所有字符串
result = ' '.join(text_list)
print(result)

运行输出就是你需要的目标结果：

'Friends+CCas+good result just want everything to go smooth. serious a mixture of both academic and non-academic'

情况2：数据存放在Pandas的DataFrame列中 #

如果你的列是Pandas Series，有两种常用写法，效果完全一致：

import pandas as pd

# 假设你的DataFrame变量名为df，目标列名为'Serie i want to loop'
# 写法1：用Pandas自带的str.cat方法
result = df['Serie i want to loop'].str.cat(sep=' ')

# 写法2：转成列表后用join方法
result = ' '.join(df['Serie i want to loop'].tolist())

常见错误原因 #

你之前循环拼接没有得到预期结果，大概率是拼接时没有主动添加空格，比如类似下面的错误写法：

# 错误示例：拼接时没有加空格，所有字符串会直接连在一起
res = ''
for s in text_list:
    res += s

如果一定要用循环实现，正确写法如下（但性能远低于join方法，不推荐）：

res = ''
for i, s in enumerate(text_list):
    # 除了第一个字符串，其他都在前面加空格
    if i > 0:
        res += ' '
    res += s

词频统计优化建议 #

如果你的最终目的是统计词频，甚至可以不用先拼接成完整大字符串，直接遍历每个句子拆分后统计即可，内存效率更高：

from collections import Counter

word_counter = Counter()
for text in text_list:
    # 拆分当前句子的单词，更新统计结果
    word_counter.update(text.split())

# 输出每个单词的出现次数
print(word_counter)

内容的提问来源于stack exchange，提问作者Thomas ZILLIOX