Pandas报错值长度与索引长度不匹配,PyCharm报错Jupyter正常如何解决
问题排查与修复方案
错误原因
- 聚合逻辑未指定作用列:你在
groupby后直接调用agg传入自定义lambda,会对DataFrame内所有列(包括原created_at列)都应用聚合规则。而created_at已经是分组的键值,默认会作为结果的索引存在,不需要再做聚合。Jupyter中安装的pandas版本较低,对这种不规范写法容错性高,PyCharm环境的pandas版本更高,会严格校验聚合后的返回值长度,因此触发报错。 - 代码换行存在语法隐患:你定义lambda内的拼接分隔符时,直接在单引号后换行且没有加续行符,导致PyCharm解析代码时将该段代码识别为两条独立语句,lambda返回值结构异常,进一步触发长度不匹配错误。Jupyter对交互式输入的代码换行容错性更强,因此没有报错。
修复代码
import pandas as pd def aggregated(): # 读取时直接指定需要的列,省略多余的DataFrame初始化步骤 df = pd.read_csv(r'news_collection.csv', usecols=['created_at', 'text']) df['created_at'] = pd.to_datetime(df['created_at']) df['text'] = df['text'].astype(str) pd.set_option('display.max_colwidth', 0) # 明确指定只对text列做聚合,分隔符不要换行 df = df.groupby(pd.Grouper(key='created_at', freq='1D')).agg({'text': lambda x: ' '.join(set(x))}) return df if __name__ == '__main__': res = aggregated() print(res) res.to_csv(r'preprocessed_tweets_aggregated.csv', index=True, header=True)
额外优化建议
- 避免重复调用
aggregated()函数,原代码中打印和保存时各调用了一次,会重复执行读取、计算逻辑,改成调用一次后用变量接收结果即可。 - 字符串转类型直接用
astype(str)即可,不需要写apply lambda,效率更高。
内容的提问来源于stack exchange,提问作者Niroshan Ratnayake
相关产品推荐
相关产品推荐

