创建Pandas DataFrame时触发ValueError：所有数组必须长度一致

尝试创建包含user_message和message_date两列的DataFrame，后续计划将message_date列按格式'%d/%m/%Y, %H:%M - '转换为datetime类型，但执行代码时触发ValueError，提示所有数组长度不一致。

相关代码 #

df = pd.DataFrame({'user_message':messages, 'message_date':dates })

# 转换message_date类型
df['message_date'] = pd.to_datetime(df['message_date'], format='%d/%m/%Y, %H:%M - ')

df.rename(columns={'message_date': 'date'}, inplace=True)

df.head()

报错信息 #

ValueError                                Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_2028\475687816.py in <module>
----> 1 df = pd.DataFrame({'user_message':messages, 'message_date':dates })
      2 
      3 # convert message_date type
      4 
      5 df['message_date'] = pd.to_datetime(df['message_date'], format='%d/%m/%Y, %H:%M - ')

~\anaconda3\lib\site-packages\pandas\core\frame.py in __init__(self, data, index, columns, dtype, copy)
    634         elif isinstance(data, dict):
    635             # GH#38939 de facto copy defaults to False only in non-dict cases
---> 636             mgr = dict_to_mgr(data, index, columns, dtype=dtype, copy=copy, typ=manager)
    637         elif isinstance(data, ma.MaskedArray):
    638             import numpy.ma.mrecords as mrecords

~\anaconda3\lib\site-packages\pandas\core\internals\construction.py in dict_to_mgr(data, index, columns, dtype, typ, copy)
    500         # TODO: can we get rid of the dt64tz special case above?
    501 
---> 502     return arrays_to_mgr(arrays, columns, index, dtype=dtype, typ=typ, consolidate=copy)
    503 
    504 

~\anaconda3\lib\site-packages\pandas\core\internals\construction.py in arrays_to_mgr(arrays, columns, index, dtype, verify_integrity, typ, consolidate)
    118         # figure out the index, if necessary
    119         if index is None:
---> 120             index = _extract_index(arrays)
    121         else:
    122             index = ensure_index(index)

~\anaconda3\lib\site-packages\pandas\core\internals\construction.py in _extract_index(data)
    672             lengths = list(set(raw_lengths))
    673             if len(lengths) > 1:
---> 674                 raise ValueError("All arrays must be of the same length")
    675 
    676             if have_dicts:

ValueError: All arrays must be of the same length

解决方案 #

• 检查数组长度：先确认messages和dates的长度是否一致，执行代码：

  print(len(messages), len(dates))
  

• 对齐数组长度：
  • 若其中一个数组存在缺失元素，排查数据采集/处理流程，补全对应元素；
  • 若存在冗余元素，清理长度较长的数组中的多余部分，确保两者长度完全匹配；
• 完成日期转换：确认DataFrame创建成功后，再执行日期类型转换，注意格式字符串要与message_date的实际格式完全匹配，避免空格或字符差异导致转换失败。

内容的提问来源于stack exchange，提问作者Asif