PySpark拆分日期字符串提取年份异常问题咨询

这问题我之前处理日期数据时也碰到过！你现在的问题应该是用了按空格分割取固定位置的方法——比如取split后的某一个固定索引元素，碰到带日的日期就会出错，因为这类日期的结构是「月份 日, 年份」，而不带日的是「月份 年份」，年份所在的位置不一样。给你两个靠谱的解决办法：

方法1：正则提取4位数字年份（最通用） #

直接用正则表达式提取字符串里的4位数字，不管日期格式怎么变，只要年份是4位数字就能准确拿到。这种方法不需要转换日期类型，适合快速处理：

import pandas as pd

# 你的示例数据
data = {
    'ID': ['01874938', '00798252', '02202785', '01646125'],
    'start_date': ['August 2013', 'March 2009', 'July 2, 2014', 'November 2012'],
    'End_date': ['December 2014', 'May 2015', 'January 15, 2016', 'November 2015'],
    'start_year': ['2013', '2009', '2, ', '2012']
}
df = pd.DataFrame(data)

# 提取4位数字作为年份
df['start_year'] = df['start_date'].str.extract(r'(\d{4})')

print(df)

运行后，start_year列会正确显示：2013、2009、2014、2012。
解释：str.extract(r'(\d{4})')会匹配字符串中连续的4位数字，正好对应年份，完全不受日期是否带日的影响。

方法2：转换成datetime类型提取年份（更规范） #

把start_date列转换成pandas的datetime类型，然后直接用dt.year获取年份，这种方法更符合日期处理的规范，还能顺便验证日期格式是否有效（如果有无效日期会提示）：

import pandas as pd

data = {
    'ID': ['01874938', '00798252', '02202785', '01646125'],
    'start_date': ['August 2013', 'March 2009', 'July 2, 2014', 'November 2012'],
    'End_date': ['December 2014', 'May 2015', 'January 15, 2016', 'November 2015'],
    'start_year': ['2013', '2009', '2, ', '2012']
}
df = pd.DataFrame(data)

# 转换为datetime类型，自动识别不同日期格式
df['start_date'] = pd.to_datetime(df['start_date'], infer_datetime_format=True)

# 提取年份（结果为整数类型）
df['start_year'] = df['start_date'].dt.year

# 如果需要保留原始的start_date字符串，可以先复制一列：
# df['original_start_date'] = df['start_date'].copy()
# df['start_date'] = pd.to_datetime(df['start_date'], infer_datetime_format=True)
# df['start_year'] = df['start_date'].dt.year

print(df)

解释：pd.to_datetime能自动识别大多数常见的日期字符串格式，包括「月份 年份」和「月份 日, 年份」，转换后用dt.year就能直接得到整数类型的年份，比字符串提取更严谨，后续如果需要对日期做其他操作（比如计算间隔）也更方便。

内容的提问来源于stack exchange，提问作者Lizou