PySpark技术问询：基于整数类型日期列最大值生成含截至去年月末日期分类描述的DataFrame列

这个需求我之前也碰到过，手动拆分年月日再写一堆条件判断不仅繁琐，还容易在处理月末天数（比如2月、大小月）的时候出错。其实咱们可以直接利用日期函数的特性，基于最大日期的时间维度来做分类判断，既简洁又可靠。

场景1：SQL数据库中实现 #

假设你的日期列是整数类型（比如20181210），我们可以先把它转换成标准日期格式，再提取年、季、月信息来做分类：

-- 第一步：获取最大日期的年份、季度等核心信息
WITH max_date_info AS (
    SELECT 
        -- 把整数日期转成标准日期类型
        TO_DATE(CAST(MAX(date_col) AS VARCHAR), 'YYYYMMDD') AS max_date,
        EXTRACT(YEAR FROM TO_DATE(CAST(MAX(date_col) AS VARCHAR), 'YYYYMMDD')) AS max_year,
        EXTRACT(QUARTER FROM TO_DATE(CAST(MAX(date_col) AS VARCHAR), 'YYYYMMDD')) AS max_quarter,
        EXTRACT(MONTH FROM TO_DATE(CAST(MAX(date_col) AS VARCHAR), 'YYYYMMDD')) AS max_month
    FROM your_table
),
-- 第二步：筛选出所有的月末日期（避免非月末数据干扰）
month_end_dates AS (
    SELECT DISTINCT date_col AS month_end_date
    FROM your_table
    -- 用LAST_DAY函数判断是否为当月最后一天（不同数据库函数可能略有差异，比如SQL Server用EOMONTH）
    WHERE LAST_DAY(TO_DATE(CAST(date_col AS VARCHAR), 'YYYYMMDD')) = TO_DATE(CAST(date_col AS VARCHAR), 'YYYYMMDD')
)
-- 第三步：生成分类描述列
SELECT 
    med.month_end_date,
    CASE
        -- 匹配「prev quarter」：和最大日期同一年，且是上一个季度的月末（如果最大季度是Q1，则匹配上一年Q4）
        WHEN EXTRACT(YEAR FROM TO_DATE(CAST(med.month_end_date AS VARCHAR), 'YYYYMMDD')) = mdi.max_year
             AND EXTRACT(QUARTER FROM TO_DATE(CAST(med.month_end_date AS VARCHAR), 'YYYYMMDD')) = 
                 CASE WHEN mdi.max_quarter = 1 THEN 4 ELSE mdi.max_quarter - 1 END
        THEN 'prev quarter'
        -- 匹配「recent year」：和最大日期同一年，且月份早于最大日期的月份
        WHEN EXTRACT(YEAR FROM TO_DATE(CAST(med.month_end_date AS VARCHAR), 'YYYYMMDD')) = mdi.max_year
             AND EXTRACT(MONTH FROM TO_DATE(CAST(med.month_end_date AS VARCHAR), 'YYYYMMDD')) < mdi.max_month
        THEN 'recent year'
        -- 匹配「prev year」：是最大日期年份的前一年
        WHEN EXTRACT(YEAR FROM TO_DATE(CAST(med.month_end_date AS VARCHAR), 'YYYYMMDD')) = mdi.max_year - 1
        THEN 'prev year'
        -- 其他情况可自定义默认分类
        ELSE 'other'
    END AS text
FROM month_end_dates med
CROSS JOIN max_date_info mdi
-- 按日期降序排列，和你给的示例格式一致
ORDER BY med.month_end_date DESC;

场景2：Python Pandas中实现 #

如果是用Pandas处理数据集，思路和SQL类似，利用Pandas的日期工具类来简化判断：

import pandas as pd

# 假设你的数据存储在df中，date_col是整数类型的日期列
df['standard_date'] = pd.to_datetime(df['date_col'].astype(str), format='%Y%m%d')

# 获取最大日期的核心时间信息
max_date = df['standard_date'].max()
max_year = max_date.year
max_quarter = max_date.quarter
max_month = max_date.month

# 筛选出所有月末日期
df = df[df['standard_date'] == df['standard_date'] + pd.offsets.MonthEnd(0)]

# 定义分类逻辑函数
def get_date_category(row):
    date = row['standard_date']
    if date.year == max_year:
        # 判断是否为上一个季度的月末
        target_quarter = max_quarter - 1 if max_quarter > 1 else 4
        if date.quarter == target_quarter:
            return 'prev quarter'
        # 判断是否为当年早于最大月份的月末
        elif date.month < max_month:
            return 'recent year'
    elif date.year == max_year - 1:
        return 'prev year'
    return 'other'

# 生成分类列
df['text'] = df.apply(get_date_category, axis=1)

# 按日期降序排列，转回整数日期格式（可选）
df = df.sort_values('standard_date', ascending=False)
df['date_col'] = df['standard_date'].dt.strftime('%Y%m%d').astype(int)

# 展示结果
print(df[['date_col', 'text']])

核心优势 #

这种方法不需要手动拆分年、月、日再拼接计算，直接利用内置的日期函数处理季度、月末判断，不仅代码更简洁，还能自动处理闰年、大小月等特殊情况，减少出错概率。

内容的提问来源于stack exchange，提问作者hotshot_02