如何在Pandas中筛选包含完整24小时数据的日期？

嘿，我来帮你搞定这个Pandas筛选的问题！针对你的CSV数据，咱们一步步来找出那些包含完整24小时记录的日期，具体操作如下：

步骤1：读取CSV并解析时间列 #

首先得把你的CSV数据读进Pandas，同时得把那个带UTC时区的时间列解析成正确的datetime类型——这一步很关键，不然后续的时间统计会出问题。假设你的文件名叫data.csv，而且第一行没有表头，那我们可以自己指定列名：

import pandas as pd

# 自定义列名（适配你数据里的字段数量）
columns = ["id", "timestamp", "col3", "ip", "col5", "col6", "col7", "col8", "col9"] + [f"col{i}" for i in range(10, 18)]
# 读取CSV，同时直接解析timestamp列为datetime
df = pd.read_csv("data.csv", names=columns, parse_dates=["timestamp"], infer_datetime_format=True)
# 确保timestamp是带UTC时区的datetime对象（匹配你数据里的+00:00时区）
df["timestamp"] = pd.to_datetime(df["timestamp"], utc=True)

如果你的CSV本身有表头，直接删掉names=columns这个参数就行，Pandas会自动用表头作为列名。

步骤2：提取日期和小时信息 #

接下来，我们从时间列里拆出UTC日期和小时数，这样方便后续统计每个日期的时间覆盖情况：

# 提取纯日期部分（比如2018-02-11）
df["date"] = df["timestamp"].dt.date
# 提取小时数（0到23之间的整数）
df["hour"] = df["timestamp"].dt.hour

步骤3：筛选包含完整24小时的日期 #

这里有两种常用的判断逻辑，你可以根据自己的实际需求选：

方式一：要求每个小时都有记录 #

如果你的需求是“该日期的每个小时（0-23）至少有一条数据”，那可以用这种方法：

# 按日期分组，统计每个日期包含的唯一小时数量
hour_coverage = df.groupby("date")["hour"].nunique()
# 筛选出小时数刚好是24的日期（说明0-23每个小时都有数据）
full_days = hour_coverage[hour_coverage == 24].index.tolist()

# 最后筛选原数据中属于这些日期的所有记录
full_day_data = df[df["date"].isin(full_days)]

方式二：要求时间跨度覆盖完整24小时 #

如果你的数据可能偶尔某个小时没有记录，但整体时间范围从当天0点左右到次日0点左右（覆盖了完整的24小时周期），那可以用这种宽松一点的判断：

# 按日期分组，找出每个日期的最早和最晚记录时间
date_time_bounds = df.groupby("date")["timestamp"].agg(["min", "max"])
# 计算该日期的时间跨度（转成小时）
date_time_bounds["duration_hours"] = (date_time_bounds["max"] - date_time_bounds["min"]).dt.total_seconds() / 3600
# 筛选出时间跨度≥23.5小时的日期（留一点误差空间，确保覆盖完整一天）
full_days = date_time_bounds[date_time_bounds["duration_hours"] >= 23.5].index.tolist()

# 筛选对应日期的数据
full_day_data = df[df["date"].isin(full_days)]

小提示 #

• 如果需要用本地时间（比如北京时间）来判断日期，记得先把UTC时间转成本地时区：df["timestamp"] = df["timestamp"].dt.tz_convert("Asia/Shanghai")，之后再提取日期和小时。
• 可以用print(full_days)先看看筛选出来的日期是否符合预期，再去处理原数据。

内容的提问来源于stack exchange，提问作者Souvik Ray