使用dask.query过滤Dask DataFrame日期列时遇语法错误求助

问题原因 #

你遇到的语法错误根本原因是：用f-string拼接查询语句时，np.datetime64对象转成字符串后格式不符合Python语法——日期值没有被引号包裹，且日期字符串中的符号被错误拆分（比如2024 -06 -07这种格式），导致Dask无法解析查询表达式。

三种可行解决方法 #

方法1：将日期转为带引号的标准字符串 #

把np.datetime64对象转为ISO格式字符串，并在查询语句中用单/双引号包裹，确保语法合法：

start_date = np.datetime64(start_date, 'ns')
end_date = np.datetime64(end_date, 'ns')

# 转为带引号的ISO格式字符串
query_start = f'BeginObservationDate > "{start_date.astype(str)}"'
query_end = f'EndObservationDate > "{end_date.astype(str)}"'

dask_df.query(query_start + ' and ' + query_end).compute()

方法2：使用布尔索引替代query函数 #

直接通过布尔索引过滤，避免字符串拼接的语法问题，代码更直观：

start_date = np.datetime64(start_date, 'ns')
end_date = np.datetime64(end_date, 'ns')

filtered_df = dask_df[
    (dask_df['BeginObservationDate'] > start_date) & 
    (dask_df['EndObservationDate'] > end_date)
].compute()

方法3：利用query的变量引用（推荐） #

Dask的query支持用@符号直接引用外部变量，无需手动拼接字符串，自动处理类型和语法：

start_date = np.datetime64(start_date, 'ns')
end_date = np.datetime64(end_date, 'ns')

# 使用@引用外部变量，Dask会自动处理日期格式
filtered_df = dask_df.query(
    'BeginObservationDate > @start_date and EndObservationDate > @end_date'
).compute()

说明 #

方法3是最优解：既避免了字符串拼接的语法风险，又保持了query语句的可读性，同时Dask会正确处理日期类型的比较逻辑，无需额外格式转换。

内容的提问来源于stack exchange，提问作者jotierm