如何让Pandas数据集的纳秒精度DatetimeIndex被判定为唯一？

我有一个带有time属性的DataFrame，该属性以秒为单位但具备纳秒精度。为实现索引唯一，我编写了如下代码：

# Convert the time column to nanoseconds and add a sequence number for trades
df['time_ns'] = pd.to_datetime(df['time'], unit='s').values.astype(np.int64) + \
                np.arange(len(df)) % (10 ** 9)
df.set_index('time_ns', inplace=True)

# Convert the time_ns column to a DatetimeIndex with nanosecond precision
df.index = pd.to_datetime(df.index, unit='ns')

# Get a list of the non-unique timestamps
non_unique = df.index[df.index.duplicated(keep=False)].unique()

# Print the non-unique timestamps
print("Non-unique values:")
print(non_unique)

dataset = PandasDataset(df, target="price")

目前索引已无重复时间戳，但创建PandasDataset时频率计算失败，原因是pandas/tseries/frequencies.py中的这段代码触发了返回逻辑：

if not self.is_unique_asi8:
    return None

我发现is_unique_asi8属性用于判定索引底层整数数组的唯一性，请问如何配置数据集，让纳秒精度的索引被判定为唯一？

核心问题 #

is_unique_asi8是DatetimeIndex底层纳秒级时间戳整数数组的唯一性标识。你当前的代码虽表面消除了重复，但可能因整数溢出、浮点数精度丢失或类型转换中的隐性问题，导致底层asi8数组仍存在重复，进而触发频率计算失败。

修复方案 #

1. 直接确保底层asi8数组唯一 #

跳过冗余的类型转换，直接基于整数操作保证唯一性：

# 将原始time转为纳秒级整数
df['time_asi8'] = pd.to_datetime(df['time'], unit='s').values.astype(np.int64)
# 添加偏移量时避免溢出（纳秒级最大偏移为1e9-1）
max_nano_offset = 10**9 - 1
df['time_asi8'] += np.arange(len(df)) % max_nano_offset
# 用整数列直接创建DatetimeIndex
df.index = pd.DatetimeIndex(df['time_asi8'], unit='ns')
# 强制验证唯一性
assert df.index.is_unique, "索引仍存在重复"
assert df.index.is_unique_asi8, "底层asi8数组存在重复"

2. 显式指定频率跳过自动检测 #

如果你的场景不需要自动频率推断，可直接指定频率参数：

# 显式指定纳秒级频率'N'，或根据数据实际周期设置（如微秒'U'）
dataset = PandasDataset(df, target="price", freq='N')

3. 修复原始数据的精度丢失问题 #

若原始time是浮点数，转整数时易出现精度丢失，建议先转字符串再处理：

# 将浮点数time转为字符串避免精度丢失
df['time_str'] = df['time'].astype(str)
# 基于字符串转为纳秒级整数
df['time_asi8'] = pd.to_datetime(df['time_str'], unit='s').values.astype(np.int64)
df['time_asi8'] += np.arange(len(df)) % (10**9 -1)
df.index = pd.DatetimeIndex(df['time_asi8'], unit='ns')

验证方法 #

执行修复后，运行以下代码确认状态：

print("索引是否唯一:", df.index.is_unique)
print("底层asi8数组是否唯一:", df.index.is_unique_asi8)

内容的提问来源于stack exchange，提问作者serlingpa