如何将Pandas datetime64转为InfluxDB行协议所需的epoch时间
基于Pandas实现CSV到InfluxDB行协议的转换
场景说明
需要将存储网络监控延迟数据的CSV文件转换为符合InfluxDB行协议规范的格式,目前无法将Pandas解析得到的datetime对象导出为符合要求的epoch时间戳。
原始数据集示例
date time latency 2021-02-02 16:11:15,486 78 2021-02-02 16:16:15,592 94
目标输出格式示例
some_category latency=78 1612369423.956387
现有初步代码
import pandas as pd df = pd.read_csv("processed.csv", delim_whitespace=True, # Treat columns 0 and 1 as a single datetime object. parse_dates=[[0, 1]]) lines = ['some_category' + ' ' + 'latency=' + df['latency'].apply(str) + ' ' + df['date_time'].apply(str)]
修正实现方案
核心针对时间戳转换逻辑做调整:
- Pandas解析生成的
date_time列属于Timestamp类型,可通过.dt.timestamp()向量化接口直接获取对应Unix epoch的浮点时间值,精度与示例要求完全匹配 - 替换原代码中低效的逐行
apply(str)操作,使用向量化类型转换处理字符串拼接,提升大数据量下的运行效率
修正后的完整可运行代码:
import pandas as pd df = pd.read_csv("processed.csv", delim_whitespace=True, # Treat columns 0 and 1 as a single datetime object. parse_dates=[[0, 1]]) # 批量生成行协议 lines = ( "some_category " + "latency=" + df["latency"].astype(str) + " " + df["date_time"].dt.timestamp().astype(str) )
可选适配调整
- 若需要适配InfluxDB默认要求的纳秒级整数时间戳,可将时间戳部分的取值替换为
df["date_time"].view("int64"),直接获取纳秒精度的整数值,无需手动做单位换算 - 若CSV中的时间带时区信息,可在读取时通过
tz参数指定时区,避免epoch计算出现时区偏移 - 若需要将生成的行协议转为可直接写入文件的字符串列表,可在拼接表达式末尾追加
.tolist()方法
内容的提问来源于stack exchange,提问作者MattB
相关产品推荐
相关产品推荐

