400万行级双年份节点行程时间数据集插值处理方案咨询

可行处理思路 #

1. Python/Pandas 方案（灵活度最高，适配各类自定义插值需求） #

单文件400万行结构化数据对Pandas没有性能压力，普通8G内存笔记本即可流畅运行：

• 读取dat文件：直接用pandas.read_csv()接口，支持自定义分隔符适配你的dat文件格式，无需拆分文件。
• 数据对齐：通过merge方法匹配两个年份中相同的Node A、Node B对，可根据业务需求选择过滤仅单年份存在的节点对，或单独补全这部分数据。
• 插值计算：线性插值为常用方案，也可根据业务逻辑替换为非线性插值公式，400万行批量计算耗时通常在10秒以内。
• 结果导出：支持直接输出为dat、csv等任意需要的格式。

参考代码示例：

import pandas as pd
# 读取dat文件，sep参数可根据实际分隔符调整，\s+适配空格/制表符分隔的dat文件
df_2015 = pd.read_csv("2015.dat", sep="\s+", names=["Node A", "Node B", "Journey Time"])
df_2024 = pd.read_csv("2024.dat", sep="\s+", names=["Node A", "Node B", "Journey Time"])
# 关联两个年份的节点对
df_merge = pd.merge(df_2015, df_2024, on=["Node A", "Node B"], suffixes=("_2015", "_2024"))
# 以插值2020年数据为例
target_year = 2020
ratio = (target_year - 2015) / (2024 - 2015)
df_merge[f"Journey Time_{target_year}"] = df_merge["Journey Time_2015"] + ratio * (df_merge["Journey Time_2024"] - df_merge["Journey Time_2015"])
# 导出结果
df_merge[["Node A", "Node B", f"Journey Time_{target_year}"]].to_csv(f"{target_year}_journey_time.dat", sep=" ", index=False)

2. 本地数据库方案（无代码基础可选） #

使用SQLite、DBeaver等免费桌面数据库工具，无需复杂配置：

• 直接将两个dat文件导入为本地数据库表，支持百万级数据快速导入。
• 通过SQL语句完成关联和插值计算，参考语句如下：

SELECT 
    a.`Node A`,
    a.`Node B`,
    a.`Journey Time` + (2020-2015)/(2024-2015)*(b.`Journey Time` - a.`Journey Time`) AS `Journey Time_2020`
FROM 2015_data a
INNER JOIN 2024_data b ON a.`Node A` = b.`Node A` AND a.`Node B` = b.`Node B`;

• 计算完成后直接导出结果即可，无需拆分文件。

3. Power BI 优化方案（沿用原有工具链） #

此前分片处理是因为默认加载限制，调整设置即可处理全量数据：

• 打开Power BI Desktop，进入「文件」-「选项和设置」-「选项」-「数据加载」，取消百万行加载限制，也可选择仅在Power Query中处理、不加载到数据模型，进一步降低性能消耗。
• 导入全量dat文件后，用合并查询关联两个年份的数据，添加自定义列写入插值公式，处理完成后直接导出结果即可。

内容的提问来源于stack exchange，提问作者Aiden Razey