OHLC数据清洗：高效替换零值开盘价为前一周期收盘价

针对3年跨度OHLC数据中Open字段缺失位被填充为0、需替换为前一交易周期Close值的需求，基于pandas的向量化实现是性能最高的方案，无Python层循环，百万行级数据处理耗时仅需几十毫秒，远优于循环、apply类实现。

前置准备 #

先安装依赖库：
pip install pandas numpy

实现步骤 #

• 数据读取与前置校验
  先将数据加载为pandas DataFrame，首先统计0值Open的数量，和你已知的缺失量级做对齐，避免误改正常数据：

import pandas as pd
import numpy as np

# 替换为你自己的数据读取逻辑，支持csv/parquet/数据库读取等任意来源
df = pd.read_csv("your_ohlc_file.csv")

# 统计待替换的0值条目数
zero_open_cnt = (df["Open"] == 0).sum()
print(f"待替换0值Open共 {zero_open_cnt} 条")

• 核心替换逻辑
  注意：执行替换前请确认DataFrame已按交易时间升序排列（早的周期在前，晚的在后），否则会取错对应周期的Close值

  由于Close字段无缺失，直接对Open列做条件替换即可：0值位置取上一行的Close，非0值保留原始Open。额外处理第一行边界异常（如果第一行Open为0，上一行不存在会产生空值，可按需填充）：

# 条件替换：Open为0时取前一周期Close，否则保留原值
df["Open"] = np.where(
    df["Open"] == 0,
    df["Close"].shift(1),
    df["Open"]
)

# 边界处理：第一行Open为0导致的空值，示例用第一行自身Close填充，可根据业务规则调整
df["Open"] = df["Open"].fillna(df["Close"].iloc[0])

• 结果校验
  替换完成后做两轮校验，避免逻辑错误：

# 校验1：确认Open列无剩余0值（交易场景下开盘价不可能为0）
remain_zero = (df["Open"] == 0).sum()
print(f"替换后剩余0值Open共 {remain_zero} 条")

# 校验2：抽样核对替换结果，可随机抽取原0值位置的前后行确认数值匹配
print("替换结果抽样：")
print(df.head(20))

数据样例参考 #

内容的提问来源于stack exchange，提问作者baldr333