关于Backtrader使用MongoDB替代CSV作为数据馈源的技术问询

Backtrader默认没有内置数据库类型的数据馈源，核心原因是CSV是通用度最高的金融数据存储格式，适配成本极低；而数据库种类繁多（关系型、文档型等），无法一一做内置支持。官方提供了自定义数据馈源的接口，开发者可根据需求自行实现。

下面分别给出CSV原生方案和MongoDB自定义馈源的实现代码，以及两种方案的优劣对比：

一、CSV数据馈源实现（原生支持） #

CSV是Backtrader最常用的数据加载方式，直接使用内置的GenericCSVData即可快速接入，适合中小规模数据回测：

import backtrader as bt

class TestStrategy(bt.Strategy):
    def next(self):
        # 简单示例策略：无持仓则买入，有持仓则卖出
        if not self.position:
            self.buy()
        else:
            self.sell()

if __name__ == '__main__':
    cerebro = bt.Cerebro()
    cerebro.addstrategy(TestStrategy)
    
    # 加载CSV数据，需根据你的CSV文件字段顺序调整参数
    data = bt.feeds.GenericCSVData(
        dataname='stock_data.csv',
        dtformat=('%Y-%m-%d'),  # 日期格式
        datetime=0,  # 日期所在列索引
        open=1,      # 开盘价列索引
        high=2,      # 最高价列索引
        low=3,       # 最低价列索引
        close=4,     # 收盘价列索引
        volume=5,    # 成交量列索引
        openinterest=-1  # 无持仓兴趣数据则设为-1
    )
    
    cerebro.adddata(data)
    cerebro.broker.setcash(100000.0)
    print('初始账户市值: %.2f' % cerebro.broker.getvalue())
    cerebro.run()
    print('最终账户市值: %.2f' % cerebro.broker.getvalue())

二、MongoDB自定义数据馈源实现 #

如果需要用MongoDB做数据存储，可通过继承bt.feed.DataBase自定义馈源，实现按需加载数据，降低内存占用：

首先安装依赖：

pip install pymongo

实现代码：

import backtrader as bt
from pymongo import MongoClient
import datetime

class MongoData(bt.feed.DataBase):
    # 自定义参数，可根据需求调整
    params = (
        ('host', 'localhost'),
        ('port', 27017),
        ('dbname', 'stock_db'),
        ('collection', 'daily_data'),
        ('symbol', 'AAPL'),
        ('start_date', None),
        ('end_date', None),
    )

    def start(self):
        # 初始化MongoDB连接与数据查询
        self.client = MongoClient(self.p.host, self.p.port)
        self.db = self.client[self.p.dbname]
        self.collection = self.db[self.p.collection]
        
        # 构建查询条件
        query = {'symbol': self.p.symbol}
        if self.p.start_date:
            query['datetime'] = {'$gte': self.p.start_date}
            if self.p.end_date:
                query['datetime']['$lte'] = self.p.end_date
        
        # 获取排序后的数据生成器
        self.data_generator = self.collection.find(query).sort('datetime', 1)

    def _load(self):
        # 逐行加载数据，返回False表示数据加载完毕
        try:
            current = next(self.data_generator)
        except StopIteration:
            return False
        
        # 将MongoDB数据映射到Backtrader的字段
        self.lines.datetime[0] = bt.date2num(current['datetime'])
        self.lines.open[0] = current['open']
        self.lines.high[0] = current['high']
        self.lines.low[0] = current['low']
        self.lines.close[0] = current['close']
        self.lines.volume[0] = current['volume']
        self.lines.openinterest[0] = -1
        
        return True

# 使用示例
if __name__ == '__main__':
    cerebro = bt.Cerebro()
    cerebro.addstrategy(TestStrategy)
    
    # 加载MongoDB数据
    start_date = datetime.datetime(2020, 1, 1)
    end_date = datetime.datetime(2023, 12, 31)
    data = MongoData(
        symbol='AAPL',
        start_date=start_date,
        end_date=end_date
    )
    
    cerebro.adddata(data)
    cerebro.broker.setcash(100000.0)
    print('初始账户市值: %.2f' % cerebro.broker.getvalue())
    cerebro.run()
    print('最终账户市值: %.2f' % cerebro.broker.getvalue())

三、两种方案优劣对比 #

• CSV方案
  • 优势：原生支持无需额外开发，数据加载速度快，适合数据量较小的回测场景
  • 劣势：一次性加载全量数据，数据量过大时内存占用高，数据更新与维护不如数据库灵活
• MongoDB方案
  • 优势：逐行加载数据，内存占用低，适合海量数据回测，数据增删改查更便捷
  • 劣势：需要自定义实现馈源，回测时涉及数据库IO操作，速度比CSV慢，依赖MongoDB服务运行

内容的提问来源于stack exchange，提问作者Paolo Ardissone