如何将ib_insync获取的IB Python对象转换为R数据框

问题根源 #

• ib_insync返回的TickByTickAllLast是库自定义的具名tuple类，不属于Python原生数据结构，reticulate无法直接对这类自定义类执行强制转数据框操作，R端直接调用as.data.frame会触发类转换报错
• 原Python端直接将含自定义类的列表传入pd.DataFrame()，未提取类内的具名字段，生成的DataFrame列实际存储Python对象引用，返回R端时只能看到对象环境信息，无法显示实际行情数值
• 原Python代码函数内存在缩进错误，会触发运行时语法错误

修正逻辑 #

在Python端完成自定义类的字段提取，将结构转换为Python原生字典/列表结构后再返回R端，全程避免将未拆解的自定义Python类传递到R环境。

修正后的代码 #

Python端（testPythonCalls.py） #

from ib_insync import *
import pandas as pd

# 全局初始化IB连接实例
ib = IB()

def ibConnect(port, clientID):
    connectAttempts = 0
    while not ib.isConnected():
        try:
            ib.connect('127.0.0.1', port, clientID)
            ib.sleep(0.5)
        except:
            connectAttempts +=1
            if connectAttempts >10:
                raise ConnectionError("Unable to connect to Interactive Brokers after 10 attempts")
            ib.sleep(1)
    return None

def ibDisconnect():
    ib.disconnect()
    ib.sleep(0.5)
    return None

def ibFuturesContract(symbol, expirationDate, exchange):
    return Future(symbol, expirationDate, exchange)

def ibReqTickByTickData(contract, tickType, numberOfTicks, ignoreSize):
    ib.reqTickByTickData(contract, tickType, numberOfTicks, ignoreSize)
    ib.sleep(2)
    # 按合约精准获取绑定的tick数据列表，避免多合约场景下数据错配
    return ib.ticker(contract).tickByTicks

def ibTickByTickDataDF(tick_list):
    # 逐一提取TickByTickAllLast的固定具名字段，生成原生字典列表
    parsed_ticks = []
    for tick in tick_list:
        parsed_ticks.append({
            "time": tick.time,
            "price": tick.price,
            "size": tick.size,
            "tick_attrib_last": tick.tickAttribLast,
            "exchange": tick.exchange,
            "special_conditions": tick.specialConditions
        })
    # 生成无自定义对象引用的pandas原生DataFrame
    return pd.DataFrame(parsed_ticks)

def ibCancelTickByTickData(contract, tickType):
    ib.cancelTickByTickData(contract, tickType)
    return None

R端 #

library(reticulate)
use_python("/usr/local/bin/python3.7")
source_python("testPythonCalls.py")

# 建立IB连接
ibConnect(as.integer(7497), as.integer(600))

# 初始化NQ期货合约
contract <- ibFuturesContract('NQ', as.integer(20210319), 'GLOBEX')

# 订阅Last类型tick数据
ticks_raw <- ibReqTickByTickData(contract, 'Last', as.integer(0), TRUE)

# Python端返回的pandas DataFrame会被reticulate自动转为R原生data.frame
df <- ibTickByTickDataDF(ticks_raw)

# 验证数据结构与内容
print(str(df))
print(head(df))

# 取消订阅并断开连接
ibCancelTickByTickData(contract, 'Last')
ibDisconnect()

关键注意事项 #

• reticulate仅对无自定义对象列的pandas DataFrame支持自动转换为R原生结构，如果DF列中存储Python类实例，转回R端依然会显示对象引用而非实际值
• 代码中的ib.sleep(2)等待时间可根据本地网络到IB服务器的延迟调整，避免订阅后等待时间过短，尚未收到推送数据就开始转换得到空DF
• 如需持续接收实时tick推送，可在Python端注册回调函数，每收到新tick就将解析后的字典追加到列表中，无需重复调用订阅接口，避免触发IB的订阅频率限制

内容的提问来源于stack exchange，提问作者S Novogoratz