如何在R中将Socket数据读取为raw向量？Windows平台适配问题

方案一：修复原有的stdout输出问题（无需Socket） #

你的核心痛点是Windows平台下，stdout会自动将LF（0x0a）转换为CRLF（0x0d0x0a），导致序列化的raw数据被篡改，进而让unserializeFromRaw失败。可以通过两种方式快速解决：

1. 在Python脚本中使用二进制标准输出 #

修改Python脚本，直接向sys.stdout.buffer写入二进制序列化数据，彻底避开文本模式的换行符转换逻辑：

import sys
# 导入你的序列化库（比如对应RApiSerialise的Python实现）
from your_serialiser import serialize_to_raw
from your_cassandra_client import get_cassandra_data  # 你的Cassandra数据获取函数

if __name__ == "__main__":
    query = sys.argv[1]
    data = get_cassandra_data(query)
    raw_data = serialize_to_raw(data)
    # 用二进制模式输出，避免Windows自动添加CR字节
    sys.stdout.buffer.write(raw_data)

这样R端原有代码完全不用改，exec_wait获取的raw数据会保持原始二进制格式，不会出现多余的0x0d。

2. 在R中过滤多余的CR字节 #

如果暂时无法修改Python脚本，可以在R端拿到raw数据后，过滤掉所有额外的0x0d字节（注意：仅当你的序列化数据本身不包含0x0d时适用）：

QueryCassandra <- function(query){
 allArgs = c(PATH_TO_SCRIPT, query)
 output.connection <- rawConnection(raw(length = 0), "r+")
 exec_wait(COMMAND, args = allArgs, std_out = output.connection)
 output <- rawConnectionValue(output.connection)
 close(output.connection)
 # 移除Windows自动添加的0x0d字节
 output <- output[output != as.raw(0x0d)]
 final <- unserializeFromRaw(output)
 return(final)
}

方案二：使用Socket读取raw向量（解决你遇到的Socket读取问题） #

如果你坚持用Socket通信，read.socket因为是按字符串读取（无法处理空字节）才会报错，改用readBin函数就能直接读取raw数据——因为Socket连接本质是R的连接对象，readBin原生支持二进制读取：

Python端Socket服务示例 #

import socket
from your_serialiser import serialize_to_raw
from your_cassandra_client import get_cassandra_data

def run_socket_server(port=12345):
    # 创建TCP Socket服务
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.bind(('localhost', port))
    server_socket.listen(1)
    
    # 等待R端连接
    conn, addr = server_socket.accept()
    # 接收R发送的查询字符串
    query = conn.recv(1024).decode('utf-8')
    # 获取并序列化数据
    data = get_cassandra_data(query)
    raw_data = serialize_to_raw(data)
    # 发送二进制数据
    conn.sendall(raw_data)
    # 关闭连接
    conn.close()
    server_socket.close()

if __name__ == "__main__":
    run_socket_server()

R端Socket客户端示例 #

QueryCassandraViaSocket <- function(query, port=12345){
    # 连接到Python的Socket服务，指定二进制读写模式
    socket_conn <- socketConnection(
        host = "localhost", 
        port = port, 
        open = "rb+",
        blocking = TRUE
    )
    # 发送查询字符串到Python
    writeLines(query, socket_conn)
    flush(socket_conn)
    
    # 读取二进制raw数据（n设置足够大以容纳所有数据）
    raw_data <- readBin(socket_conn, what = "raw", n = 10^6)
    close(socket_conn)
    
    # 反序列化得到最终R对象
    final <- unserializeFromRaw(raw_data)
    return(final)
}

如果数据量很大，可以优化为「先发送数据长度，再按长度读取」：Python用struct.pack把数据长度打包成4字节发送，R先读取4字节解析出长度，再读取对应长度的raw数据，避免读取过多或过少的字节。

内容的提问来源于stack exchange，提问作者Milan van Dijck