Julia阻塞读取Golang持续写入文件首次读报EOFError如何解决

在Golang中持续向已打开的文件写入数据，同时使用Julia实时读取该连续文件流时，首次执行阻塞读取操作就触发EOFError: read end of file报错，无法正常读取数据。报错触发时Golang端始终持有文件打开句柄，未关闭文件，报错可追溯到Julia官方源码iostream.jl的第399行，最初猜测是否需要通过ccall调用底层方法才能实现持续流读取功能。

相关代码 #

Julia端代码 #

ERROR: LoadError: EOFError: read end of file

R.buffer = open("data/live.bin", "r")

if !isopen(R.buffer)
  return nothing
end

# Error is here, why would it say EOF if the file is still being written to and open?
# Read the length in first 4 bytes
msglen = read(R.buffer, UInt32)

# Then read up to that length
bytes = read(R.buffer, msglen)

Golang端写入代码 #

enc, err := os.OpenFile("data/live.bin", os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0660)
if err != nil {
    log.Error("Error in File Create!", err.Error())
    panic(err)
}
msgLen := make([]byte, 4)
for {
    msg := []byte("mymessage")
    binary.LittleEndian.PutUint32(msgLen, uint32(len(msg)))
    _, err := enc.Write(msgLen)
    if err != nil {
        log.Fatal(err)
    }
    // Write message
    _, err = enc.Write(msg)
    if err != nil {
        log.Fatal(err)
    }
    time.Sleep(5 * time.Second)
}

这个报错和Julia底层调用方式无关，核心是对普通磁盘文件的IO语义存在认知偏差：

• 普通磁盘文件不属于流式IO设备，Julia的read方法读取普通文件时，只要当前读指针到达了文件当前可见的末尾位置，就会直接抛出EOF错误，不会阻塞等待写入端追加新内容——哪怕写入端正持有文件打开句柄未关闭。
• 额外影响因素：Go写入文件默认会经过操作系统页缓存，写入后如果没有主动调用刷盘方法，刚写入的内容可能还停留在内存缓存中未落盘，Julia读取时感知不到这部分数据，会更早触发EOF。

方案1：适配普通文件语义，增加轮询判断+主动刷盘 #

不需要更换传输介质，修改两端代码即可实现连续读取：

• Go端每次写入完成后主动调用刷盘方法，确保数据对读端可见：在两次enc.Write调用完成、time.Sleep之前加一行enc.Sync()。
• Julia端放弃直接调用固定长度read的逻辑，先判断当前可读字节数，字节不足时短暂等待重试，只有确认写入端关闭文件时才退出：

R.buffer = open("data/live.bin", "r")
while isopen(R.buffer)
    # 等待长度字段字节写满
    while bytesavailable(R.buffer) < 4
        sleep(0.1)
        if eof(R.buffer)
            close(R.buffer)
            return
        end
    end
    msglen = read(R.buffer, UInt32)
    # 等待消息体字节写满
    while bytesavailable(R.buffer) < msglen
        sleep(0.1)
        if eof(R.buffer)
            close(R.buffer)
            return
        end
    end
    bytes = read(R.buffer, msglen)
    # 此处添加自定义的消息处理逻辑
end
close(R.buffer)

方案2：改用命名管道（FIFO）实现原生阻塞流语义 #

如果不想写轮询逻辑，可以更换传输介质为命名管道，获得真正的流阻塞读取体验：

• 先在系统中创建命名管道，Linux/macOS下直接执行命令mkfifo data/live.bin即可。
• 原有Julia读取代码基本不需要修改，打开管道后read操作会在数据不足时自动阻塞，不会提前抛出EOF。
• Go端打开文件时去掉os.O_CREATE标志（管道已提前创建），其余写入逻辑不变，注意不要加os.O_TRUNC标志，管道不支持截断操作。

内容的提问来源于stack exchange，提问作者BAR