寻求Julia中具备磁盘存储及特定数组操作特性的Array-like类型

嘿，我整理了几个完全符合你需求的Julia工具，刚好匹配你要的磁盘驻留类数组、按需读写、支持常用操作这些特性：

1. DiskArrays.jl #

这货就是专门为磁盘上的类数组场景设计的，完美踩中你的核心需求：

• 按需加载：只会把你实际访问的元素读进内存，不用整个数组都占着内存
• 基础操作：完全支持getindex、setindex!，改单个元素直接写磁盘，不用动整个数组
• 复合类型：随便存你自定义的复合类型，只要配合JLD2或者Zarr这种序列化格式就行
• 动态操作：原生虽然没直接支持push!/pop!，但结合Zarr的可变维度功能就能实现；vcat也能通过拼接磁盘分块搞定，效率还不错

2. JuliaDB #

你提到的JuliaDB其实完全能打，它的IndexedTable或者NDSparse结构可以直接把数据持久化到磁盘：

• 按需读写：只加载你需要的元素，单元素修改、读取都没问题
• 动态操作：原生就支持push!、pop!、shift!、unshift!这些动态数组操作，vcat合并数据集更是小菜一碟
• 复合类型：完全支持存储复合类型，还能给复合类型的字段建索引，查起来更快
• 小提醒：它的API和原生数组有点不一样，但适配起来很简单，学习成本很低

3. Zarr.jl #

基于Zarr格式的磁盘数组实现，分块存储的设计天生适合你的需求：

• 单元素操作：支持直接读写单个元素，不用动整个数组，按需加载也做得很好
• 动态功能：可以建可变维度的数组，轻松实现push!/pop!这类操作；vcat通过合并分块就能完成
• 复合类型：只要是Julia能序列化的类型（包括你自定义的复合类型）都能存
• 额外buff：还能和其他语言的Zarr工具交互，跨语言协作很方便

对了，你提到的SharedArrays是给多进程共享内存用的，数据还是在内存里，不满足磁盘存储的需求，所以可以pass掉

场景选型建议 #

• 想要最贴近原生数组的体验：选DiskArrays.jl准没错
• 既要数组操作又要数据索引功能：JuliaDB更合适
• 需要跨语言兼容或者分块存储优化：Zarr.jl是最佳选择

内容的提问来源于stack exchange，提问作者plan