如何使用TinkerPop/Gremlin处理存储图数据的大型.kryo文件

1. Neptune分块导出配置 #

• 从Neptune导出数据时，直接配置分片参数，将导出任务拆分为多个大小可控的Kryo分片文件，推荐单分片大小控制在10-20GB区间，从根源上避免单文件过大导致的加载失败问题
• 导出时默认会自动按顶点、边分类存储，也可额外配置按业务标签维度拆分分片，更适配后续定向查询的按需加载需求

2. 超大规模Kryo数据集的加载与查询方案 #

• 禁止使用本地Gremlin控制台直接加载全量数据，优先选择支持分布式加载的TinkerPop兼容计算框架，例如TinkerPop Spark-Gremlin，可直接读取分布式存储上的多分片Kryo文件，分布式执行Gremlin查询
• 若仅需在本地做小范围查询，可编写轻量Gremlin脚本实现按需加载：仅加载查询依赖的分片文件到内存即可，无需全量加载，参考示例如下：

// 按需加载指定分片的Kryo文件
graph = TinkerGraph.open()
graph.io(IoCore.gryo()).readVertices("your-storage-path/vertex-shard-001.kryo")
graph.io(IoCore.gryo()).readEdges("your-storage-path/edge-shard-001.kryo")
// 执行目标查询
g = graph.traversal()
g.V().hasLabel("user").count()

• 若需要频繁做全量离线分析，可将多分片Kryo文件直接导入JanusGraph等分布式图数据库集群，后续直接在集群上执行Gremlin查询即可

3. 性能优化建议 #

• 导出的Kryo分片文件优先存储在与计算集群同区域的对象存储中，可大幅降低跨网传输开销，提升加载速度
• 执行离线查询前可提前对Kryo文件做序列化优化，开启TinkerPop的Kryo压缩配置，可降低30%-50%的文件体积
• 避免对1TB以上全量数据做无过滤的遍历查询，所有查询尽量增加标签、属性过滤条件，减少无效数据扫描范围

内容的提问来源于stack exchange，提问作者Ayush