无法在AWS Neptune上运行Gremlin OLAP查询求助

错误原因 #

你使用的conf/hadoop/hadoop-gryo.properties是TinkerPop默认的HadoopGraph配置，用于读取本地或HDFS上的Gryo格式图数据，并未指定Neptune作为数据源，因此执行查询时提示缺少输入路径。要结合SparkGraphComputer操作Neptune，需要配置Neptune专属的HadoopGraph参数。

解决步骤 #

1. 创建Neptune-Spark专属配置文件 #

在Gremlin Console的conf/hadoop/目录下新建neptune-spark.properties文件，填入以下配置（替换占位符为你的实际信息）：

gremlin.graph=org.apache.tinkerpop.gremlin.hadoop.structure.HadoopGraph
# 指定Neptune的GraphReader/Writer
gremlin.hadoop.graphReader=com.amazonaws.services.neptune.hadoop.NeptuneGraphReader
gremlin.hadoop.graphWriter=com.amazonaws.services.neptune.hadoop.NeptuneGraphWriter
# Neptune端点（替换为你的Neptune实例地址，无需http前缀）
gremlin.hadoop.inputLocation=neptune://<你的Neptune端点>:8182/gremlin
gremlin.hadoop.outputLocation=neptune://<你的Neptune端点>:8182/gremlin
# Spark集群配置，测试阶段可使用local[*]，生产环境根据Spark部署模式调整
spark.master=local[*]
# 资源配置，根据EC2实例内存调整
spark.executor.memory=4g
spark.driver.memory=4g
# 若Neptune启用IAM认证，添加以下配置（替换为你的区域和IAM角色ARN）
# aws.region=<你的AWS区域>
# gremlin.hadoop.aws.iam.role.arn=<你的IAM角色ARN>

2. 安装Neptune Hadoop依赖 #

在Gremlin Console中执行以下命令，安装适配TinkerPop 3.6.0的Neptune Hadoop插件：

:install com.amazonaws aws-neptune-gremlin-java-sdk 2.6.26
:install com.amazonaws aws-neptune-hadoop 2.6.26

安装完成后退出Console，重新启动。

3. 重新测试SparkGraphComputer #

启动Gremlin Console，激活Spark插件并使用新配置连接：

$ bin/gremlin.sh

gremlin> :plugin use tinkerpop.spark
gremlin> graph = GraphFactory.open('conf/hadoop/neptune-spark.properties')
gremlin> g = traversal().withEmbedded(graph).withComputer(SparkGraphComputer)
gremlin> g.V().count()

额外注意事项 #

• 确保EC2实例的安全组允许访问Neptune实例的8182端口。
• 若启用Neptune IAM认证，需确保EC2实例关联的IAM角色拥有访问Neptune的权限。
• Spark资源配置需匹配EC2实例的硬件规格，避免内存不足。

内容的提问来源于stack exchange，提问作者Malgi