Windows 10下Nutch 2.3.1配置Cassandra 3.11.1后仍请求Hadoop问题

咱们一步步来定位这个配置问题，毕竟Nutch 2.x切换存储后端很容易在细节上疏忽：

• 检查nutch-site.xml的核心存储配置
  打开你的Nutch主目录下的conf/nutch-site.xml，确认以下配置项：

  <property>
    <name>storage.data.store.class</name>
    <value>org.apache.gora.cassandra.store.CassandraStore</value>
  </property>
  <property>
    <name>gora.properties.file</name>
    <value>conf/gora.properties</value> <!-- 确保路径指向正确的gora配置文件 -->
  </property>
  

  别让这个值还是默认的org.apache.gora.hbase.store.HBaseStore，这是最容易犯的错。

• 验证gora.properties的后端设置
  打开conf/gora.properties，找到以下关键配置：

  # 确保默认存储后端是Cassandra，且未被注释
  gora.datastore.default=org.apache.gora.cassandra.store.CassandraStore
  # 检查Cassandra连接参数
  gora.cassandra.servers=localhost
  gora.cassandra.port=9042
  gora.cassandra.keyspace=nutch
  

  这里要注意，gora.cassandra.keyspace指定的键空间需要提前在Cassandra中创建（用cqlsh执行CREATE KEYSPACE nutch WITH replication = {'class':'SimpleStrategy', 'replication_factor':1};），否则Nutch启动时可能因无法创建表而 fallback 到默认存储。

• 确认依赖包是否完整
  检查Nutch的lib目录下是否存在gora-cassandra-*.jar、cassandra-driver-core-*.jar等相关依赖包。如果这些包缺失，Nutch会找不到Cassandra存储类，自动切换到HBase/Hadoop的默认实现。
  另外在Cygwin环境下，要确保这些jar包有可读权限，避免因权限问题无法加载。

• 清理构建缓存并重新编译
  如果之前用HBase跑过Nutch，可能存在旧的构建缓存残留。执行以下命令清理并重新生成运行环境：

  ant clean
  ant runtime
  

  这样能确保新的配置被正确加载。

• 查看调试日志定位问题
  执行爬取命令时加上调试日志参数，比如：

  bin/nutch crawl urls -depth 1 -topN 5 -log debug
  

  查看日志里是否有Cassandra的连接日志，或者是否有“找不到Cassandra存储类”“无法连接Cassandra”这类报错，这些日志能直接帮你定位具体问题。

• 确认Cassandra中的键空间和表存在
  用cqlsh连接Cassandra后，执行：

  USE nutch;
  DESCRIBE TABLES;
  

  检查是否存在webpage等Nutch需要的表。如果没有，说明Nutch启动时未能自动创建表，大概率是连接配置错误，回头检查gora.properties里的Cassandra地址、端口和键空间配置。

内容的提问来源于stack exchange，提问作者Kaliyug Antagonist