如何用neo4j-admin import导入带差异化属性的海量Neo4j实体

针对你这种2亿实体、百万+实体类型的海量数据导入场景，确实不能用全属性列的CSV——那冗余量简直爆炸。先给你几个可行的方案，都是基于neo4j-admin import和后续批量处理结合的，既保证导入速度，又避免冗余：

方案1：按实体类型拆分CSV文件（适合类型数量有限或单类型数据量大的场景） #

虽然你说实体类型超100万，但如果其中大部分类型的数据量很小，这个方案基本不现实；但如果是部分核心类型占了大部分数据，还是可以考虑试试：

• 每个实体类型对应一个节点CSV文件，比如books.csv、cars.csv，每个文件只包含该类型的基础属性+专属属性，表头格式示例：

  # books.csv
  :ID,label:label,description,date,author,first_published
  book_1,Book,"A great novel",2000-01-01,"John Doe",1999-05-15
  book_2,Book,"Sci-fi classic",1965-03-02,"Jane Smith",1965-03-02
  

  # cars.csv
  :ID,label:label,description,date,make,model
  car_1,Car,"Red sedan",2022-06-10,Tesla,Model 3
  car_2,Car,"Blue SUV",2021-09-01,BMW,X5
  

• 导入时用--nodes参数指定所有节点文件（可以用通配符--nodes *.csv，或者分多次指定），关系文件则用全局唯一的:ID关联源和目标：

  neo4j-admin import --database=myDB \
    --nodes=books.csv \
    --nodes=cars.csv \
    --relationships=relationships.csv
  

• 优点：无属性冗余，导入后节点属性直接可用，查询友好；缺点：100万+类型的话，维护这么多CSV文件完全不现实，优先pass这个方案。

方案2：用Map类型存储专属属性（强烈推荐给百万+类型的场景） #

这个方案完美解决类型过多的问题，只需要一个节点CSV文件，把专属属性打包成JSON字符串放在单独列里，导入后再转成Neo4j的Map属性：

步骤1：准备CSV文件 #

CSV只保留基础属性+一个properties列（存储专属属性的JSON字符串），注意JSON要转义（比如双引号用""或者\"，适配CSV解析规则）：

# entities.csv
:ID,label:label,description,date,properties
entity_1,Book,"A great novel",2000-01-01,"{""author"":""John Doe"",""first_published"":""1999-05-15""}"
entity_2,Car,"Red sedan",2022-06-10,"{""make"":""Tesla"",""model"":""Model 3""}"
entity_3,Person,"Famous writer",1950-02-20,"{""nationality"":""American""}"

步骤2：用neo4j-admin import导入 #

先把properties作为字符串属性导入：

neo4j-admin import --database=myDB \
  --nodes=entities.csv \
  --relationships=relationships.csv

步骤3：批量转换为Map属性 #

导入完成后，用APOC的apoc.periodic.iterate批量把字符串转成Map，并添加为节点的动态属性（需提前安装APOC插件）：

CALL apoc.periodic.iterate(
  "MATCH (n) WHERE n.properties IS NOT NULL RETURN n",
  "SET n += apoc.convert.fromJsonMap(n.properties) REMOVE n.properties",
  {batchSize: 10000, parallel: true}
)
YIELD batches, total
RETURN batches, total;

• 优点：只需要维护一个节点CSV，完全无属性冗余，适配百万+类型；缺点：Map里的属性不能直接创建单属性索引，如果需要对某个专属属性做高频查询，可以后续单独提取成节点的独立属性（比如针对Book类型的author，用Cypher批量执行SET n.author = n.properties.author）。

方案3：先导入基础节点，再批量补充专属属性 #

如果你的专属属性数据可以按类型单独导出（比如每个类型一个小CSV），可以先导入只有基础属性的节点，再用APOC批量匹配节点并添加专属属性：

步骤1：导入基础节点CSV #

# base_entities.csv
:ID,label:label,description,date
entity_1,Book,"A great novel",2000-01-01
entity_2,Car,"Red sedan",2022-06-10

导入命令：

neo4j-admin import --database=myDB \
  --nodes=base_entities.csv \
  --relationships=relationships.csv

步骤2：批量补充专属属性 #

针对每个类型的专属属性CSV（比如book_properties.csv），用APOC读取并更新：

# book_properties.csv
:ID,author,first_published
entity_1,John Doe,1999-05-15

对应的Cypher：

CALL apoc.periodic.iterate(
  "CALL apoc.load.csv('file:///book_properties.csv') YIELD map AS props",
  "MATCH (n:Book) WHERE n.id = props.:ID SET n += props",
  {batchSize: 10000, parallel: true}
)

如果类型太多，可以写脚本批量生成这些Cypher语句执行。

• 优点：基础属性和专属属性分离，导入灵活；缺点：类型过多时脚本维护成本高，不如方案2省心。

关键注意事项 #

1. 全局唯一ID：所有实体的:ID必须全局唯一，关系文件里的:START_ID和:END_ID要严格对应这个ID，避免关联错误。
2. 内存配置：导入前要调大Neo4j的堆内存和页缓存，比如neo4j.conf里的dbms.memory.heap.max_size和dbms.memory.pagecache.size，确保海量数据导入不会OOM。
3. 索引创建：所有导入完成后再创建索引，不要在导入前创建，否则会严重拖慢导入速度。
4. CSV格式校验：导入前用工具校验CSV格式（比如csvkit），避免因格式错误导致导入失败。

内容的提问来源于stack exchange，提问作者raven-king