Memgraph直接导入.csv/.tsv.gz文件的高效方案及替代方法问询

1. 原生Cypher LOAD语句（直接处理压缩文件） #

Memgraph支持直接读取.gz压缩的CSV/TSV文件，无需提前解压，完全绕开Python ORM的中间层开销，是最便捷的高效导入方式。

TSV.gz导入示例： #

# 带周期性提交（避免内存溢出），每5000条数据提交一次
USING PERIODIC COMMIT 5000
LOAD TSV FROM "/本地路径/你的文件.tsv.gz" WITH HEADER AS row
CREATE (n:YourLabel {id: toInteger(row.id), name: row.name});

核心优化点： #

• USING PERIODIC COMMIT可根据数据量调整提交批次，默认1000条；
• 支持远程HTTP/HTTPS路径的压缩文件，直接替换本地路径即可；
• 结合MATCH/MERGE语句可实现增量导入，避免重复创建节点/关系。

2. 用mgconsole批量执行导入脚本 #

利用Memgraph自带的mgconsole工具执行Cypher导入脚本，比Python ORM效率更高，因为是数据库原生交互，无额外封装开销。

操作流程： #

1. 编写Cypher导入脚本（比如import_data.cyp）：

USING PERIODIC COMMIT 10000
LOAD CSV FROM "/本地路径/data.csv.gz" WITH HEADER AS row
MATCH (a:SourceNode {id: toInteger(row.source_id)})
MATCH (b:TargetNode {id: toInteger(row.target_id)})
CREATE (a)-[:CONNECTS {score: toFloat(row.score)}]->(b);

2. 终端执行脚本：

mgconsole < import_data.cyp

3. 离线导入工具（超大规模数据首选） #

如果数据量达到几十GB级别，用Memgraph官方的离线导入工具是效率最高的方案——直接生成数据库文件，启动Memgraph后即可使用，完全跳过数据库运行时的写入开销。

基本步骤： #

1. 编写节点/关系配置文件（YAML格式）：

# nodes.yaml
- file: "/本地路径/nodes.tsv.gz"
  label: User
  id:
    property: user_id
  properties:
    - name: username
      type: string
    - name: age
      type: int

# relationships.yaml
- file: "/本地路径/relationships.tsv.gz"
  type: FOLLOWS
  start_id:
    property: follower_id
  end_id:
    property: followee_id

2. 执行导入命令：

memgraph-import --nodes nodes.yaml --relationships relationships.yaml --database my_data.db

3. 启动Memgraph时指定生成的数据库文件即可直接使用。

与Python+ORM的效率对比 #

以上三种方法均避免了Python ORM的对象映射、网络请求（远程连接场景）等额外开销，速度比Python+ORM提升数倍至数十倍，其中离线导入工具适合处理超大规模数据集。

内容的提问来源于stack exchange，提问作者Moraltox