在Neo4j中导入推特TSV文件时触发ArrayIndexOutOfBoundsException的原因及异常行排查方法

你遇到的ArrayIndexOutOfBoundsException: Index 4 out of bounds for length 4其实很好理解：APOC在解析某一行数据时，试图访问第5个字段（数组索引从0开始），但这一行实际只有4个字段。结合你的情况，前10万行导入正常，问题肯定出在10万行之后的某一行，要么字段数量和表头不匹配，要么存在格式错误（比如未转义的制表符、换行符）。下面给你一套定位和解决的方案：

一、快速定位异常行 #

1. 二分法缩小范围 #

既然你已经知道前10万行没问题，那就用二分法逐步排查：

• 先试skip: 100000, limit: 50000，如果报错，就把limit改成25000；如果不报错，就把skip调到150000继续试。
• 重复这个过程，很快就能锁定出问题的小范围，比如105000-107500行之间。

2. 让APOC输出行号 #

修改你的Cypher语句，添加lineNo输出，这样报错时能直接看到是哪一行出问题：

CALL apoc.load.csv("conversations_until_2021_06_18.tsv", { 
  sep: "TAB", 
  arraySep: ",", 
  skip: 100000, 
  mapping: { 
    hashtags: {array: true}, 
    mentions: {array: true}, 
    ref_id: {array: true}, 
    reply_count: {type: "int"}, 
    retweet_count: {type: "int"}, 
    quote_count: {type: "int"}, 
    like_count: {type: "int"} 
  } 
}) 
YIELD map AS tweet, lineNo 
CREATE (t:Tweet) SET t = tweet

注意这里的lineNo是跳过前10万行后的相对行号，实际行号要加上100000。

3. 用命令行工具批量检查字段数 #

如果文件太大，手动找太麻烦，用命令行工具快速找出所有字段数不对的行：

• Linux/macOS：假设你的表头有18个字段（数了下你的数据示例，确实是18个），执行这个命令：

  awk -F'\t' '{print NF, NR}' conversations_until_2021_06_18.tsv | awk '$1 != 18'
  

  它会输出所有字段数不等于18的行号和对应的字段数。
• Windows PowerShell：执行这段脚本：

  $file = "conversations_until_2021_06_18.tsv"
  Get-Content $file | ForEach-Object -Begin {$line=1} -Process {
      $fields = $_ -split "`t"
      if ($fields.Count -ne 18) {
          Write-Host "Line $line has $($fields.Count) fields"
      }
      $line++
  }
  

二、常见问题原因及修复 #

找到异常行后，大概率是这几种情况：

1. 字段数量不匹配：要么某行末尾少了几个制表符，要么文本内容里藏了未转义的制表符，导致被拆成了更多字段。手动修正该行，或者预处理时把文本里的制表符转义成其他字符。
2. 换行符异常：某行的文本里有未转义的换行符，导致该行被拆成了两行，第二行字段数肯定不够。用文本编辑器统一换行符（比如改成LF），或者转义文本内的换行符。
3. 数组字段格式问题：虽然你设置了array: true，但如果某行的hashtags/mentions/ref_id字段格式有问题（比如结尾多了逗号），理论上也可能出问题，但结合你的报错信息，优先检查字段数量。

三、额外小建议 #

• 导入前先用Excel或Numbers打开TSV文件，一眼就能看到有没有行错位的情况。
• 大文件导入前，先拿前几千行测试你的mapping是否正确，没问题再批量导入。
• 如果某个字段（比如side）经常出问题，可以在APOC配置里加ignore: ["side"]，跳过这个字段。

内容的提问来源于stack exchange，提问作者Sandro Martens