使用R语言arrow包dataset API转换TSV到Parquet时出错求助

以下是针对你遇到的问题的具体解决方案：

1. 手动指定Schema，避免自动推断错误 #

open_dataset默认会基于前若干行数据推断列类型，若推断的类型与后续行实际数据不匹配（比如误将文本列推断为数值型），就会触发无效值报错。而read_tsv_arrow可能在类型推断上更宽松或准确。

解决步骤：

• 先用read_tsv_arrow读取一小部分数据（比如前1000行），获取正确的Schema：

  sample_data <- read_tsv_arrow("your_file.tsv", n_max = 1000)
  correct_schema <- schema(sample_data)
  

• 再用这个Schema初始化open_dataset：

  ds <- open_dataset("your_file.tsv", format = "tsv", schema = correct_schema)
  write_dataset(ds, "output_parquet")
  

2. 精准定位问题行的实际内容 #

报错提示的行号可能因文件中的换行符、引号包裹内容等问题，与你直接打开文件看到的行号不匹配。可以用Arrow的内置方法定位该行：

ds <- open_dataset("your_file.tsv", format = "tsv")
problem_row <- ds %>% filter(row_number() == 9107) %>% collect()
print(problem_row)

这能准确获取Arrow读取时识别的第9107行数据，排查是否存在隐藏的格式问题（比如制表符错位、特殊字符）。

3. 调整Schema推断参数 #

增大open_schema的推断样本量，让类型推断更准确：

ds <- open_dataset("your_file.tsv", format = "tsv", infer_schema_length = 10000)
write_dataset(ds, "output_parquet")

默认infer_schema_length为1000，若前1000行都是数值，但后续行出现文本，就会导致推断错误。

4. 检查文件格式细节 #

• 确认TSV文件的分隔符确实是制表符（\t），没有混用逗号或其他符号；
• 检查是否存在引号包裹的字段中包含换行符，导致Arrow识别的行号与文本编辑器显示的不一致；
• 验证文件编码是否统一，避免因编码问题导致的字符解析错误。

内容的提问来源于stack exchange，提问作者larry77