下载LAION-400M数据集时遭遇IsADirectoryError错误求助

错误原因 #

你传入的--url_list laion400m-meta是目录路径，但img2dataset的--url_list参数需要的是具体元数据文件路径（单个parquet文件、含路径列表的txt文件，或通配符匹配的多文件），程序尝试读取目录时触发了IsADirectoryError。

解决方法 #

根据你的元数据文件情况，选择以下任意一种方式修改命令：

方式1：用通配符匹配目录下所有parquet文件

如果laion400m-meta目录下是全部LAION-400M元数据文件，直接用通配符匹配：

img2dataset --url_list laion400m-meta/*.parquet --input_format "parquet"\
         --url_col "URL" --caption_col "TEXT" --output_format webdataset\
           --output_folder laion400m-data --processes_count 16 --thread_count 128 --image_size 256\
             --save_additional_columns '["NSFW","similarity","LICENSE"]' --enable_wandb True

方式2：指定单个元数据文件

如果只想先处理某一个元数据文件（比如metadata_0.parquet），直接写具体路径：

img2dataset --url_list laion400m-meta/metadata_0.parquet --input_format "parquet"\
         --url_col "URL" --caption_col "TEXT" --output_format webdataset\
           --output_folder laion400m-data --processes_count 16 --thread_count 128 --image_size 256\
             --save_additional_columns '["NSFW","similarity","LICENSE"]' --enable_wandb True

方式3：用txt文件列出所有元数据路径

若需要灵活选择文件，先创建urls.txt，每行写一个元数据文件的绝对/相对路径：

laion400m-meta/metadata_0.parquet
laion400m-meta/metadata_1.parquet
...

再修改命令指向这个txt文件：

img2dataset --url_list urls.txt --input_format "parquet"\
         --url_col "URL" --caption_col "TEXT" --output_format webdataset\
           --output_folder laion400m-data --processes_count 16 --thread_count 128 --image_size 256\
             --save_additional_columns '["NSFW","similarity","LICENSE"]' --enable_wandb True

内容的提问来源于stack exchange，提问作者phantrang