如何让Alluxio显示目录下所有尚未被访问的文件

该表现由Alluxio默认的元数据按需加载机制导致。对接S3这类对象存储作为底层存储时，Alluxio默认不会在挂载环节全量拉取底层存储的所有对象元数据，仅当用户主动访问指定路径、或通过Alluxio写入新文件时，才会同步对应路径的元数据到自身元数据空间，因此直接列目录时无法看到从未被访问过的存量S3对象。

根据使用场景，可以选择以下任意一种方式实现存量文件可见：

• 挂载时开启递归元数据加载
  执行挂载命令时携带递归加载元数据的参数，挂载过程中Alluxio会自动全量扫描目标S3路径下的所有对象，将元数据全部同步完成后才会结束挂载流程，挂载完成后直接执行列目录操作即可看到所有存量文件。命令参考：

  alluxio fs mount --option alluxio.underfs.s3a.recursive.load.metadata=true alluxio://s3/ s3a://<替换为你的目标S3桶路径>/
  

  若桶内存量对象数量达到百万级以上，首次挂载的扫描耗时会明显增加，属于正常现象。
• 对已挂载路径主动触发元数据加载
  若已经完成S3桶挂载、不想重新执行挂载操作，可以直接调用元数据加载命令，递归同步指定路径下的所有底层存储元数据，执行完成后对应路径下的存量对象即可正常展示。命令参考：

  alluxio fs loadMetadata -R alluxio://s3/
  

  命令中-R参数代表递归处理当前路径下的所有子目录、文件；如果仅需要展示某个子目录下的存量文件，可将命令中的路径替换为对应子目录路径，减少扫描耗时。
• 配置元数据自动同步（适配S3存在外部写入的场景）
  若S3桶除了Alluxio之外还会被其他服务直接写入、删除对象，可以修改Alluxio配置设置元数据自动同步间隔，访问路径时若距离上次同步时间超过设定阈值，Alluxio会自动拉取对应路径的最新元数据，无需手动触发加载。
  需要修改的配置项为alluxio.user.file.metadata.sync.interval，配置值单位为毫秒，例如设置为3600000即代表每小时自动同步一次访问路径的元数据。

注意：若S3桶内对象规模超过千万级，不建议开启全路径递归元数据加载，大量元数据会占用过多Alluxio Master的内存资源，影响服务稳定性，这类场景建议按业务目录分批次、按需加载元数据即可。

内容的提问来源于stack exchange，提问作者ChanChan Mao