从EC2复制指定目录内容到S3,如何正确排除指定子目录?
解决AWS S3 cp命令排除子目录的问题
嘿,我来帮你搞定这个问题!你遇到的情况是因为aws s3 cp命令里的--exclude规则是基于源路径下的相对路径来匹配的,而不是你当前工作目录的绝对路径。
先分析下你原来的命令问题:你指定的源是data/,但--exclude 'data/new/*'这种写法是把data/当成了当前目录的子目录来匹配,但实际上命令在遍历data/内部时,文件的相对路径是201707/new/*和201707/new1/*,所以你的排除规则根本没命中这些内容,自然new和new1目录就被复制到S3里了。
给你两种正确的解决方案:
方案一:直接指定目标源目录(推荐)
既然你只想复制data/201707/下的内容,干脆直接把源路径设为这个目录,然后排除里面的new和new1子目录,这样逻辑更清晰:
# 排除new和new1目录下的所有内容(目录本身会被创建) aws s3 cp data/201707/ s3://bucket-name/data/201707/ --recursive --exclude 'new/*' --exclude 'new1/*' # 如果想连目录本身都不复制到S3,就用这个写法(末尾加斜杠匹配整个目录) aws s3 cp data/201707/ s3://bucket-name/data/201707/ --recursive --exclude 'new/' --exclude 'new1/'
方案二:保留源路径为data/,精准匹配要复制的内容
如果你因为某些原因必须用data/作为源路径,那需要先明确包含201707下的内容,再排除其中的new和new1,最后排除所有其他无关内容(注意规则顺序很重要,AWS会按顺序匹配规则):
aws s3 cp data/ s3://bucket-name/data/201707/ --recursive \ --include '201707/**' \ --exclude '201707/new/**' \ --exclude '201707/new1/**' \ --exclude '*'
这里的**用来匹配目录下的所有层级内容,最后一条--exclude '*'是为了确保只复制我们通过--include指定的201707目录内容,其他data/下的内容(如果有的话)不会被复制。
内容的提问来源于stack exchange,提问作者Gowtham Chand
相关产品推荐
相关产品推荐

