Python如何从URL的txt文件指定行开始追加内容到本地文件
按行切片读取URL文本并追加到本地文件的实现方法
你当前用shutil.copyfileobj是直接全量复制二进制流,没法做行级过滤,只要把url返回的类文件对象按行迭代,跳过指定行数后写入即可,以下是可直接使用的实现:
跳过首行的最简实现
import urllib.request as ur skip_lines = 1 # 要跳过的行数,跳首行设为1即可 with ur.urlopen("#link") as link, open("#filePath", 'ab') as Data: # 跳过指定行数 for _ in range(skip_lines): next(link) # 剩余行逐行写入 for line in link: Data.write(line)
进阶:自定义起始行(用islice更简洁)
如果需要灵活指定从第N行开始读,可以用itertools.islice简化代码:
import urllib.request as ur from itertools import islice start_line = 2 # 从第2行开始读(行号从1计数),对应跳过前1行 with ur.urlopen("#link") as link, open("#filePath", 'ab') as Data: # islice第二个参数是要跳过的前N行,第三个参数留空代表读到末尾 for line in islice(link, start_line - 1, None): Data.write(line)
注意事项
- 上述代码和你原有实现逻辑完全兼容:urlopen返回的是二进制流,写入本地用
ab模式,不需要额外编解码转换,不会改变原有数据格式。 - 如果你的txt文件是非UTF-8编码(比如GB2312)且需要做内容处理,可以把行数据解码后再操作,最后编码写入即可,示例如下:
import urllib.request as ur with ur.urlopen("#link") as link, open("#filePath", 'a', encoding='gb2312') as Data: next(link) # 跳首行 for line in link: # 按文件实际编码解码 content = line.decode('gb2312') # 这里可以加额外的内容处理逻辑 Data.write(content)
内容的提问来源于stack exchange,提问作者NeedHelp
相关产品推荐
相关产品推荐

