Python 2.7读取1GB日志文件至指定关键词并获取时间戳问题求助

Hey there! Let's fix that issue with your log file reading and get you the timestamp you need.

为什么你的代码只读取了少量行？ #

最常见的原因是编码不匹配：默认情况下，open()函数使用系统默认编码打开文件，如果你的1GB日志文件用的是其他编码（比如带BOM的UTF-8、UTF-16，或者某些特定编码），Python在读取到无法解码的字符时会抛出异常，导致读取提前终止。另外，日志文件开头的特殊二进制内容也可能干扰读取流程。

先修复读取前100行的问题 #

试试指定编码并添加错误处理，这样能跳过无法解码的字符，保证读取继续：

i = 1
# 替换成你日志实际的编码，比如utf-8、gbk等，不确定的话可以用下面的方法检测
with open(sFile, encoding='utf-8', errors='ignore') as fileobject:
    for line in fileobject:
        print(line.strip())
        i += 1
        if i > 100:
            break

如果不知道日志的编码，可以用chardet库先检测：

import chardet

# 读取文件前10KB内容来检测编码
with open(sFile, 'rb') as f:
    detection_result = chardet.detect(f.read(10000))

print(f"检测到的文件编码: {detection_result['encoding']}")

把检测到的编码替换到open()的encoding参数里即可。

实现核心需求：找到目标行并提取时间戳 #

现在调整代码，直接定位包含transitioning to different mode的行，并提取时间戳（这里假设时间戳在每行开头，格式类似[2024-05-20 15:30:00]，你可以根据实际日志格式修改提取逻辑）：

target_keyword = "transitioning to different mode"

with open(sFile, encoding='utf-8', errors='ignore') as fileobject:
    for line in fileobject:
        if target_keyword in line:
            # 示例：提取行首的时间戳（根据你的日志格式调整）
            # 假设行格式是 "[2024-05-20 15:30:00] ... transitioning to different mode ..."
            timestamp = line.split(']')[0].strip('[')
            print(f"找到目标行，时间戳: {timestamp}")
            # 如果只需要第一个匹配的行，就保留break；如果要所有匹配行，删除break
            break

补充说明 #

• Python的for line in fileobject是逐行读取，不会把1GB的文件全部加载到内存，所以不用担心内存溢出问题，效率很高。
• 如果你的日志换行符不是标准的\n（比如Windows的\r\n），Python默认的读取方式也能处理，不需要额外设置。

内容的提问来源于stack exchange，提问作者Desi Trendz