多线程环境下Fortinet配置脚本输出文件保存问题求助

看起来你在多线程环境下运行Fortinet设备配置脚本时，遇到了输出无法正确写入文件的问题——这在多线程共享文件资源时非常常见，核心原因是线程间的文件操作没有同步，导致了竞争条件，数据要么丢失要么写入混乱。

先梳理下你现有代码的几个问题：

• 每个线程独立打开同一个文件写入，多线程同时操作时，操作系统的文件缓冲区会出现冲突，最终导致部分数据没被正确写入磁盘。
• 你没有用with语句自动管理文件，也没显式关闭文件，这可能导致缓冲区的数据无法及时刷新到硬盘。
• 你的分隔线print语句没正确格式化i和ip，虽然不影响写入，但会降低日志的可读性。

下面是具体的解决办法，核心是用线程锁同步文件写入操作，确保同一时间只有一个线程能访问文件：

1. 引入线程锁并修改写入逻辑 #

我们用Python的threading.Lock创建全局锁，所有线程在写入文件前必须获取锁，写完后自动释放，彻底避免竞争。同时用with语句自动管理文件的打开和关闭：

import threading
import time
from netmiko import ConnectHandler  # 假设你使用Netmiko连接设备

# 创建全局线程锁，所有线程共享这个锁
file_write_lock = threading.Lock()

def configure_fortinet(ip, thread_id):
    # 初始化设备连接（根据你的实际配置修改参数）
    device = {
        "device_type": "fortinet",
        "ip": ip,
        "username": "your_username",
        "password": "your_password",
        # 如有需要，添加secret等其他参数
    }
    
    try:
        net_connect = ConnectHandler(**device)
        # 执行配置文件中的命令
        output = net_connect.send_config_from_file(config_file='Cmd_File')
        
        print(f"{thread_id}: Printing output for {ip}...")
        
        # 使用锁同步文件写入
        with file_write_lock:
            with open("Config", 'a', encoding='utf-8') as save_file:
                # 写入带标识的分隔线
                separator = f"\n********************* Thread {thread_id} - IP {ip} {'*'*30}\n"
                save_file.write(separator)
                save_file.write(output)
                save_file.flush()  # 强制刷新缓冲区，确保数据立即写入磁盘
        
        print(output)
        net_connect.disconnect()
    except Exception as e:
        print(f"Thread {thread_id} (IP {ip}) encountered error: {str(e)}")

2. 方案为什么有效？ #

• threading.Lock保证同一时间只有一个线程能执行锁块内的代码，彻底避免多线程写入冲突。
• with open(...)语句会自动在代码块结束时关闭文件，无需手动调用close()，同时确保缓冲区数据被刷新。
• 添加了异常处理，避免单个线程出错导致整个脚本崩溃，也方便排查问题。

额外建议 #

• 如果线程数量较多，可以在主线程提前打开文件，将文件对象和锁一起传给子线程，减少重复打开/关闭文件的开销（注意要等所有子线程完成后再关闭文件）。
• 可以在写入时添加时间戳，方便后续排查配置执行顺序：导入from datetime import datetime，然后在分隔线里加入datetime.now().strftime('%Y-%m-%d %H:%M:%S')。

内容的提问来源于stack exchange，提问作者Ranjith Royals