Python文件监视器无法将Parquet数据写入DataFrame的问题求助

你编写的文件监视器能触发事件，但读取Parquet文件后既无输出，也无法在变量浏览器中看到DataFrame，而固定路径的简易代码可正常工作，可从以下方向排查：

1. 确认事件是否触发在目标文件上 #

FileSystemEventHandler会监听所有文件/文件夹的创建事件，包括临时文件、子文件夹，可能你触发的是文件夹事件，导致代码尝试读取文件夹（pyarrow读取文件夹会返回Dataset而非DataFrame，或静默出错）。

排查/修复：

• 在on_created开头判断是否为文件，非文件则跳过，同时打印调试信息：

  def on_created(self, event):
      print(f"触发事件：{event.event_type}，路径：{event.src_path}")
      if event.is_directory:
          print("跳过文件夹")
          return
      # 后续读取代码
  

• 改用PatternMatchingEventHandler只监听.parquet文件，避免无效触发：

  class Handler(PatternMatchingEventHandler):
      def __init__(self):
          # 仅匹配parquet后缀文件，忽略文件夹
          super().__init__(patterns=["*.parquet"], ignore_directories=True)
      
      def on_created(self, event):
          # 此处仅处理parquet文件，无需再判断文件夹
          filepath = pathlib.PureWindowsPath(event.src_path).as_posix()
          # 后续读取代码
  

2. 变量作用域导致外部无法访问DataFrame #

当前dataset是on_created方法的局部变量，函数执行完毕后会被销毁，Jupyter/Spyder的变量浏览器仅能识别全局变量或类属性。

修复：

• 声明dataset为全局变量，或保存为类实例属性：

  # 全局变量方式
  def on_created(self, event):
      # ... 路径判断代码
      global dataset
      dataset = pd.read_parquet(filepath, engine='pyarrow')
      dataset = dataset.reset_index(drop=True)
      print(dataset.head())  # 主动打印输出
  

  或使用类属性：

  class Handler(FileSystemEventHandler):
      def __init__(self):
          self.dataset = None  # 初始化类属性
      
      def on_created(self, event):
          # ... 路径判断代码
          self.dataset = pd.read_parquet(filepath, engine='pyarrow')
          self.dataset = self.dataset.reset_index(drop=True)
          print(self.dataset.head())
  

  之后在Spyder/Jupyter中，可通过event_handler.dataset查看DataFrame。

3. 文件写入未完成导致读取异常 #

固定的time.sleep(10)不可靠：若文件写入耗时超过10秒，会读取不完整的文件；若提前写完则浪费时间，且读取不完整文件可能静默返回空DataFrame。

修复：

• 改用循环检查文件是否可正常读取，直到成功：

  def wait_for_file_ready(filepath):
      while True:
          try:
              # 尝试打开并读取文件末尾，确认写入完成
              with open(filepath, 'rb') as f:
                  f.seek(-1, os.SEEK_END)
              break
          except (PermissionError, FileNotFoundError, OSError):
              time.sleep(1)
  
  # 在on_created中调用
  def on_created(self, event):
      # ... 路径判断代码
      filepath = pathlib.PureWindowsPath(event.src_path).as_posix()
      wait_for_file_ready(filepath)
      dataset = pd.read_parquet(filepath, engine='pyarrow')
      # ... 后续代码
  

4. 验证路径转换是否正确 #

尽管PureWindowsPath转posix路径理论可行，但可直接打印转换后的路径，与简易代码中的路径对比，确认是否一致：

filepath = pathlib.PureWindowsPath(event.src_path).as_posix()
print(f"转换后路径：{filepath}")
# 对比简易代码路径：D:/Folder1/Folder2/Folder3/filename.parquet

若路径不一致，说明事件触发的路径并非你预期的文件。

5. 捕获隐藏异常 #

watchdog线程中的异常不会主动显示，需主动捕获并打印：

def on_created(self, event):
    # ... 路径判断代码
    try:
        dataset = pd.read_parquet(filepath, engine='pyarrow')
        print(f"读取成功，DataFrame行数：{len(dataset)}")
        dataset = dataset.reset_index(drop=True)
        print(dataset.head())
    except Exception as e:
        print(f"读取文件时出错：{str(e)}")

这样可查看具体错误，比如文件损坏、权限问题等。

内容的提问来源于stack exchange，提问作者Arnab Roy