使用Pandas向PostgreSQL追加数据遇权限错误的技术问询

我有一个包含PostgreSQL数据库表所有必填列的Pandas DataFrame，尝试执行以下代码将数据追加到数据库（让数据库自动生成可选列）：

df.to_sql(TABLE_NAME, ENGINE, if_exists='append', index=False)

但出现权限错误：

ProgrammingError: (psycopg2.errors.InsufficientPrivilege) permission denied for schema public
LINE 2: CREATE TABLE "table_name" (

我推测是因为目标表已存在，但表中列类型和DataFrame列类型有差异（比如TEXT和VARCHAR），导致to_sql仍尝试创建新表。另外，我用psycopg2的cursor.execute手动插入单行数据是正常的。想请教：是否需要给to_sql添加额外参数？或者必须包含所有列才能追加数据？

注：我的数据库引擎通过以下方式创建：

ENGINE = create_engine(f'postgresql+psycopg2://{USER}:{PASSWORD}@{HOST}/{DATABASE}')

• 指定列类型对齐，避免Pandas尝试建表
  当Pandas检测到DataFrame列类型与数据库表列类型不匹配时，即使if_exists='append'，它也可能尝试重建表。你可以通过dtype参数手动指定DataFrame列对应的数据库类型，和目标表保持一致，让Pandas跳过建表步骤：

  from sqlalchemy.types import VARCHAR, Integer
  
  dtype = {
      'col1': VARCHAR,  # 和数据库表中col1的类型一致
      'col2': Integer
  }
  
  df.to_sql(TABLE_NAME, ENGINE, if_exists='append', index=False, dtype=dtype)
  

• 使用method='multi'优化插入逻辑
  该参数会让Pandas生成批量插入的SQL语句，而非逐行插入，同时也能减少对表结构的额外检查，避免触发建表操作：

  df.to_sql(TABLE_NAME, ENGINE, if_exists='append', index=False, method='multi')
  

• 无需包含所有列
  只要DataFrame包含了数据库表的所有必填列，数据库会自动为可选列（带默认值、自增或允许NULL的列）生成对应值，不需要在DataFrame中包含这些列。

• 备选方案：用SQLAlchemy直接执行批量插入
  如果上述参数仍无法解决，可绕过to_sql的表结构检查，直接构造插入语句：

  from sqlalchemy import text
  
  # 构造插入语句模板
  columns = ', '.join(df.columns)
  placeholders = ', '.join([f':{col}' for col in df.columns])
  insert_stmt = text(f"INSERT INTO {TABLE_NAME} ({columns}) VALUES ({placeholders})")
  
  # 批量执行
  with ENGINE.connect() as conn:
      conn.execute(insert_stmt, df.to_dict('records'))
      conn.commit()
  

内容的提问来源于stack exchange，提问作者John James