Airbyte S3连接器数据预处理及Schema获取失败问题求助

问题背景 #

使用Airbyte的S3连接器将AWS S3中的CSV文件同步至PostgreSQL数据库时，连接器配置测试环节正常，但添加目标端时UI提示：Failed to fetch schema. Please try again。

对应的日志报错信息：

File "/airbyte/integration_code/source_s3/source_files_abstract/stream.py", line 260, in _get_master_schema
    this_schema = schemas[file_info]

经排查，CSV文件存在两处格式问题：

• 以英文逗号作为分隔符，但多数行末尾带有多余逗号
• 文件末尾存在非结构化冗余内容，不符合表结构要求

需求 #

希望在Airbyte加载数据前对文件进行预处理，实现两个操作：

1. 移除每行末尾的逗号
2. 忽略文件底部指定n行的冗余内容

请问有哪些可行的实现方法？

附Airbyte文件格式配置截图：

内容的提问来源于stack exchange，提问作者brenda