使用Databricks SQL插入数据时触发[TASK_WRITE_FAILED]写入S3失败

问题场景 #

执行Databricks SQL插入语句：

INSERT INTO my_catalog.my_schema.my_table (a, b, c)
SELECT a, b, c FROM [...];

收到错误：

[TASK_WRITE_FAILED] Task failed while writing rows to 
s3://my_bucket/my_catalog/__unitystorage/catalogs/123456/tables/123456.

同一Catalog/Schema下的其他插入语句可正常执行，但此错误未明确失败原因。

可能的故障原因 #

• 目标表S3路径权限异常：尽管同Catalog/Schema的其他表正常，但单个表的存储路径可能存在独立权限配置，比如该路径的IAM角色权限被修改、S3前缀的ACL设置有误，或者存储凭证对该特定路径无写入权限
• 表元数据损坏：Unity Catalog中表的元数据与S3存储路径关联失效，比如表的Location属性配置错误，元数据记录的路径与实际S3路径不匹配
• 数据兼容性问题：插入数据的字段类型、长度或格式与目标表定义冲突，导致序列化失败，表面报错指向S3，但实际是数据层面的问题
• S3路径临时故障：该特定S3路径出现偶发异常，比如分区锁冲突、存储节点临时不可用
• 存储格式/分区配置冲突：如果是分区表，插入的分区值不符合S3路径命名规范；或是Delta Lake版本不兼容，导致写入日志失败

获取更详细错误信息的方法 #

• 查看作业详细日志：在Databricks UI的查询历史/作业页面找到对应任务，查看任务日志和执行细节，里面会包含底层错误堆栈，比如S3具体错误码（如AccessDenied、NoSuchKey）
• 检查表存储配置：执行DESCRIBE EXTENDED my_catalog.my_schema.my_table;，查看Location属性是否正确，对比同Schema下正常表的配置
• 直接测试S3路径写入：用简单语句测试写入目标路径，验证权限和路径有效性：

  COPY INTO 's3://my_bucket/my_catalog/__unitystorage/catalogs/123456/tables/123456' 
  SELECT 1 as a, 2 as b, 3 as c;
  

• 查看Delta Lake日志（若为Delta表）：直接访问S3路径下的_delta_log目录，查看日志文件中的具体写入失败原因
• 启用诊断日志：在Workspace设置中开启Databricks诊断日志，可捕获底层存储交互的详细错误信息

内容的提问来源于stack exchange，提问作者Vzzarr