CKAN 2.10 DataStore数据上传失败求助

1. 排查服务状态与日志细节 #

• 确认DataPusher服务运行状态：执行systemctl status ckan-datapusher（systemd环境）或ps aux | grep datapusher查看进程
• 查看DataPusher日志（通常路径为/var/log/ckan/datapusher.log），定位具体报错——权限不足、依赖缺失、CSV格式问题等都会在这里体现
• 同步检查CKAN主日志（/var/log/ckan/ckan.log），看触发DataPusher任务时的异常堆栈

2. 验证CSV文件格式 #

DataPusher对CSV格式要求严苛，先排除文件本身问题：

• 必须包含表头行，表头避免特殊字符（空格、中文、斜杠），建议用下划线分隔
• 检查字段内的换行、引号是否合规，比如多行字段需用双引号包裹
• 用极简测试文件（如2列3行纯文本数据）验证是否能正常上传

3. 修复依赖与兼容性 #

CKAN 2.10适配Python 3.8+，DataPusher可能存在依赖冲突：

• 进入CKAN虚拟环境，重新安装DataPusher依赖：pip install -r /usr/lib/ckan/default/src/datapusher/requirements.txt（路径根据实际安装位置调整）
• 确保celery版本符合CKAN 2.10要求（~=5.2.0），避免版本不兼容导致任务失败
• 若之前修改过Mapping导入，需确保DataPusher代码中所有from collections import Mapping都替换为from collections.abc import Mapping，遗漏会导致运行时错误

4. 优化配置参数 #

检查ckan.ini中的DataPusher相关配置：

• 确认ckan.datapusher.url指向正确的服务地址（如http://127.0.0.1:8800/）
• 延长上传超时时间：ckan.datapusher.upload_timeout = 300（默认超时时间过短会导致大文件上传失败）
• 验证ckan.datastore.write_url和read_url配置正确，且DataPusher进程有访问数据库的权限

5. 替代方案 #

若DataPusher仍不稳定，可采用更可靠的替代方式：

• DataLoader扩展：官方推荐的DataPusher替代工具，支持更多数据格式，稳定性更强
• 手动导入：
  • 使用ckanapi命令行：ckanapi action datastore_create resource_id=<你的资源ID> records=<CSV文件路径>
  • 直接通过PostgreSQL导入：将CSV导入DataStore对应的数据库表，再关联到CKAN资源

内容的提问来源于stack exchange，提问作者Bebiana Oliveira