Airflow自定义传感器无法启用Smart Sensors功能问题

1. 确认配置实际生效范围 #

Airflow UI展示的配置仅为webserver组件加载的配置，Smart Sensor相关配置需要worker、scheduler、smart sensor分片任务运行的所有节点同步加载才能生效。Cloud Composer配置更新默认存在最长2分钟的同步延迟，刚修改完配置立即测试会出现读取旧配置的情况。
你可以在DAG中添加临时调试代码，确认运行时实际读取的配置值：

from airflow.configuration import conf
print(conf.get("smart_sensor", "use_smart_sensor"))
print(conf.get("smart_sensor", "sensors_enabled"))

将上述代码加入你的DAG文件后触发一次运行，查看任务日志的输出结果，即可确认运行环境加载的配置是否符合预期。

2. 修正sensors_enabled配置格式 #

Airflow 2.1.2版本要求sensors_enabled配置项填写传感器类的全路径名，仅写类名无法被正确识别。假设你的MyCustomSensor定义在plugins.my_sensor_module模块下，配置需要修改为：

[smart_sensor]
sensors_enabled = NamedHivePartitionSensor,plugins.my_sensor_module.MyCustomSensor
use_smart_sensor = True

多个传感器类之间用英文逗号分隔，原默认的NamedHivePartitionSensor不需要可以删除，必须填写完整模块路径才能被正常识别。

3. 检查自定义传感器的兼容规则 #

BaseSensorOperator原生的is_smart_sensor_compatible方法会校验以下规则，任意一条不满足都会返回False：

• 传感器的mode必须设置为reschedule，你的当前代码已满足要求
• 必须定义poke_context_fields列表属性，你的当前代码已满足要求
• soft_fail属性必须为False，你的当前代码已手动设置，符合要求
• 不能设置execution_timeout参数，你的当前代码未设置，符合要求

4. Cloud Composer版本专属修复方案 #

你使用的composer-1.17.1版本存在已知的配置同步bug：修改airflow.cfg后，部分运行中的worker进程不会主动重载配置，需要手动重启worker组件：

1. 进入Cloud Composer控制台的对应环境详情页
2. 切换到「工作负载」标签页，找到airflow-worker部署项
3. 点击「重启」，等待所有worker pod重建完成后再测试功能是否正常

内容的提问来源于stack exchange，提问作者Stephen