工业AI的“安全边界”如何定义？模型在什么情况下必须主动停机或求助人工？

工业AI的安全边界并非一条固定刻度，而是由风险等级、数据置信度、工艺约束和人工介入机制共同构成的动态阈值。在知乎这类深度讨论场景中，更值得追问的是：当模型面对超出训练分布的生产异常时，系统如何判断“自己不知道”，并触发停机或求助。

安全边界的三个层次

工业AI的边界可以拆成三层：数据边界、模型边界和决策边界。数据边界指输入信号是否在训练集覆盖范围内；模型边界指推理结果的置信度是否达标；决策边界指输出动作是否落在工艺安全包线内。三者任一被突破，都应触发相应响应。

• 数据边界：传感器漂移、通信丢包或新型工况出现时，输入特征偏离训练分布。例如振动频谱中出现训练集未包含的高频分量，模型应标记为“分布外样本”。
• 模型边界：分类概率或回归残差超过预设阈值。以设备故障预测为例，若模型对“正常”与“早期磨损”的置信度均低于0.6，说明判别能力不足，不应继续输出控制指令。
• 决策边界：即使模型置信度高，但输出动作违反硬约束（如温度上限、压力安全阀值、联锁逻辑），也必须被拦截。这层通常由独立于AI的安全PLC或规则引擎执行。

必须主动停机的典型场景

主动停机不是“模型出错”，而是系统在不确定性超出可接受范围时的保守策略。以下场景在工业实践中被普遍视为强制停机条件：

1. 置信度低于阈值：当模型输出的最大概率低于预设值（如0.7），且连续多个周期无改善，应停止自动控制并转人工。
2. 输入数据质量异常：关键传感器断线、数据跳变超过物理可能范围（如温度瞬间变化200℃）、或时间戳错乱，模型无法基于有效数据推理。
3. 检测到分布外样本：通过孤立森林、自编码器重构误差或马氏距离等方法识别出与训练集显著不同的输入模式。
4. 安全联锁触发：独立安全系统检测到超限（如压力超过安全阀设定值的90%），无论AI输出如何，直接切断执行机构。
5. 模型自检失败：推理延迟超过控制周期要求、内存泄漏导致结果不稳定、或硬件看门狗超时。

求助人工的触发机制

求助人工与主动停机有重叠，但更强调“模型无法独立决策，需要人类补充信息或授权”。常见触发条件包括：

• 多模型冲突：冗余部署的两个模型给出相反结论，且各自置信度都较高，系统无法仲裁。
• 罕见工况识别：模型判断当前状态属于已知的“低概率高风险”类别（如催化剂结焦前兆），但历史上样本极少，需要专家确认。
• 维护窗口建议：预测性维护模型给出剩余寿命估计，但置信区间过宽（如±30%），需要人工结合检修计划决策。
• 合规或安全审查：涉及环保排放、功能安全认证（如IEC 61508）的场景，AI输出仅作为参考，最终动作必须由持证人员确认。

工程实现中的量化参考

不同行业对安全边界的量化指标差异较大，但一些通用参数可作为设计起点。以下数值来自工业AI落地实践中的常见配置，具体阈值需根据工艺风险评估调整：

需要强调的是，这些数值不是标准答案，而是工程上的经验起点。例如流程工业中的紧急停车系统（ESD）要求响应时间在毫秒级，而离散制造中的机器人避障可能允许数百毫秒的延迟。

边界设计的常见误区

把AI安全边界等同于“模型准确率”是常见的认知偏差。准确率反映的是历史测试集上的平均表现，无法覆盖长尾风险。更合理的做法是结合风险矩阵：对高后果场景（如爆炸、人员伤害），即使模型准确率达到99%，也必须设置独立保护层。

另一个误区是过度依赖数据驱动而忽视机理约束。工业过程中存在大量已知的物理规律（如质量守恒、能量守恒），这些约束应作为硬边界编码进系统，而不是让模型从数据中重新学习。例如反应釜的温度控制，即使AI模型输出加热指令，若压力已接近安全上限，规则引擎应直接否决。

从采购角度看，企业在评估工业AI平台时，应关注其是否提供可配置的安全策略引擎、是否支持与现有安全仪表系统（SIS）集成、以及是否具备完整的审计日志。这些能力比单纯的算法精度更能决定系统在异常情况下能否守住边界。

工业AI的安全边界最终是一个组织问题，而非单纯的技术问题。它要求企业明确“哪些决策可以交给模型，哪些必须保留给人类”，并通过技术手段将这种权责划分固化下来。当模型主动停机或求助人工时，它不是在承认失败，而是在执行设计之初就确定的风险控制策略。