模型超时、接口挂掉、答非所问都是常态。没有降级和兜底,AI 一挂业务就跟着停下来。

🦩 第 46 篇 · 2026 年 3 月 19 日
企业上一个 AI 系统,最怕的不是 AI 答不好,是 AI 突然不工作了。全公司都指着 AI 客服,突然 AI 挂了,电话被打爆,老板半夜被叫醒。业务连续性不是"以防万一"的锦上添花,是 AI 落地的基础设施——出了问题要有 Plan B,不能让业务裸奔。
一句话
业务连续性的核心是降级策略:AI 故障时能自动切换到备用方案(规则引擎、FAQ 静态页面、人工客服),而不是整条业务线崩溃。降级不是认输,是让业务"带伤运行"——AI 挂了但业务还能跑,用户感知不到故障。
常见 AI 故障类型
故障分类
| 故障类型 表现 影响 发生概率 | 模型 API 故障 调用超时、返回错误 AI 核心能力丧失 中(供应商故障) | 响应超时 正常请求但返回慢 用户体验差 高(网络/算力问题) | 知识库故障 查不到答案 AI 答非所问 中(DB 问题) | 通道故障 消息发不出去 对话中断 高(第三方通道) | 数据故障 数据错乱/丢失 AI 决策错误 低(但后果严重)
降级策略三层体系
第一层:AI 内部降级(快速恢复)
同模型内的降级:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
def call_model_with_fallback(user_message):
"""调用模型,多层降级"""
# 主模型:DeepSeek V3
try:
result = deepseek_v3.chat(user_message)
return result
except TimeoutError:
pass # 超时,尝试降级
# 降级一:DeepSeek V3 降级到豆包
try:
result = doubao.chat(user_message)
return result
except:
pass # 也挂了
# 降级二:降级到规则引擎
return rule_engine.respond(user_message)
RAG 降级:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def rag_retrieve_with_fallback(query):
"""RAG 检索降级"""
# 主方案:向量检索
try:
results = vector_db.search(query, top_k=5)
if results:
return results
except VectorDBError:
pass
# 降级一:关键词检索
try:
results = keyword_search(query, top_k=5)
if results:
return results
except:
pass
# 降级二:返回空(让 AI 自由发挥)
return []
第二层:功能降级(部分能力保留)
AI 客服降级策略:
正常状态:AI 智能对话 → 全能力
↓(AI 出现异常)
降级状态一:AI 只能答 FAQ(静态知识库)→ 简单问题可答,复杂问题转人工
↓(进一步异常)
降级状态二:纯 FAQ 页面 → 用户自助查常见问题,人工联系方式展示
↓(彻底崩溃)
降级状态三:纯人工客服 → 电话客服承接所有流量
配置降级规则:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
degradation_rules:
# 规则一:AI 响应时间 > 5 秒
condition: avg_response_time > 5000
action: notify_oncall
next_tier: enable_static_faq
# 规则二:AI 错误率 > 5%
condition: error_rate > 0.05
action: alert_oncall
next_tier: enable_rule_engine_fallback
# 规则三:API 完全不可用
condition: api_available == false
action: page_oncall + page_manager
next_tier: human_only_mode
# 规则四:知识库不可用
condition: knowledge_base_available == false
action: notify_oncall
next_tier: disable_rag_use_raw_model
第三层:业务降级(核心业务保留)
核心业务 vs 非核心业务:
核心业务(不能停):
- 订单查询
- 投诉记录
- 紧急问题处理
非核心业务(可暂停):
- AI 推荐
- 主动营销
- 数据分析
|
1
2
3
4
5
6
7
8
9
10
11
12
def handle_with_core_priority(user_message):
"""核心业务优先降级策略"""
intent = classify_intent(user_message)
# 核心业务:任何情况下都要保证
if intent in CORE_INTENTS:
return handle_core_intent(intent, user_message)
# 非核心业务:降级时优先牺牲
else:
return handle_non_core_intent(intent, user_message)
监控与告警体系
核心监控指标
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
monitoring:
# AI 健康指标
ai_health:
- response_time_p50: 目标 < 1s
- response_time_p95: 目标 < 3s
- error_rate: 目标 < 1%
- availability: 目标 > 99.9%
# 业务健康指标
business_health:
- human_handoff_rate: 异常时 > 20% 告警
- conversation_completion_rate: 异常时 < 70% 告警
- user_satisfaction: 异常时 < 4.0 告警
# 系统健康指标
system_health:
- api_latency: 目标 < 500ms
- db_connection_pool: 目标 < 80%
- memory_usage: 目标 < 85%
告警配置
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
alert_rules = [
# P1:必须立即处理(半夜也要打电话)
{
"condition": "ai_availability < 0.99",
"severity": "P1",
"action": "page_oncall + page_manager",
"channel": ["电话", "短信", "企微"]
},
# P2:尽快处理(工作时间处理)
{
"condition": "response_time_p95 > 5000",
"severity": "P2",
"action": "notify_oncall",
"channel": ["企微", "短信"]
},
# P3:可以等一等(上班时间处理)
{
"condition": "error_rate > 0.02",
"severity": "P3",
"action": "create_ticket",
"channel": ["邮件"]
}
]
容灾架构
灾备方案
主站点(A)
↓(同步复制)
备用站点(B)
↓(定期备份)
异地灾备(C)
同城双活:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
deployment:
site_a:
region: 华东-1
role: primary
site_b:
region: 华东-2
role: standby
replication: sync
failover:
trigger: site_a unavailable for 30s
method: DNS switch
rto: < 60s # Recovery Time Objective
rpo: < 1s # Recovery Point Objective
异地灾备:
|
1
2
3
4
5
6
7
8
deployment:
primary:
region: 华东
disaster_recovery:
region: 华南
backup_frequency: every 5min
rto: < 30min
rpo: < 1hour
故障切换演练
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
def test_failover():
"""每月演练:模拟故障,验证降级是否生效"""
# Step 1:通知团队即将演练
notify_team("即将进行故障切换演练")
# Step 2:注入故障(模拟 API 不可用)
inject_fault(api, error_type="timeout")
# Step 3:观察系统行为
wait(30)
assert check_system_status() == "degraded" # 确认进入降级模式
# Step 4:验证降级策略生效
assert rule_engine.is_active() == True # 规则引擎接管
assert static_faq.is_active() == True # FAQ 页面可用
# Step 5:恢复故障
remove_fault(api)
# Step 6:验证恢复正常
wait(60)
assert check_system_status() == "normal" # 确认恢复正常
故障复盘机制
故障报告模板
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
## 故障报告:AI 客服系统宕机
### 基本信息
- 故障时间:2026-03-15 03:22
- 恢复时间:2026-03-15 03:47
- 影响时长:25 分钟
- 影响范围:AI 客服完全不可用,切换人工
### 故障根因
模型 API 供应商(DeepSeek)华东节点故障,
导致所有 AI 请求超时。
### 处理过程
- 03:22:监控告警,AI 可用性跌至 0
- 03:24:值班工程师确认故障,启动降级
- 03:25:AI 切换为规则引擎 + 静态 FAQ
- 03:47:DeepSeek API 恢复,AI 切回正常模式
### 业务影响
- 影响对话数:约 1,200 次
- 转人工率:15%(正常 8%)
- 用户投诉:3 起
- 订单损失:约 ¥8,000
### 改进措施
- [ ] 增加第二个模型供应商(已计划 Month 4)
- [ ] 降级切换时间从 2 分钟优化到 30 秒
- [ ] 增加凌晨时段的值班人力
SLA 设计
常见 AI 服务 SLA
| 服务等级 可用性 年故障时长 响应时间 价格 | 标准版 99.5% 1.8 天/年 P95 < 3s ¥5,000/月 | 高可用版 99.9% 8.7 小时/年 P95 < 1s ¥15,000/月 | 企业版 99.99% 52 分钟/年 P95 < 500ms ¥50,000/月
SLA 补偿机制
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
sla_compensation:
standard:
availability_guarantee: 99.5%
compensation:
- < 99.0%: 10% 月费抵扣
- < 95.0%: 30% 月费抵扣
- < 90.0%: 100% 月费抵扣
premium:
availability_guarantee: 99.9%
compensation:
- < 99.5%: 20% 月费抵扣
- < 99.0%: 50% 月费抵扣
- < 95.0%: 100% 月费抵扣
建设节奏
Month 1:监控 + 告警
- 搭监控体系(响应时间、错误率、可用性)
- 配置分级告警(P1/P2/P3)
- 建立值班机制
Month 2:降级策略
- 实现 AI 内置降级(模型降级、RAG 降级)
- 实现功能降级(FAQ 模式、人工模式)
- 演练一次故障切换
Month 3+:容灾架构
- 同城双活部署
- 定期故障演练(每月一次)
- 容灾 SOP 文档化
业务连续性不是"如果挂了怎么办",是"让业务永远有 Plan B"。AI 再强也要有后备,技术再稳也要有预案。
延伸阅读
- 办公 Agent 想落地,先啃会议和流程两座山
- 本地生活门店的 Agent 团队,一次真实复盘
- 本体论:让 AI 理解业务而不是背答案
- 别急着做 AI 早报,先核对落地三环
- 别再堆 MCP 和 Skills,工具越多越乱
- 不是急着做AI和人的分工不是谁,是先核对AI落地
- 不是一岗配一 AI,我收敛成几个 Agent
- 餐饮后厨前厅供应链,AI 让每环少操心
- 餐饮老板要的 AI,是少请几个帮工
- 从本体论到知识图谱,三层架构怎么搭
相关阅读
标签
双号关注
扫码关注「广说新零售」公众号 + 视频号
本地生活 AI 落地、Agent 实操、真实门店怎么跑起来。扫码关注公众号与视频号「广说新零售」,持续看可收藏的做法;有场景也可私信聊合作。

公众号

视频号
继续读
同栏目相关文章,方便对照着看。
AI 上线头一周,先盯紧这四件要事别放
AI 落地项目上线第一周别只看 demo。盯四件事:在不在跑、对不对、人的反应、出错怎么兜。
客户说 AI 不懂我,八成是这三种原因
AI 客服不懂客户,多半不是模型问题:不知道你是谁、没接准意图、不记得你们发生过什么。
AI 项目为什么大多死在第二个月就停
AI 落地项目第一个月有掌声,第二个月只剩没人愿意干的脏活:维护、接真业务、说服使用的人。
A2A 不只是连 Agent,门店之间也要协同
A2A 的价值不止让 AI 互相说话。A 店缺货、B 店有货,门店之间能对上话才是关键。先在一家店验证。
AI 当员工还是当工具,结果完全不同
AI 落地半年后差距很明显:有人越用越省事像多带个员工,有人越用越累只把它当工具。
