分类、抽取、路由这类活,小模型又快又便宜,还能本地部署。全都用大模型是纯成本浪费。

🦩 第 44 篇 · 2026 年 3 月 13 日
大模型很热,但大模型不是万能药。一个水站的客服 FAQ 判断——“用户问的是配送时间还是价格”——用 GPT-4o 是浪费,算一次几毛钱,延迟几百毫秒。同样的任务,用一个 7B 的小模型本地跑,成本几乎为零,延迟毫秒级。大模型和小模型,各有各的用武之地。
一句话
模型选型的核心逻辑:简单任务用小模型(省钱、快、合规),复杂任务用大模型(质量高)。不是越大越好,是合适最好。小模型本地化(Edge AI)让 AI 能力下沉到终端设备,不用联网、不用云端、更安全、更快。
为什么不是所有事都需要大模型
任务复杂度分层
简单任务(规则判断):
- 这句话是问价格吗?→ 是/否
- 这个意图属于哪个类别?→ A/B/C/D
- 这条数据需要人工审核吗?→ 是/否
中等任务(语义理解):
- 用户在问什么问题?→ 意图抽取
- 这段文本的核心观点是什么?→ 摘要
- 这条评价是正向还是负向?→ 情感分析
复杂任务(深度推理):
- 用户的需求是什么,给个解决方案 → 复杂对话
- 这个合同有什么风险点?→ 法律分析
- 这个代码有什么bug?→ 代码诊断
成本对比
| 任务类型 小模型成本 大模型成本 质量差异 | FAQ 判断(10万次/天) ¥0(本地) ¥500/天 几乎无差异 | 意图分类(10万次/天) ¥0(本地) ¥300/天 小模型略低 | 闲聊(1万次/天) 不适用 ¥200/天 大模型明显更好
结论:简单任务用大模型,每天烧掉的钱是小模型的几百倍。
主流小模型生态
端侧模型(可以在手机/电脑上跑)
| 模型 参数量 适用场景 效果 | Apple On-Device LLM 3B iOS 原生 AI 能力 简单任务可用 | Google Gemini Nano 1.8B/3.2B Android AI 意图分类 OK | Qualcomm AI Hub 多款 骁龙芯片设备 本地推理 | DeepSeek 1.5B/7B 1.5B/7B 通用本地 中文可用
服务器小模型(小型服务器/树莓派级别)
| 模型 参数量 内存需求 适用场景 | Qwen 1.8B 1.8B 4GB FAQ、分类、摘要 | Qwen 7B 7B 16GB 通用对话 | DeepSeek 7B 7B 16GB 代码+中文 | ChatGLM 6B 6B 13GB 中文对话
小模型本地化实战
场景:客服意图分类(本地运行)
不需要大模型的场景:
用户:你们几点关门
用户:明天可以送水吗
用户:桶押金多少
这三个问题都是 FAQ 类——判断用户意图 → 返回对应答案
不需要大模型推理,本地小模型 7B 足够
实现方案:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# 本地小模型推理(基于 Qwen 1.8B)
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "./models/qwen-1.8b"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
device="cuda", # 本地 GPU
trust_remote_code=True
)
def classify_intent(message):
prompt = f"""判断用户问题属于哪个意图:
A: 配送时间
B: 桶押金
C: 价格咨询
D: 投诉反馈
E: 其他
用户问题:{message}
意图:"""
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
# 解析结果
return parse_intent(result)
性能指标:
延迟:50-100ms(本地推理,无网络延迟)
成本:¥0(一次性模型部署费用)
QPS:单卡 RTX 4080 可达 50-100 QPS
准确率:意图分类准确率 > 92%(中文)
场景:本地知识库检索(Embedding 小模型)
不需要大模型 API:Embedding 模型也可以本地化。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 本地 Embedding(基于 m3e-base 或 text2vec)
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('./models/m3e-base')
def search_knowledgebase(query, top_k=3):
# 本地计算 query 向量
query_embedding = model.encode(query)
# 向量数据库检索
results = vector_db.search(
embedding=query_embedding,
top_k=top_k
)
return results
成本对比:
OpenAI text-embedding-3-small:$0.02/1M tokens ≈ ¥0.15/1M tokens
本地 m3e-base:一次性部署 ¥0(服务器成本约 ¥500/月,可跑1000万次)
每天10万次检索:
- OpenAI API:¥15/天 = ¥450/月
- 本地部署:¥500/月(固定成本,利用率越高越合算)
大模型 + 小模型的分层架构
分层推理逻辑
用户输入
↓
小模型意图分类(本地,<100ms)
↓
┌─ 简单任务(FAQ查询、规则判断)
│ → 小模型直接处理 → 返回结果
│
├─ 中等任务(知识库检索、简单摘要)
│ → 小模型 + RAG → 返回结果
│
└─ 复杂任务(多轮对话、复杂推理)
→ 大模型 API → 返回结果
技术实现
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
def route_task(message):
"""任务路由:判断用小模型还是大模型"""
# Step 1:小模型快速判断任务复杂度
complexity = local_classifier.predict(message) # 本地模型,<100ms
if complexity == "simple":
# 简单任务 → 小模型直接处理
return handle_simple(message)
elif complexity == "medium":
# 中等任务 → 小模型 + RAG
return handle_medium(message)
else:
# 复杂任务 → 大模型
return call_large_model(message)
def handle_simple(message):
"""简单 FAQ 任务(本地小模型)"""
intent = local_intent_model.classify(message)
answer = faq_database.lookup(intent)
return answer # 延迟 < 200ms,成本 ¥0
边缘 AI 的特殊场景
场景一:离线客服(网络不稳定的环境)
典型场景:农村水站、网络不好的偏远地区
|
1
2
3
4
5
6
7
8
9
10
# 边缘设备上的意图分类(完全离线)
class EdgeIntentClassifier:
def __init__(self, model_path="./models/intent-mobile.onnx"):
self.model = onnxruntime.InferenceSession(model_path)
def classify(self, message):
# ONNX 模型,CPU 推理,<50ms
embedding = self.text_encoder.encode(message)
logits = self.model.run([embedding])[0]
return self.label_encoder.decode(logits)
场景二:数据合规要求高的场景
典型场景:医疗、金融、法律——数据不能出本地
|
1
2
3
4
5
6
7
8
9
10
11
12
13
# 医疗场景:患者问诊(数据不能上云)
def handle_medical_inquiry(patient_message):
# 所有推理本地完成,数据不离院
intent = local_model.classify(patient_message)
if intent == "symptom_inquiry":
# 本地知识库检索(医疗知识库,完全本地)
answer = local_kb.search(patient_message)
return answer
elif intent == "appointment":
# 调用本地预约系统(API 不出网)
return local_hospital_api.book(patient_message)
小模型本地部署的硬件选型
| 场景 硬件 成本 适用模型 | 个人/小团队 RTX 4060(8GB) ¥2,500 Qwen 1.8B | 中小企业 RTX 4080(16GB) ¥8,000 Qwen 7B | 企业级 A10(24GB)× 2 ¥30,000 Qwen 14B | 超大规模 T4/V100(云端小机) ¥3,000/月 全尺寸
什么时候选小模型
| 场景 推荐 | 简单分类/判断(意图识别、情感分析) 小模型 | FAQ 检索(RAG) 小模型 | 实时性要求高(<200ms) 小模型 | 数据合规/离线 小模型(必须本地) | 复杂推理/多轮对话 大模型 | 生成质量要求高 大模型
核心原则:能本地解决的不上云,能用小模型的不用大模型。大模型是核武器,但不能拿核弹去打蚊子。
技术底座
小模型本地化的技术底座:
- 模型:Qwen、DeepSeek、ChatGLM、m3e(Embedding)
- 推理框架:llama.cpp(CPU/GPU)、vLLM(高效推理)、ONNX Runtime(端侧)
- 部署工具:Ollama(一键本地部署)、LocalAI(API 化)
- 应用框架:AnythingLLM(知识库)、OpenWebUI(对话界面)
小模型本地化让 AI 真正成为"随时可用的工具"——不依赖网络、不担心数据安全、不用为每一次调用付钱。
延伸阅读
- 办公 Agent 想落地,先啃会议和流程两座山
- 办公助手不只是聊天,它真能替你跑活
- 办公助手能自动化的场景,别再当翻译机
- 宝贝该复查了,宠物店怎么提醒不烦人
- 本地生活门店的 Agent 团队,一次真实复盘
- 本地生活上 Agent,最先补的三个场景不是客服
- 本地生活智能体团队,4 个行业实战案例
- 本体论:让 AI 理解业务而不是背答案
- 本体论加工作流,让 Agent 真懂业务
- 别急着做 AI 早报,先核对落地三环
相关阅读
标签
双号关注
扫码关注「广说新零售」公众号 + 视频号
本地生活 AI 落地、Agent 实操、真实门店怎么跑起来。扫码关注公众号与视频号「广说新零售」,持续看可收藏的做法;有场景也可私信聊合作。

公众号

视频号
继续读
同栏目相关文章,方便对照着看。
AI 上线头一周,先盯紧这四件要事别放
AI 落地项目上线第一周别只看 demo。盯四件事:在不在跑、对不对、人的反应、出错怎么兜。
客户说 AI 不懂我,八成是这三种原因
AI 客服不懂客户,多半不是模型问题:不知道你是谁、没接准意图、不记得你们发生过什么。
AI 项目为什么大多死在第二个月就停
AI 落地项目第一个月有掌声,第二个月只剩没人愿意干的脏活:维护、接真业务、说服使用的人。
A2A 不只是连 Agent,门店之间也要协同
A2A 的价值不止让 AI 互相说话。A 店缺货、B 店有货,门店之间能对上话才是关键。先在一家店验证。
AI 当员工还是当工具,结果完全不同
AI 落地半年后差距很明显:有人越用越省事像多带个员工,有人越用越累只把它当工具。
