大模型微调

为什么要使用大模型微调？

在前面的章节中，我们学习了 RAG（外挂知识库）。这时有小伙伴可能会想：既然 RAG 已经能让大模型查阅公司的内部文件了，那是不是就不用再自己去训练大模型了呢？

其实还真不行。RAG 能解决大模型 “不知道” 的问题，却解决不了它 “做不到位” 的问题——也就是改不掉它的 “行为习惯” 和 “肌肉记忆”。

咱们来看一个真实的场景：假设你要为淘宝做一个官方的 AI 智能客服，老板还甩给你一套非常严苛的话术规范，比如：

• 每次回复顾客时，必须雷打不动地以 “亲，您好” 开头。
• 一旦遇到顾客催单、发脾气，绝对不能干巴巴地回复 “快递已经在路上了”，而是必须使用一套委婉的、充满情绪价值的安抚话术。
• 在给顾客报价格时，金额必须严格保留小数点后两位。

如果只靠 RAG，那你就得像个唠叨的老妈子，每次提问都把这一大堆规则当成背景说明、重新发给大模型一遍。这么干有两个麻烦：一是费钱，因为每次都要塞进海量 Token；二是不靠谱，对话一旦变长，大模型经常顾头不顾尾，聊着聊着就忘了某个细节（比如突然就不叫 “亲” 了）。

想让大模型把这些规矩彻底刻进骨子里、变成下意识的肌肉记忆，就得请出我们今天的主角——大模型的 “微调” 技术。

什么是大模型微调？

大模型微调，英文叫 “Fine-tuning”。说白了，它就是在别人已经训练好的 “通用大模型” 的基础上，用我们自己准备的一小批特定领域数据，再给它做一次有针对性的 “进阶训练”，从而微微调整它大脑里的底层参数。

咱们可以这样理解：一个预训练好的开源大模型，就像是刚从医学院毕业的全科医学生。基础医学知识他样样都懂，可你要是让他一毕业就直接上手做复杂的心脏手术，那肯定是不行的。

此时怎么办呢？我们得把他送进心内科，拿专门的心脏病历，对他做几个月的专科定向培训。这个 “专科培训” 的过程，就是微调。培训完之后，他就从一个 “全科医生”，升级成了 “心内科主治医师”。

微调能解决什么问题？

可能又有小伙伴会问：“现在的提示词工程已经这么强了，为什么企业还要花钱、花算力去搞微调呢？主要是为了解决以下 3 个提示词搞不定的痛点。

1. 统一特定的语气和风格

假设你们公司需要一个 AI 虚拟主播，它的设定是一个 “性格傲娇、张口就是文言文的小姑娘”。这种细腻的人设，光靠写提示词是很难稳住的——刚开始还行，聊久了它肯定会 “打回原形”，变回那种字正腔圆、客客气气的 “标准机器人腔”。

而通过微调，我们可以喂给它几千段这种特定性格的对话数据，从根上改掉它的说话方式，让它一直 “傲娇” 下去。

2. 掌握垂直的领域逻辑

通用大模型会写 Python、会写 Java，可要是你们公司用的是一套自己发明、全网都搜不到的私有编程语言呢？这种情况 RAG 也无能为力，因为它根本查不到这门语言的底层逻辑。

因此，你必须把这门语言的语法规则整理成数据集，拿去微调大模型，让它从零学会这门新语言。

3. 指定严格的输出格式

在企业级开发里，后端程序经常需要 AI 吐出绝对干净的 JSON 数据。可如果只靠提示词，AI 偶尔还是会 “多嘴”，在前面加一句 “好的，这是您要的数据”。

就这一句废话，可能直接让后端程序崩溃。而通过微调，我们能把 “只输出纯 JSON” 这条规矩死死焊进它的底层参数里，让它做到 100% 服从。

大模型微调的工作流程

如果你是一名开发者，想要在公司内部对一个开源大模型（比如 Qwen、Llama）做微调，通常要走完下面这 4 个步骤。

1. 准备数据集

这是整个微调里最核心、也最熬人的一步。你需要人工整理出成百上千条（甚至上万条）高质量的问答对（也就是 Prompt 和 Completion）。这批数据，就是你要教给大模型的 “标准教材”。

2. 选择底座模型

到 Hugging Face 或者 ModelScope（魔搭）这样的开源社区，挑一个跟你们公司服务器硬件相匹配的开源大模型，下载下来。

3. 开启训练

使用一个业界成熟的微调框架（比如 LLaMA-Factory），把你准备好的数据集喂给模型。这时候服务器上的显卡（GPU）就开始运转了，它会一遍遍地拧动模型内部的参数 “旋钮”，让模型的输出一点点向你的标准答案靠拢。

4. 评估与部署

训练跑完之后，你会得到一个全新的模型文件。把它部署上线、跑起来，再测一测：它是不是已经改掉了原来的坏毛病，变成了你想要的那个 “领域专家”。

新手最容易踩的坑：使用微调来 “学新知识”

刚接触微调的时候，很多初学者（包括一些刚入行的产品经理）都会犯一个要命的逻辑错误：想要使用微调来让大模型 “记住新知识”。

举个常见的例子：公司昨天刚发布了一款新产品，产品经理就要求把新产品的说明书做成数据集，去微调大模型，并指望大模型能够把这块新产品记下来。

这是一个非常严重的误区！微调其实特别不适合用来更新知识，原因有以下 2 点：

• 死记硬背容易忘：大模型的参数是牵一发而动全身的。你今天硬是让它记住了新产品，它回头可能就把老产品的参数给搞乱了——这种现象在业界叫 “灾难性遗忘”。
• 又贵又不灵活：知识天天都在变，如果每次更新资料都要重新跑一次显卡训练，这个时间成本和金钱成本，大多数企业根本扛不住。

因此对于微调来说，我们应该记住以下 2 个铁律：

• 如果你想让大模型知道某个 “新知识 / 新资料”，应该使用 “RAG（外挂知识库）”。
• 如果你想让大模型学会某种 “新技能 / 新格式 / 新语气”，应该使用 “微调（Fine-tuning）”。