当我们在说搜索上的大模型对齐时，我们在说什么

目录

前沿

传统搜索经历了二十年的演化已经非常成熟了，经典范式是：给到一个query，ranking系统会返回若干条结果，用户在其中挑选自己想要的结果，再根据用户的点击行为训练模型，最终让用户感觉越用越好用。无论是通用搜索引擎如Google，Bing还是垂类搜索引擎如抖音搜索、小红书搜索，其实都离不开这个范式，搜索用户的整体规模也还是在稳中有升的。

但这一两年AI搜索的出现带来了新的变量，这里表象上似乎大模型可以不用提供Ranking的中间过程，从提供资源直接转向了提供答案，这让用户能够更加节省时间、更容易完成个性化的查询。但背后发生变化的不止是搜索的输出，还有搜索优化系统的优化和迁移。总结成一句话就是：过去二十年，我们一直在思考：「如何设计一个更好的搜索策略」，未来的几年，我们真正需要思考的是「如何教会模型去学会优化 一个好的搜索策略」，这是AI Search带来的最大的一次范式转移。

回顾：搜索二十年的优化范式

传统搜索，其实是一套非常典型的 Pipeline。

Query
    ↓
Recall
    ↓
Ranking
    ↓
Diversification
    ↓
Safety
    ↓
Presentation

整个系统由多个模块组成。每个模块都有独立目标：

  • Recall：最大化召回率
  • Rank：最大化相关性
  • Diversify：保证结果丰富性
  • Safety：保证风险可控
  • Presentation：提高点击率

这种方式能够成功二十多年，原因并不是用户需求简单。而是因为搜索当时解决的问题，本质上是 Information Retrieval（信息检索）。

用户需要的本质是能够找到信息。例如：「ChatGPT 官网」、「北京天气」、「iPhone 发布时间」，这些问题都有一个共同特点：答案已经存在于互联网。搜索引擎只需要做到把这些答案所在的网页排出来。因此，整个问题天然可以拆解成上述多个环节的局部优化问题：Recall 做好一点、Ranking 做好一点、Snippet 做好一点，最终用户体验自然越来越好。

这种范式可以称为：Policy Engineering（策略工程），由产品经理制定规则，算法工程师不断增加策略，模型负责执行策略。也不用担心方向和用户的喜好相反，因为找到相关的内容本身就是就是Ground Truth。

挑战：为什么这套范式不work了

AI Search 出现以后，一个根本性的变化发生了：用户不再想找网页，而是想直接完成任务。例如：「给3岁孩子做早餐」。传统搜索只是返回十篇网页，用户还是需要自己阅读、筛选、总结、实践，搜索本身只是做了信息检索那薄薄的一层。

但是 AI Search 是不一样的，模型需要：

  • 判断用户真正的问题
  • 是否需要搜索
  • 搜索几次
  • 是否引用多个来源
  • 如何综合不同观点
  • 是否提醒安全风险
  • 如何组织最终答案

也就是说，搜索系统开始承担过去属于用户的大量认知工作。于是搜索已经不再是：Information Retrieval。而变成：Task Completion。这意味着，搜索系统面对的已经不是一个排序问题，而是一个连续决策问题（Sequential Decision Making）。

因此过去可以依赖大量人工来制定不同环节的策略。现在已经没有任何产品经理能够写出所有策略。搜索系统必须开始转向能够自主决策、自主学习。

机会：大模型带来了什么

仔细想想这个趋势并不是直到大模型出现才开始的，在大模型出来之前，传统搜索引擎就已经在探索极致的这条路上了，比如Google一直在探索知识卡片以及首位快捷满足，目的就是帮助用户从内容中直接筛选出来答案，一眼就能够满足，但受限于技术能力，能够满足的程度一直有限，大模型技术成熟为这个趋势极致加速，能够做到很多之前做不到的事情了，Google的AI Overview就是这个思路下的新产物。

很多人认为LLM 的价值在于生成自然语言，但这只是第一层价值。更大的价值在于：它可能第一次让搜索系统拥有了学习策略（Policy Learning）的能力。过去的很多搜索策略来自产品经理，而基于大模型的很多策略工作其实本质上来源于Reward的构建，模型基于Reward可以学到：什么时候需要搜索？什么时候不需要？搜索几轮？哪些来源值得相信？什么时候停止？这些已经不是人工规则和策略，而是模型通过大量反馈不断学习出来的能力。

因此，AI Search 的优化目标也和传统搜索相比发生了较大变化。过去通过不断增加策略来完善搜索系统，未来是通过不断进行人机的对齐，让大模型学习到不同的Reward，这种范式的升级推动搜索系统开始从Policy Engineering走向Alignment Engineering。

发展和展望：对齐的几种范式

在 AI 搜索的演进中，我们对模型的 “对齐” 绝不是一蹴而就的，而是经历了一个从守底线到追上限，再到千人千面的进化过程。我们可以将其划分为五个阶段：

第一阶段：Truth Alignment（真实性对齐）—— 与客观世界对齐

最早的大模型最大的问题就是幻觉（Hallucination）。模型可以回答得很流畅，但可能完全错误，这对于想要获取客观真实信息的用户来说是致命的，因此第一阶段的目标非常明确：让模型尽量回答真实。

典型技术包括：

  • RAG（Retrieval-Augmented Generation）
  • Citation（引用来源）
  • Grounding（基于检索生成）
  • Fact Verification

这一阶段的目标极其朴素：模型说的每一句话，都必须能在检索到的网页中找到原文支撑。技术实现上，通过 Prompt 工程和基础指令微调，强制模型在生成时完成 “溯源”—— 每句话后标注引用序号，每个事实对应一个 Source Document。

同时，要刻意训练模型的 “拒答能力”。当检索结果不相关或信息不足时，模型必须说 “抱歉，当前没有找到可靠的信息”，而不是硬编一个看似合理的答案。这听起来简单，但 LLM 的本质驱动力是 “续写概率最高的下一个 token”，让它主动停下来说 “我不知道”，是在对抗它最底层的生成本能。

这一阶段，模型学习的不是用户偏好，而是如何与真实世界保持一致。这一阶段出现了Perplexity等明星产品，就是主打RAG能力做得比较好。

第二阶段：Ideal Alignment —— 与产品理想态对齐

真实性解决以后，新的问题出现了。看上去两个答案都是真实。为什么用户更喜欢其中一个呢？

举个例子，Query = “给3岁孩子做早餐” 模型A回答：推荐鸡蛋，牛奶，面包。 模型B回答：年龄适配、营养搭配、制作步骤、安全提醒、过敏注意事项。

二者都是真实，但显然后者更符合产品预期。

因此，Alignment 的目标开始变成：学习理想答案长什么样，而这个理想态本身来自于人的定义。

这一阶段主要采用的技术手段包括：SFT和DPO，本质是利用人工偏好数据，不断逼近产品设计者心中的"理想回答"。具体做法是：通过人类专家撰写大量的 “完美回答（金标准）”，告诉模型什么是结构清晰、什么是多视角对比，再通过DPO让模型明白 “人类更偏好排版清晰、逻辑递进的答案”。

但这里存在一个明显问题，人工偏好具有很强的主观性，对于理想态的刻画本质上不是一个客观的标准，和产品经理团队的喜好明显相关的。同时单纯的拟合 “理想态” 容易让模型退化成 “八股文模板机”，看似漂亮但缺乏灵魂，且静态的人工标准无法穷尽复杂多变的搜索意图。

第三阶段：Rubric Alignment —— 与评价标准对齐

这是AI Search真正开始进入新阶段的标志，过去依赖产品经理告诉模型：“这个答案更好。“模型会follow模仿出来这种回答，但这也限制住了模型的发挥，甚至更高能力的模型在这个限制下也不能发挥出更大的能力，因此对齐的思路从「对齐结果」转向了「对齐要点」，人工只规定这个答案看上去为什么会更好，原因是什么。

例如：对于"3岁儿童早餐”，我们可以设计一套 Rubric，包含：

  • 是否理解年龄约束
  • 是否考虑营养均衡
  • 是否提醒安全风险
  • 是否提供可执行步骤
  • 是否降低用户认知成本

这一阶段，RL 开始真正发挥作用了，模型优化的不再是模糊的"用户偏好”，而是一套明确、可解释、可迭代的评价标准。模型拿到的不是一个黑盒的最终回复，而是支撑这个回复之所以成为「好答案」的原因，技术上会构建ORM（Outcome Reward Model，结果奖励模型）来给到模型Reward输入。

但如果只看最终回复符不符合要点还是不够的，模型可能 “蒙对了答案” 却 “用错了过程”（比如引用了一个不靠谱的网页，恰好结论是对的）。在搜索场景下，过程不可靠意味着不可信任、不可追溯。因此还会引入新的PRM（Process Reward Model，过程奖励模型） ，它的思路类似于考试中的 “按步骤给分”：将模型的完整搜索行为拆解为多个原子动作 —— Query 改写、检索词选择、文档相关性判断、信息抽取、冲突消解、答案组织 —— 然后对每一步进行独立评估和奖励。

举个例子：当模型搜索 “某公司的最新营收数据”，PRM 会检查：

  • 它拆解的子 Query 是否覆盖了 “最新” 和 “营收” 两个关键维度？
  • 它引用的网页是否是官方财报或权威媒体，而不是某自媒体的三手转述？
  • 当两个网页给出不同数字时，它是否选择了更权威的信源并标注了时间？

通过这种细粒度的过程奖励，模型获得了在巨大决策空间中自主探索的自由度，同时每一步都被 Rubric（评分细则）牵引着朝正确方向收敛。这正是 OpenAI o1 系列、以及各类 reasoning model 所代表的技术方向。模型从 “理想答案的复读机” 进化为 “会思考的学者”。它不再只是模仿答案的样子，而是真正掌握了搜索推理的方法论。

第四阶段：Online Alignment —— 与真实用户持续对齐

然而我们模型最终是需要走出实验室，面临数以亿计的真实用户流量的，依赖小规模人工标注的 “理想态” 和 “考点” 真的能够和线上真实用户的偏好一致么，靠人工去标注足够大量的数据来检验效果也不可能。因此放到线上去需要解决两个核心问题：规模化评估以及如何与用户指标对齐。

针对第一个问题，本质上是要用AI代替人工评估：通过训练一个强大的评估模型（或直接使用先进的闭源模型），输入一份人类编写的《搜索质量评估原则》（类比宪法），让它能海量、自动地对线上模型输出进行打分。AI 评估的吞吐量是人工的数千倍，且一致性更高。该方法称之为RLAIF。

除此之外，我们还需要给模型注入真实的用户反馈：将线上用户的隐性行为（点击引用链接、复制答案、停留时长、追问深度）和显性行为（点赞、踩、反馈）转化为 Reward 信号，与 RLAIF 的评分融合。这一阶段最精妙的设计在于 “双向修正”：用户反馈在优化模型，让模型越来越贴合真实需求。同时，用户反馈也在反向修正人工定义的 “理想态标准”。当发现用户实际偏好与人工标准存在系统性偏差时，产品团队会更新 “宪法”，让 RLAIF 的评估基线也随之进化。

长期来看，人工理想态、AI 评估标准、用户真实偏好三者会逐渐收敛，形成一个自驱动的数据飞轮。模型不再是对齐 “工程师的假设”，而是直接对齐 “产品的终极指标”（留存、满意度、NPS）。

终极阶段：Personal Alignment —— 与每一个用户对齐

搜索的未来，不再是寻找一个放之四海而皆准的 “绝对真理”，而是寻找 “最适合当前用户的真理”，Alignment从对齐主流用户偏好到对齐每个用户的偏好，这是未来几年 AI Search 最值得期待的发展方向。

目前所有用户共享一套 Reward，这是迭代效率最优化的选择，可以快速提升所有用户的体验基线，但未来Reward需要逐渐做到个性化。比如：同样一个问题：“东京三天怎么玩？“对于：「带孩子的家庭」、「摄影爱好者」、「美食达人」、「商务出差人士」，他们的"最佳答案"完全不同。

Personal Alignment 要求模型对齐到用户的个人认知坐标系：

  • 记住你的知识边界、偏好风格和历史上下文。
  • 根据你的身份动态调整输出深度和表达方式。
  • 在保护隐私的前提下，通过端侧微调或 In-Context Learning 实现个性化适配。

这一阶段的技术挑战极大（隐私、效率、成本、可解释性），但它代表了搜索的终极愿景：每个人拥有的不是一个标准化的搜索引擎，而是一个真正理解你的专属 AI 助理。

结语：从Policy Engineering到Alignment Engineering

从经典搜索的 “蓝链时代”，到大模型主导的 “答案时代”，过去二十年，搜索系统优化的是不断增加的规则和特征，目标是让排序模型变好。但未来十年，搜索系统优化的是Reward，模型根据 Reward，自己学习如何搜索、如何推理、如何引用、如何回答、如何持续改进。在这个过程中，大模型对齐技术的演进 —— 从追求真相（Truth）、到逼近理想（Ideal）、到把控过程（Rubric）、再到拥抱真实世界（Online）和个人（Personal），不断逼近搜索这个古老技术的终极理想形态 —— 不是简单的给用户找到就结束了，而是真正进入每个人的生活，成为离不开的智囊中心和专属AI助理。

而搜索策略产品经理的能力模型，将会从定义传统的策略规则，逐步转化成不断定义好的Reward、设计更精巧的Rubric、构建对齐用户偏好、更好使用用户反馈信号等。搜索产品经理，也正在从 Policy Designer，变成 Reward Designer。