随着在信息检索和推荐系统中的应用不断深入，大语言模型（LLM）为统一建模搜索和推荐这两种主要的信息获取路径提供了新的可能性。
搜索刻画用户主动表达的即时信息需求，推荐反映用户历史行为中积累的长期兴趣偏好，二者虽然交互形式不同，但本质上都服务于理解并满足用户的信息需求。
如果能够在同一个大语言模型框架下统一建模这两类信号，模型有望更完整地理解用户意图，并提供更加个性化的信息获取体验。
在这项工作中，莱顿大学团队探索了在无需全参数微调的情况下，将十亿参数级大语言模型用于统一搜索与推荐建模，并提出GEMS 框架：一方面通过多子空间梯度分解缓解跨任务梯度冲突，另一方面通过零空间投影减少微调对大语言模型通用知识空间的扰动。
相关研究论文已被 AI 顶会 SIGIR 2026 接收。
论文链接：https://arxiv.org/abs/2601.09496
GitHub 地址：https://github.com/Polaris-JZ/GEMS
实验表明，GEMS 能够在搜索与推荐任务上取得整体提升，并为更稳定、部署友好、基于大语言模型的统一搜索推荐系统提供新的实现路径。
研究背景
搜索和推荐是现代信息平台中最核心的两类服务。搜索通常由用户主动输入查询，反映即时信息需求；推荐则根据用户历史行为，建模长期兴趣偏好。二者交互形式不同，但目标高度一致：理解并满足用户的信息需求。
近年来，生成式推荐和大语言模型的发展为统一搜索与推荐提供了新的可能。已有方法通常将搜索排序和推荐排序都转化为条件生成问题：模型根据用户查询、历史交互或二者的组合，直接生成目标物品标识。这样的统一生成范式具有较好的灵活性，也能利用预训练语言模型的语义理解能力。
但当这一思路扩展到大语言模型时，问题变得更加复杂。全参数微调训练和存储成本高，难以扩展到更大的大语言模型；LoRA 等参数高效微调方法虽然降低了成本，却没有真正解决统一搜索与推荐中的任务冲突问题。
具体来说，搜索任务更关注当前查询与候选物品之间的语义相关性，而推荐任务更强调用户历史行为中的长期偏好和协同过滤信号。二者优化目标并不完全一致，在共享同一模型参数时，一个任务的梯度更新可能会损害另一个任务的性能，导致联合训练不稳定。
与此同时，面向搜索与推荐数据的微调还可能扰动大语言模型原本的通用语义知识，使模型出现用户意图理解偏移：微调前能够正确理解的查询或偏好，微调后反而可能生成与真实意图不一致的结果。
图｜在大语言模型中统一搜索与推荐中的两个关键挑战。图 (a) 展示了在 PEFT 设置下，搜索任务与推荐任务在不同大语言模型层中存在明显梯度冲突；图 (b) 展示了微调可能导致的用户意图理解偏移，即模型在微调前能够正确理解用户需求，但微调后可能受到任务数据过拟合影响，生成与真实意图不一致的结果。
因此，统一搜索与推荐并不只是“如何把两个任务放进一个模型”或“如何减少微调参数”的问题。更关键的是：如何在避免全参数微调高成本的同时，缓解搜索与推荐之间的梯度冲突，并保护大语言模型原有的通用语义理解能力。
研究方法
为了解决上述问题，论文提出了 GEMS。其基本思想是将梯度更新组织在低维梯度子空间中，并进一步把搜索和推荐的优化信号分解到不同子空间中。
GEMS 包含两个核心模块：Multi-Subspace Decomposition 和 Null-Space Projection。
图｜GEMS 框架总览。GEMS 在统一搜索与推荐训练过程中，首先分别计算搜索和推荐任务的梯度，并通过多子空间分解将其划分为共享子空间、搜索特定子空间和推荐特定子空间；随后利用自适应融合机制整合不同子空间的更新；最后通过零空间投影约束更新方向，减少对大语言模型通用知识空间的扰动。
1.多子空间分解：缓解搜索与推荐之间的梯度冲突
GEMS 首先将优化空间划分为三个互补子空间：共享子空间、搜索特定子空间和推荐特定子空间。
共享子空间用于捕捉搜索和推荐共同需要的信号，例如用户兴趣、物品语义以及二者之间的通用匹配模式。搜索特定子空间用于建模查询语义和 query-item relevance。推荐特定子空间则负责捕捉长期用户偏好、行为序列模式和协同过滤信号。
这种设计的好处是，搜索和推荐中一致的优化方向可以进入共享子空间，而潜在冲突的任务特定信号则被限制在各自子空间中。换言之，GEMS 不是简单地把两个任务的梯度混在一起，而是显式地区分“共同有用的信号”和“任务特有的信号”，从而减少破坏性干扰。
此外，GEMS 还设计了自适应门控机制，根据任务损失、梯度范数和 batch 中样本比例等训练动态，自动调整搜索特定子空间和推荐特定子空间的贡献。这使得模型能够在训练过程中动态平衡两个任务，而不是依赖固定权重进行简单加和。
2.零空间投影：保护大语言模型的通用知识
除了缓解任务冲突，GEMS 还关注另一个重要问题：微调是否会破坏大语言模型原有的通用语义能力。
为此，论文提出 Null-Space Projection。该模块首先使用通用语料估计大语言模型预训练表示中的主导知识空间，然后将任务微调产生的更新投影到该知识空间的正交补空间中。直观理解，就是尽量避免模型沿着“承载通用知识的主要方向”发生过大改变。
通过这种方式，GEMS 允许模型学习搜索与推荐任务所需的新信息，同时降低对原有语言理解和推理能力的破坏风险。这一点对于统一搜索与推荐尤其重要，因为用户意图理解往往高度依赖大语言模型的通用语义能力。
研究结果
论文在两个包含搜索与推荐行为的数据集上进行了实验，包括 Qilin 和 Amazon。实验覆盖推荐和搜索两个任务，并与传统搜索/推荐模型、生成式统一搜索与推荐方法，以及 LoRA、LoRA-MoE 等参数高效微调方法进行了系统比较。
实验结果显示，GEMS 在不同数据集和不同任务上均取得了最优或接近最优的表现。尤其是在 T5-base 和 Qwen2.5-3B-Instruct 两类 backbone 设置下，GEMS 都能保持稳定优势，说明该方法不仅适用于中等规模预训练模型，也能够扩展到十亿参数级别的大语言模型。
图｜GEMS 在 T5-base 上的搜索与推荐结果。
图｜GEMS 在 Qwen-3B 上的搜索与推荐结果。
消融实验进一步验证了两个核心模块的必要性。移除 Multi-Subspace Decomposition 后，模型性能明显下降，说明显式区分共享信号与任务特定信号对于缓解搜索和推荐之间的干扰至关重要。移除 Null-Space Projection 后，模型虽然仍能取得一定提升，但整体表现弱于完整 GEMS，说明保护预训练知识对于稳定意图理解同样关键。
图｜GEMS 核心模块的消融实验。
论文还进行了梯度冲突分析。结果表明，相比普通 PEFT 方法，GEMS 在大语言模型各层中都能显著降低搜索与推荐之间的梯度冲突，尤其是在 attention 相关层中表现更稳定。这说明 GEMS 的优势不仅体现在最终指标上，也反映在优化过程本身。
图｜GEMS 与 PEFT 的梯度冲突对比。
此外，用户意图保持实验表明，普通 PEFT 方法更容易出现“微调前预测正确、微调后预测错误”的情况，而 GEMS 能够明显减少这类退化。这说明其零空间投影机制确实有助于缓解微调带来的语义漂移和意图理解偏移。
图｜用户意图理解保持能力分析。
GEMS 的一个重要优势是，它并不需要在模型中长期保留额外 adapter 参数。与 LoRA 或 LoRA-MoE 不同，GEMS 直接在原始参数空间中进行子空间优化，训练时通过低维梯度子空间进行参数更新，并避免在推理阶段引入额外 adapter 模块。
这使得 GEMS 具有较好的部署友好性。对于真实搜索与推荐系统而言，在线服务阶段的模型存储、推理延迟和系统维护成本同样关键。GEMS 不仅关注如何避免全参数微调带来的高成本，也考虑了大模型在统一搜索与推荐场景中的实际可用性。
更重要的是，GEMS 将统一搜索与推荐中的两个核心问题，即任务冲突和知识保持，放在同一个优化框架中处理。相比单纯增加模型容量或引入更多专家模块，GEMS 从梯度几何结构出发，提供了一种更加直接和可解释的解决路径。
未来方向
这项工作探索了大语言模型时代统一搜索与推荐的新方向。研究团队认为，搜索查询和推荐行为可以被视为用户信息需求的两种互补表达：前者反映即时意图，后者刻画长期偏好。要真正统一二者，模型不仅需要共享表示，还需要处理不同任务之间的优化冲突，并在适配任务的同时保留大语言模型原有的语义理解能力。
GEMS 通过梯度多子空间调优和零空间投影，为这一问题提供了新的解决方案。实验结果表明，该方法能够在搜索和推荐任务上取得整体稳定提升，同时缓解梯度冲突、减少用户意图理解偏移，并具有较好的部署友好性。
总体来看，GEMS 展示了在大语言模型框架下统一搜索与推荐的一种可行路径：不是简单地共享模型参数，而是从优化过程本身出发，显式处理搜索与推荐之间的任务差异，并在任务适配和知识保持之间取得平衡。
未来，随着用户行为信号、搜索查询、对话交互和上下文信息进一步融合，信息获取系统可能不再被清晰地区分为“搜索”或“推荐”，而是走向更加统一、连续和个性化的智能服务形态。如何在同一个基础模型中稳定建模短期意图、长期偏好和动态上下文，同时保持模型的通用理解能力和部署效率，将成为基于大语言模型的信息检索与推荐系统的重要研究方向。GEMS 在这一方向上迈出了一步，也希望为后续关于统一信息获取模型的研究提供新的思路。
配资网提示：文章来自网络，不代表本站观点。
