Dev.to AI 🤖 Ai 👁 0

知识库定了,就别再让模型猜你在问什么

上一篇说,Agent 该规划的是知识缺口,不是一串搜索词。 写代码的时候,这句话很快碰到一个更具体的事实:用户在界面上已经选好了知识库。这时再让模型判断「这是办件进度,还是政策问答」,多出来的那一次请求并不增加知识。 所以现在的主路径很短。 已选知识库 ↓ 把已上线问答的标题和摘要交给模型 ↓ 模型只返回编号 ↓ 按编号取出答案全文 ↓ 只根据这些全文写答复 ↓ 用规则核对,不让模型自己证明自己

知识库定了,就别再让模型猜你在问什么

上一篇说,Agent 该规划的是知识缺口,不是一串搜索词。

写代码的时候,这句话很快碰到一个更具体的事实:用户在界面上已经选好了知识库。这时再让模型判断「这是办件进度,还是政策问答」,多出来的那一次请求并不增加知识。

所以现在的主路径很短。

已选知识库
   ↓
把已上线问答的标题和摘要交给模型
   ↓
模型只返回编号
   ↓
按编号取出答案全文
   ↓
只根据这些全文写答复
   ↓
用规则核对,不让模型自己证明自己

下面这张图是同一次提问。左边是答复,右边是过程。第一步写着:知识库已选定,直接勾选问答,本步不调用大模型。第二次调用才出现,名字是 Qwen3.6,工作是看 FAQ 标题。整次耗时 5.6 秒。

选定知识库后的问答和过程

问题是「工资一般什么时候发到账?如果碰到银行放假呢?」答复是:次月 5 个自然日内;碰到银行假日,提前到前一个工作日。这是库里那一条的原文,不是模型凭空补的。顶栏写着「星河科技员工手册(35 条)」。过程面板里,理解问题是编排,勾选才是大模型。

把这一步展开,能看见模型实际读到的东西和它交回来的东西。

展开勾选:提示、送进去的标题、返回的编号

输入是整份已上线标题。输出只有编号,这一次是 1.9。摘要写的是发薪和银行假日,和问题对得上。程序再按这个编号去取正文,后面才写答复。

这条路是从更长的链路里收出来的

第一篇里的知识世界有实体、关系、时间和证据。落地时我们先做成过一棵目录:章、节、叶子,计划阶段让模型点一个分支,再钻进去检索。星河手册的早期版本走的就是这条。

那一版上,同一类问题已经露出后来反复出现的三类错:

当时卡住的地方 实际发生过的事
计划 JSON 写坏 账号泄露那题,模型返回的计划不是合法 JSON,靠兜底计划才救回来
钻错章节 学习预算被钻进别的章,靠一次不限范围的重试才命中
漏掉同一章里的另一条 年假结转答成 7 天。当时的上限写在另一节,检索没把它带上,核对仍然通过

7 天这个数字后来没有沿用。手册改成现在这 35 条之后,条文本身也改过:满一年 15 天,结转上限 30 天。已有 8 天再满一年,是 23,不是 7,也不是把 30 直接当成余额。旧链路的教训留下来了:让模型决定「往哪一章钻」,它会钻偏,也会在钻对的时候漏掉旁边那一条。

扁平问答把「往哪钻」拿掉了。一份知识库就是一组并列的问和答。没有父子章节要先钻进去。界面上就是这张表。

六份已上线知识库

知识库 已上线条数
流行音乐 30
三国演义 50
权游知识手册 50
潘多拉星球生态手册 50
宠物饲养指南 100
星河科技员工手册 35

叙事类的库,标题和问题几乎同形,勾选不难。星河是制度,问题经常换说法,一条问题里还叠着两三件事。后面两篇的测试,难的都在这本手册上。

模型只交编号

勾选时,模型看到的不是答案全文,而是每条的三样东西:

section_ref   编号,例如 1.9
title         问题
summary       答案开头

条数不超过 120 时,整份列表一次送进去。现在这六本都在这个限度里,所以都是一批。模型只许返回:

{"section_refs":["1.9"],"reason":""}

编号必须来自这次给它的列表。一条都对不上,就返回空数组。程序再丢掉不在列表里的编号。

空数组的含义是拒答,不是换个近题凑一条。年终奖怎么发,库里没有,就告诉用户没找到,不编一套发放规则。三国库里问铁王座、权游库里问罗贯中,走的也是这条:空召回,然后停。

勾中的编号才去数据库取答案全文,交给写答复的那一次调用。所以一次命中的问题,大模型通常只有两下:勾选,然后作答。年假这种要算数量的题会多一次改写,第四篇写它。一条都没勾上时,只有勾选那一次,后面的作答不再发生。

过程面板再往下是后半段:按编号读正文、规则核对、撰写回答。核对这一步标明不调用大模型。

同一套页面可以换库。下面这张图里,先问了发薪,再把顶栏换成三国演义,问关羽和刘备的关系、吕布的坐骑。后一问 8.9 秒,答复按库里的原句写了桃园之义和赤兔马。过程仍是「理解跳过,然后勾选」。

同一会话里换一本知识库

勾选上的几条硬规则

这些规则是程序的,不是模型临时发挥的。

规则 为什么这样定
120 条以内一次送完 分批会让模型在第一批就停。现在最大的一本是 100 条,还用不上分批
必须分批时,每一批都送 模型不能返回 done。停不停不是它的决定,程序把各批编号并起来
普通问题最后最多留 5 条 模型有时会勾一串沾边的标题。超出之后,用本地的词面重合把多出来的丢掉
枚举「有哪些、全部」最多留 24 条 金额限制这种题要的是一组,不是一条
多件事的题,不再附上「通常 1~3 条」 离职里同时有年假、报销、电脑。加上这句,模型只留下最显眼的归还资产
本地词面分只在超出上限时才用 它分不清「设备丢失」和「笔记本」。拿它当主检索,换一种说法就空

我们讨论过用向量相似度代替这次勾选。发布时把标题和摘要嵌进去,提问时做点积,50 到 100 条通常不到一秒,能躲开 7B 读完整份列表的那几十秒。它适合当短名单:先留大约 8 条,再让现在这次勾选在短名单里挑。若只用相似度当裁判,标题像的错条会留下。项目文档里的约定仍是提问时不做向量检索。短名单没有接进主路径。

踩坑

提示词还在说字典和父子。 早期召回沿着目录往下钻,提示词里有章、父节点、叶子。产品改成扁平问答之后,这些词还留在提示里,模型会去找一个不存在的层级。后来把勾选提示改成:你看到的就是并列条目,只勾摘要能直接回答的那些。

模型想自己决定「后面不用看了」。 列表太长、必须分批时,如果让模型返回 done,它可能在第一批就停,后面的正确条目再也看不到。程序的做法是:每一批都送,只收集编号,最后再并起来。

曾想把「理解问题」并进勾选,省一次请求。 省是省了,但勾选必须看见整份标题。把意图分类塞进同一次,提示更长,编号也更容易漂。知识库已经由人选定,理解这一步直接跳过就够了。没有选定知识库的办件、办事指南,仍走原来的理解。

标题像,不代表这条能回答。 提示写明:标题用词接近,但摘要里没有那件事,不要勾。同一件事的不同说法要勾,摘要用了上位词、下位词或同义说法,也算同一件事。笔记本和「设备丢失」就靠这句。这句写上之后,小模型仍会失手,那是它没有照着摘要里的那句话勾,放到第三篇的对照里。

测试题自己写错,会变成一条假缺陷。 「诸葛亮出征骑的什么马」在三国库里对不上。原题是坐骑,答案是四轮车,也叫素舆,不是马。模型勾到吕布的赤兔之后,正文写了未检索到,没有把赤兔安到诸葛亮头上。这题后来不计入。吕布的坐骑才是赤兔,上面那张切换知识库的图问的是这一条。

这一篇留下来的接口

写答复的模型只看见勾中的问答原文。数字、时限、对象、步骤都要从这些原文里来。没被勾中的事,不能靠模型的常识补上。

核对也不把「模型觉得自己对」当成通过。通过与否是程序拿答复和取回来的正文做的。它放过过什么、又拦住过什么,第四篇写。

代码在 github.com/zealot2002/mycs:

做什么 哪里
选定知识库就跳过理解 src/mycs/agent/loop.py
整表勾选、分批也走完 src/mycs/planning/flat_faq.py
勾选提示 config/prompts.txt 的 faq_title
超出条数才用的词面分 src/mycs/knowledge/search.py 的 score_entity
问答页和过程面板 frontend/src/views/ChatView.vue

下一篇看时间花在哪。同一条链路,换模型之后,慢的往往不是生成那几十个字。

📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.