风语 · 实用指南 · 更新于 2026-09-26
结论先说：知识库上线后没人用，八成不是模型不行，而是四件事没做：资料没结构化、召回质量没测过、答案给不出证据、效果没有评测集。这四件事都属于工程，不属于模型选型，所以换模型永远换不出提升。
别人怎么说：人人都是产品经理作者叶小钗记录过一个药企案例（《老板花几十万做AI知识库，三个月后发现打水漂了……》，作者：叶小钗）。项目报价从不到 10 万到 300 万都有，团队首月就交出了约 70 分的 demo，可三个月后仍然停在 70 分，技术团队归咎于模型上限，最后只能推倒重来；他的判断是，症结在团队缺少大型 AI 项目经验，只靠换开源、换组件硬撑，量化不了效果也沉淀不出方法。
我们的判定怎么说：这个判断可以用工具数据反过来印证。风语货架 2026-09-25 快照里，知识库相关的开源项目并不缺、分也不低：microsoft/graphrag 93 分、HKUDS/LightRAG 93 分、mem0ai/mem0 88 分、deepset-ai/haystack 83 分、Mintplex-Labs/anything-llm 83 分，全部过判定线（≥70，四维：活跃 30 + 人气 25 + 可用 30 + 合规 15）。组件是现成的、可以白拿，卡住项目的从来不是「没好工具」，而是没人把知识整理成工具能吃进去的样子——这也是我们把它判为「工程问题」而不是「采购问题」的依据。
结论：把下面四件事各写一条验收标准，比多接一个模型有用得多。
| 工程活 | 要做什么 | 验收标准 |
|---|---|---|
| 知识结构化 | 把散落的 PDF、表格、聊天记录拆成带主题和时效的条目 | 同一问题不会被两份过期文档给出两个答案 |
| 召回质量 | 先保证「查得到对的段落」，再谈回答好不好 | 抽查 50 个问题的召回命中率 |
| 证据链 | 每条回答都能点开原始出处 | 回答里带文件与段落定位，能人工复核 |
| 评测集 | 固定一批问题，每次改动前后跑同一批 | 答对率、引用可溯率、转人工率三项可对比 |
结论：不要推倒重来，按「建评测集 → 清数据 → 测召回 → 补证据 → 再谈放量」的顺序做，一轮就能看出有没有救。
结论：第一版 70 分靠的是通用能力，从 70 分往上靠的是你的业务数据，两者不是同一种资源。
结论：四个坑，全部可以在立项第一周用一条规则避开。
| 坑 | 典型表现 | 应对 |
|---|---|---|
| 只比价格和 demo | demo 好看，上线后答不出业务问题 | 先让对方用你的评测集跑一遍 |
| 把文档原样灌进去 | 同一问题命中过期段落，答案互相打架 | 先做结构化与时效标注 |
| 没有评测集 | 只能凭感觉说「好像好了一点」 | 固定 30–50 个问题，改动前后各跑一次 |
| 一次性全公司推广 | 早期错答传开后，没人再愿意用 | 先给一个较真的小部门用两周 |
AI 知识库没人用，问题出在哪？多数是知识工程问题：数据没结构化、召回没测过、答案没出处、效果没评测集。
为什么第一个月 70 分，三个月后还是 70 分？因为第一版靠通用能力，往后要靠业务数据整理，没有评测集就只能反复换组件，换不出提升。
预算有限，先用开源的吗？可以，且分不低：graphrag 93 分、LightRAG 93 分、mem0 88 分、haystack 83 分、anything-llm 83 分，都是过判定线的免费开源项目。
怎么判断它在变好？固定评测集，看答对率、引用可溯率、转人工率三项是否在动。
同簇阅读：AI 客服真的能替代人工客服吗？ ｜ 小团队想上 AI 客服，第一步该做什么、要花多少钱？ ｜ 选 AI 客服和知识库工具，怎么用评分避开「带聊天框的文档搜索」？
相关工具页：风语工具集合（过判定才上架） ｜ 风语曲线分析工作台