从知识库、RAG 到 Long-horizon Agent:为什么 AI 用得越深,幻觉、漂移、记忆与边界问题反而越明显?
本文为 Pitt Zhang 基于实际 AI 工程使用、Coding Agent 实践及企业 AI 落地观察形成的原创技术文章。
允许个人、媒体、技术社区及其他非恶意用途进行引用、讨论、转载或二次分析,但应明确注明原作者与原始出处。
允许对本文观点进行批评、验证和反驳。
最近我一直在思考一个很奇怪的问题。
现在越来越多企业开始讨论:
大模型本地化;私有知识库;RAG;AI 客服;文档分析;OCR;SQL 生成;自动化工作流;甚至所谓的企业 AI Agent。
但有一个现象很有意思。
在很多企业 AI 项目的宣传和讨论里,很少有人持续谈:
模型幻觉;长任务漂移;跨 Session 记忆;错误记忆污染;上下文压缩;Agent 权限边界;长期任务中的状态失真。
而这些问题,却是我在长期使用 Codex、Claude Code 等 Coding Agent 以后,越来越频繁撞到的问题。
于是一个很自然的问题出现了:
难道企业本地部署的大模型,就没有这些问题?
答案其实恰恰相反。它们一样存在。
真正的区别可能根本不是:
Local Model vs Cloud Model
而是:
Short-horizon AI vs Long-horizon Agent
也就是:你的 AI 到底只需要工作几步,还是需要连续工作几十步、几百步,甚至跨越多个 Session?
这可能才是目前企业 AI 工程真正的分水岭。
首先必须拆掉一个很容易被混淆的概念。
所谓大模型本地化部署,主要解决的是:数据是否离开企业;模型版本是否可控;算力和成本如何管理;企业内部系统如何接入;权限和数据主权如何治理。
但是这些事情与:模型是否产生幻觉;长上下文是否漂移;Agent 是否忘记早期约束;长期记忆是否可靠——并不是同一个问题。
把模型从云端 API 搬进自己的 GPU 服务器,并不会突然让 Transformer 获得真正意义上的长期记忆。同样也不会让模型突然获得Ground Truth。
RAG 可以降低一部分知识型幻觉。Fine-tuning 可以让模型更加熟悉企业自己的语言和业务。
但是:
知道企业术语,不等于推理可靠。
一个模型完全可能非常熟练地说出客户名称、系统名称、服务名称、数据库名称、业务流程、内部缩写,然后非常专业地得出一个错误结论。
所以:Local Deployment 不是 Hallucination Solution。RAG 也不是 Memory System。它们解决的是不同层级的问题。
后来我发现:可能不是企业模型没有这些问题。而是:
很多项目还没有把模型使用到足以充分暴露这些问题的深度。
目前大量企业 AI 应用,本质结构其实非常简单:
用户
↓
企业应用
↓
查询知识库 / 数据库
↓
LLM
↓
固定格式输出
↓
规则校验 / 人工确认
例如:查询企业制度;总结一份 PDF;从合同中提取字段;识别发票;回答客服问题;把自然语言转换成 SQL;生成一份报表;根据表单内容分类;把邮件摘要以后推送给另外一个系统。
这种任务有一个共同特点:链路很短。
模型可能只需要进行一次、两次、或者几次推理。任务输入清楚。输出结构清楚。工具集合有限。生命周期也很短。很多时候几秒钟以后,这个任务就结束了。
于是一个非常关键的问题出现了:
它根本没有足够长的生命周期,让很多长期 Agent 问题充分暴露出来。
一个企业知识库可能是:
Question
↓
Retrieval
↓
LLM
↓
Answer
↓
Citation
一次任务可能几秒钟结束。
但 Coding Agent 的任务可能是:
理解需求
↓
读取项目
↓
分析代码
↓
建立假设
↓
执行命令
↓
读取日志
↓
修改文件
↓
运行测试
↓
测试失败
↓
重新分析
↓
推翻旧假设
↓
再次修改
↓
重新测试
↓
总结当前状态
↓
压缩上下文
↓
进入下一个 Session
↓
继续原项目
到了这里,LLM 已经不再只是生成一次答案。它开始维护:目标;状态;事实;假设;历史决策;任务边界;失败记录;当前环境;下一步计划。
于是问题发生了根本变化。你会开始遇见:早期约束被遗忘;已经排除的假设重新出现;旧结论被误认为仍然有效;工具返回结果没有正确进入后续推理;上下文压缩以后细节消失;Session 切换以后状态断裂;错误总结被当成事实继续使用;一次错误逐渐放大成后续很多次错误。
这已经不是普通 Chatbot 的问题了。这是:Long-horizon Agent Engineering。
普通 Chatbot 产生一个幻觉:用户看到,发现不对,重新问一次。这个错误的生命周期可能只有几十秒。
但在 Long-horizon Agent 中,错误可能进入状态。例如 Agent 首先判断:
服务器内存不足
后来新的证据已经证明:
宿主机还有充足 MemAvailable
真正问题是:某个 JVM / Elasticsearch Heap 配置过小
如果系统只是简单地把两条信息都保存下来:
Memory A:服务器内存不足
Memory B:ES Heap 过小
那么问题根本没有解决。因为未来某一次 Retrieval,可能重新把 Memory A 找回来。Agent 再次告诉工程师:
建议增加服务器内存。
真正可靠的记忆系统不能只知道保存。它还必须知道:
Memory A:status = invalidated
reason = disproved by later evidence
superseded_by = Memory B
也就是说,真正困难的并不是:
怎么让 AI 记住更多东西?
而是:
怎么让 AI 知道哪些东西已经不应该再相信?
这完全是另外一个难度等级。
现在很多产品喜欢把知识库 + RAG描述成 AI 拥有了企业记忆。严格来说,并不准确。
RAG 本质上解决的是 Retrieval。也就是:当前任务来了以后,去外部数据源找一些"可能相关的信息",然后重新塞回模型上下文。
但真正的长期 Memory 至少还要解决:
发生了什么?
↓
什么值得保存?
↓
保存成什么?
↓
这个事实来自哪里?
↓
可信度多高?
↓
后来有没有新证据?
↓
旧结论是否已经失效?
↓
两条记忆发生冲突怎么办?
↓
什么时候应该检索?
↓
检索回来以后允许影响多大?
这已经不只是 Vector Database。而是一个完整的State Management System。
甚至更像传统软件工程里的:Event Sourcing;Versioning;Provenance;Conflict Resolution;Invalidation;Rollback。
所以我越来越觉得,未来真正复杂的 Agent Memory,可能并不是"给模型外挂一个更大的向量数据库"这么简单。
因为 Coding Agent 给模型装上了一个巨大的执行放大器。
普通聊天模型:
LLM
↓
Text
Coding Agent:
LLM
+
Shell
+
Filesystem
+
Git
+
Compiler
+
Test
+
Network
+
Long Context
+
Planning
于是同一个幻觉,过去只是一句错误文字,现在可能变成:
错误判断
↓
错误修改
↓
错误测试
↓
错误总结
↓
写入当前上下文
↓
继续基于错误前提工作
↓
第二次错误
↓
第三次错误
因此,模型本身到底有多聪明,当然很重要。但是当使用深度继续增加以后,越来越大的瓶颈开始变成:
State · Memory · Context · Boundary · Verification · Recovery
这也是为什么真正长期使用 Coding Agent 的人,往往会比普通 Chatbot 用户更早撞上这些问题。并不是 Coding Agent 特别差。恰恰相反。是因为:
它已经走得足够远。
讨论到这里,很容易走向另外一个极端:既然 Long-horizon Agent 还有这么多问题,那么企业 AI 是不是根本不能用了?
当然不是。甚至恰恰相反。
我现在越来越认为,现阶段真正适合快速进入生产环境的,正是:
短链路、边界明确、结果可验证的 AI 系统。
例如:Chatbot;企业知识库;RAG;文档摘要;客服;OCR;信息抽取;SQL 生成;报表生成;简单 Workflow;有限 API 调用的内部 Agent。
这类项目可以被拆得非常清楚。例如:
上传 PDF
↓
OCR / Parser
↓
文本预处理
↓
LLM 提取 JSON
↓
Schema Validation
↓
数据库查询
↓
生成摘要
↓
人工确认
每一步:都可以单独测试。都可以设置输入输出。都可以失败重试。都可以记录日志。都可以建立权限。都可以监控。都可以回滚。
于是模型最危险的特性,被工程系统包了起来。
这是我认为特别重要的一点。
成熟的 AI 系统不应该建立在:
"这个模型已经非常聪明,所以可以相信它。"
而应该建立在:
"这个模型迟早会犯错,所以整个系统必须能够承受它犯错。"
例如,财务 AI 可以:
Invoice
↓
LLM 提取字段
↓
规则校验
↓
人工审批
而不是:
Invoice
↓
LLM
↓
自己决定付款
↓
直接调用银行 API
运维 AI 可以:
日志
↓
LLM 分析
↓
生成故障假设
↓
交叉验证
↓
人工批准
↓
执行
而不是:
发现异常
↓
LLM
↓
SSH Production
↓
自由执行 Shell
所以真正靠谱的架构可能恰恰是:
把 Probabilistic Model 包进 Deterministic System。
模型负责:理解;推理;生成;归纳;提出假设。系统负责:权限;状态;验证;日志;审计;失败处理;回滚。最后,Human 负责授权。
这也是另一个有意思的结论。
如果项目是一个持续几周、完全 Autonomous、拥有大量权限、需要长期维护自身状态的 Agent,那么现在的模型和 Agent Runtime,还有大量基础问题需要解决。
但如果项目可以拆成大量短任务、明确模块、固定输入输出、结果可以测试、高风险步骤必须人工确认,那么多模型协作的优势会非常明显。例如:
业务需求
↓
人工拆解问题与定义边界
↓
模型 A:方案
↓
模型 B:实现
↓
模型 C:Review
↓
自动化测试
↓
真实数据验证
↓
人工确认
↓
上线
这个模式并不要求一个 AI 从第一天开始,一直"记住"整个项目,连续自主工作几个星期。恰恰相反。整个工程过程可以被切碎。
每一个阶段重新建立 Ground Truth。每一个阶段重新验证。每一个阶段都有明确终点。这会大幅降低 Agent Drift 带来的风险。
AI Coding 的发展确实正在快速降低编码、原型、脚手架、接口开发、简单测试、文档、重复性工作的成本。
一个过去需要多人完成的小型内部工具,现在可能确实可以由少数工程人员配合多个 AI 更快完成。
但是这里必须非常小心。不能简单推导成:
一个人 + AI = 自动替代一个完整软件团队。
因为 AI 可以压缩 Coding Complexity。但它无法消灭Business Complexity。
例如一句非常简单的需求:
把企业内部 3000 份 PDF 做成一个 AI 客服。
模型生成主要代码可能并不困难。真正生产化的时候却会出现:文档权限;文档版本;OCR 质量;Chunk Strategy;Embedding;Retrieval;引用来源;用户权限隔离;敏感数据;审计;并发;缓存;成本;失败重试;监控;脱敏;灾难恢复。
最后你会发现:
AI 应用仍然是一个软件系统。LLM 只是其中一个组件。
这也是我最近越来越明确的一点。
未来企业真正需要的未必全部都是:训练模型;CUDA;分布式训练;RLHF;模型压缩。
另外一条同样巨大的路线是:
AI Application + Automation + Infrastructure + API Integration + Observability + Security Boundary
问题变成:
怎么把 AI 接进企业已经存在的系统?以及,怎么让它稳定工作?
甚至很多所谓"企业 AI 数字化转型"最终落地以后,可能只是:
企业微信 / 钉钉 / Web
↓
API
↓
企业数据库 / 知识库
↓
LLM
↓
Structured Output
↓
审批 / 工单 / 报表 / Notification
它不性感。也没有"全自主数字员工"那么容易吸引注意力。但是:
它能真正工作。
对于企业而言,这可能比一个可以连续自主思考几十个小时,但状态和边界仍然无法完全信任的 Agent,更有现实价值。
过去讨论企业大模型的时候,人们很容易问:本地还是云端?开源还是闭源?7B 还是 70B?RAG 还是 Fine-tuning?哪个 Benchmark 更高?Context 是 200K 还是 1M?
这些当然都是重要问题。但真正进入工程以后,也许还有另外一条更加重要的坐标轴:
这个任务链到底有多长?
任务越短:状态越少;历史依赖越少;验证越容易;错误传播半径越小。
任务越长:State 越复杂;Memory 越重要;Context 越容易失真;错误越容易累积;权限边界越难管理;恢复成本越高。
于是:
Short-horizon AI
↓
今天已经可以大量生产化
Long-horizon Agent
↓
正在快速进步
Persistent Autonomous Agent
↓
仍然存在大量基础工程问题
这可能比"模型到底部署在哪里"更加接近问题的本质。
这也是我今天最终得到的一个结论。
下一代真正可靠的 Agent,可能并不只是一个更大的模型。真正需要完善的可能是:
LLM
+
State Machine
+
Structured Memory
+
Event History
+
Provenance
+
Evaluator
+
Permission Boundary
+
Rollback
+
Human Approval
简单来说:模型已经越来越像一个非常强的大脑。但是如果要让这个大脑连续工作数天、数周甚至更久,它还需要一套真正可靠的操作系统;记忆系统;权限系统;审计系统。
否则:模型越聪明;工具越多;权限越高;自主性越强;一次错误能够产生的影响反而越大。
所以 AI Agent 接下来的问题,可能已经不再只是:
模型还能不能再聪明一点?
而是:
我们能不能建立一个系统,让一个永远可能犯错的智能体,也能够长期、安全、可恢复地工作?
在这个问题彻底解决以前,短链路 AI 与 Long-horizon Agent,恐怕仍然会是两种完全不同的工程世界。
而对于今天的企业来说,最现实的路线可能不是等待一个永远不会犯错的 AI。而是:
把复杂工作拆成足够短、足够明确、足够可验证的链路,让 AI 在边界里面发挥它已经非常强大的能力。
模型负责聪明。系统负责确定。人负责最终授权。
也许这才是现阶段 AI 真正进入生产环境最可靠的方式。
本文为 Pitt Zhang 原创技术分析。
欢迎技术社区、研究人员、开发者及媒体对本文观点进行引用、讨论、验证和转载。
引用或转载时,请明确注明:
作者:Pitt Zhang
原文首发:2026 年 8 月 19 日
出处:api-cloud.cc
允许对本文结论进行批评、反驳和进一步研究。
引用无需事先征得作者许可,但须保留作者及原始出处信息。