Agent 架构设计,重点就是考虑:记忆怎么设计、token怎么节省及上下文放哪些东西。

模块一:基础知识

 

1. 知识点一:大模型没有记忆。

 

2. 知识点二:token是最小单位,token就是钱。

表达相同的意思,中文存储空间小,但token消耗多。

如果说普通聊天token消耗是1,Agent消耗就是4,多Agent消耗就是15(上下文要复制很多份)。

多Agent确实能提速,但站在成本的角度,未必好(token就是钱)。

 

3. 知识点三:为什么模型会遗忘。

  • 硬限制:上线文有限。
  • 软限制:上下文腐烂。

 

注意力机制决定了,性能随着token的增加,平方级下降。

 

小结:Agent架构设计,重点就是考虑

  • 记忆怎么设计?
  • token怎么节省?
  • 上下文放哪些东西?

 

4. 知识点四:幻觉是由大模型的机制决定的。图片

  • 训练阶段,只看到概率;
  • 评估阶段,瞎猜评分更高。

 

5. 知识点五:如何尽可能的降低幻觉?

  • 提示词提醒,效果有限;
  • 根本方法,是要做验证(大模型说什么不算,Agent进行验证才行)

 

6. 知识点六:什么样的任务适合交给大模型?

判断标准就一句话:是否能够被低成本验证。

 

例如:写代码,做翻译,改文章。

为什么编码Agent最先火起来?

 

小结:关于“幻觉”,对Agent设计的启示?

  • 不要想着消灭幻觉,这不可能;
  • 降低幻觉,核心是验证(Agent里要有验证步骤,例如SDD的spec验证,TDD的test case验证);
  • 能低成本验证的业务场景,才适合用垂直Agent来解决;

 

7. 知识点七:上下文不够的问题,怎么解决?

核心解法:按需加载(下一讲会更细致的讲)。

  • skill的渐进式披露,就是典型。
  • MCP没有渐进式披露,非常消耗token。

 

8. 知识点八:上下文的处理方法1,丢弃。

丢弃最久的,简单粗暴,不推荐。

 

9. 知识点九:上下文的处理方法2,压缩。

留哪一些?

  • 关键决策及理由;
  • 未完成事项及状态;
  • 中间结论;

 

丢哪一些?

  • 工具原始输出;
  • 琐碎的过程;
  • 客套话;

这三招能降低99%的token消耗。

 

10. 知识点十:上下文的处理方法3,落盘。

  • 记忆,todo,handoff都可以沉淀为md文件。
  • RAG只是实现方式,并且也很消耗token。

 

小结:记忆的常见设计方法?

  • 长期记忆:落盘;
  • 短期记忆:内存;
  • 定期压缩;

 

11. 知识点十一:工作流与Agent的异同是什么?

  • 既定流程,没有不可预测分支,适合用工作流解决(控制流:代码);
  • 难以穷举,需要大模型临时判断,适合用Agent解决(控制流:大模型);

 

12. 知识点十二:Agent架构的核心,是一个二重循环。

  • 外层循环:用户输入与agent输出的循环;
  • 内存循环:agent不断规划,行动,评估,直到完成任务的循环;

模块二:代码解析

1. 第一版mini-agent架构:

它实现了什么呢?

  • 配置读取,大模型连接;

  • 一重循环:用户输入,系统输出;
  • 二重循环:大模型输入,大模型输出(此时还没有多轮);
  • 系统提示词;

  • 全量记忆;

 

2. 第二版mini-agent架构:

它实现了什么呢?

  • 垂直业务场景(sdd-site-agent),并且以外部记忆驱动业务往下走;
  • 按需注入系统提示词(需求,设计原型,技术架构,PLAN,CODE等不同阶段注入的系统提示词不同);
  • 上下文压缩;

但目前,还没有实现工具与skill。

 

sdd业务和上下文压缩是这么做的:

 

模块三:作业+资料分享

 

全量文章:

  • “架构师之路”公众号,不含测试题。
  • https://shenjian.site/,含测试题。

 

测试题示例:

 

 

文章来自:51CTO

 

Loading

yinhua
Author: yinhua

作者 yinhua

发表回复