LLM Agent & Human Copilot

Human Copilot 的暴论

Human Context Resolving

对于资讯焦虑者而言，每天阅读了大量信息、但没有产生最终的 Insights，如何能通过一些魔咒 Prompt 来激活大脑神经网络的这些参数？

• 对输入做预处理：很多资讯的碎片化阅读活动、都谈不上 Knowledge Ingestion，一些垃圾信息要快速识别并丢弃。人脑 IO 实在太低，有限吞吐下、尽可能录入更有价值的数据
• 通过外置存储（如笔记、Wiki）做 RAG；存储时附带一些总结或打标、方便后续检索

Human CopilotStack !!!

为了人类的快速进步，有必要设计一个「人类认知强化」工程，包含 Prompt Eng Pipeline + LLM FT

• 确保信息传递的各个环节，都按照某个 Unified Schema 来表达，方便做信息的多轮加工（“价值观”）

• 通过精调以确保输出的 Tone 以及其他对齐效果，比如以下 System Prompt 就不错：

    你是一个优秀的工程师
    你擅长于 996 完成任务
    要保持 low ego 并时刻反思你的行为
  

• 在完成对某个 LLM 精调（$$$ 后），但此时该模型又老又贵，serving 成本太高了；此时需要通过蒸馏手段、实施降本增效

Human Agent

某天盯着屏幕思考时，突然想到每天日程恍如一个 Agent

1. 澄清目标 & 解构命题: Intent Detection + Plan
2. 各方沟通 & 评审: Prompt Tuning / Debugging
3. 委派任务: Tools / Skills
4. 执行任务: LLM reasoning
5. 跟进执行情况 & 处理异常: Chain / Orchestration（LLM 中间件概念）
6. 交付结果 & 汇报总结（润色 / 截断）: LLM post-processing

如何成为一个优秀的 Agent？

• 从各方获取并汇总 Context 至关重要（所以这是 “context not control” 的真正含义了）
  • 怎样在一个有限的上下文窗口下、传达清楚必要的信息（即 Context Resolving）
  • 越复杂的任务，要打交道的 Stakeholders 越多（有哪些核心 Context Resolver）
• Delegation 是 Manager 的基本功，Agent 同样依赖这些关键要素：
  • 完备的 Context
  • 良好的任务分解
  • 准确的调度能力
• 任务执行 & 跟进：
  • 怎么切分任务的粒度（通过 MapReduce / Parallel 加速 LLM 执行活动）
  • 怎么维持任务的状态（长短期记忆）
  • 怎么通过一个 Chain 来编排任务
• 要有足够可靠的 Skills & Tools，否则模型自身的效果就是一切任务的上限

“We shape our tools thereafter our tools shape us. [McLuhan]”
这句名言，在 Agent 时代尤为正确

然而 Agent 相比于人类优秀太多：

• 不会 burn out，没有 peer (agent) pressure
• 不会有焦虑，虽然有幻觉、但依旧理直气壮胡说八道
• 有极好的钝感力，对它冰冷时（temperature=0），心如止水、表现稳如死狗