团队负责内部的 Code 基建，围绕 AI & DevTools 也做了小半年的尝试，暂用 Code for AI & AI for Code 做下二分总结：
Code for AI
- “AI Infra”（包括 Training / Evaluation / Serving / Deployment 等环节）
- 仅「评测工程」这里蜻蜓点水参与了一阵，协助解决服务稳定性及环境隔离问题
- 整个技术栈同 Distributed System 差距不算大，如果有 ML 背景是极好的
- “AI Framework”（如社区 LangChain / LlamaIndex / Semantic Kernel 等；也包括各种涌现中的 Agent Framework）
- 价值点在加速 AI 能力落地、降低 AI 加持的应用开发成本。要做好抽象并关注开发体验，类似中间件领域的研发
- 框架要足够开箱即用，能向上屏蔽一些 LLM 领域的最佳范式；如 RAG 实现知识库检索的全链路、MapReduce 等方式解决上下文窗口限制等。挑战之处在于怎样在分层的夹缝中找好定位（比如下层 Foundation Model / Vector Store 也都不甘于仅承担底座角色）
- 框架的成功需要有生态、除非运动式强推，最初的标杆用户及样板间场景非常重要；而目前 LLM 的应用生态的成熟度还不够（2023.10）
- “AI Tools & POC-oriented projects”（如数据处理、可视化分析等；包括为一些探索性任务提供自动化的解决方案）
- 入职第一个任务就是这个方向，复刻某论文里的 SFT 数据集构造方案；初期实验发现效果不好，跟需求方共识后、暂停工程侧投入
- 随着 AI 热度在上半年的不断蔓延（尤其社区及学界在写文章及起标题上深受 Transformer 论文带来的歪风影响），大家总会希望能快速并低成本「尝试」/「实现」某些创新；还是需要坚持一些工程层面的原则
AI for Code
将 AI 能力集成进现有的平台产品 / 工具体系，DevTools 里最典型的是 GitHub Copilot；此外每个 Infra 产品团队都在努力给自家 Workbench 上加一层 LUI 交互
上半年最初计划在 LLMOps AI Framework 方向先打开局面，比较困难；AI for Code 部分还在深耕，有朝一日再来更新
很多时候动动手（比如参与开源项目）确实比动动嘴（比如写 Design Doc）对事情认知的提升更快，按时间线记录一些跟社区互动历程：