Skill 治理、进化与安全
本页由 [[wiki/concepts/Skills、Agents 与工具设计]] 拆分而来（2026-07-03），内容原样搬移。
工业级 Skill 基础设施架构（2026-06 新增）
尼恩（技术自由圈）提出了目前最完整的工业级 Skill 四层自进化架构，多位作者独立验证了其中的关键组件。[[raw/2026-06-19/尼恩-技术自由圈/阿里面试官：如何设计工业级 Skills 进化体系？-一个工业级-技能-Infra-底座如何设计？.md|来源: 尼恩 四层架构]]
四层自进化架构
| 层 | 名称 | 核心职责 |
|---|---|---|
| L1 | 轨迹感知层 | 记录 Skill 的真实使用轨迹（脏计数器、影子 Agent 舱壁、缓存继承） |
| L2 | 技能蒸馏层 | 从轨迹中提炼可复用的规则和经验，SOP 化、规则化、模板化 |
| L3 | 技能进化层（GEPA） | Generate→Evaluate→Patch→Audit 闭环，每步不可跳过 |
| L4 | 技能治理层 | 注册中心、质量评估、生命周期管理、权限控制 |
GEPA 自进化闭环
GEPA（Generate→Evaluate→Patch→Audit）是自进化的核心引擎：执行 Skill → 评估输出质量 → 出补丁修复 → 回归审计。Audit 确保修正确实提升了质量而不是引入了新问题，这是 SkillOpt 论文的核心训练循环的方法论等价物。
脏计数器（Dirty Counter）
按有效工具调用次数而非对话轮数触发复盘——这才是真正度量”做了多少事”的指标。对话轮数可以有大量无效对话，而工具调用次数直接对应实际工作量。[[raw/2026-06-19/尼恩-技术自由圈/阿里面试官：如何设计工业级 Skills 进化体系？-一个工业级-技能-Infra-底座如何设计？.md|来源: 尼恩 脏计数器]]
影子 Agent 舱壁隔离
六个具体维度确保隔离不串味：记忆隔离 / 递归防护 / 工具白名单 / 危险命令自动拒绝 / 前端输出隔离 / 日志隔离。每个维度对应一个明确的攻击面或故障面。[[raw/2026-06-19/尼恩-技术自由圈/阿里面试官：如何设计工业级 Skills 进化体系？-一个工业级-技能-Infra-底座如何设计？.md|来源: 尼恩 影子Agent]]
缓存继承
实测约 26% 端到端算力成本降低。缓存继承的工程细节：KV Cache 复用策略、上下文相似度阈值、缓存命中率监控。
边车文件模式（Sidecar Pattern）
Skill 内容与使用统计分离存储：主文件存指令和模板（原子替换），边车文件存调用频次、成功率、token 消耗等统计（追加写入），跨进程文件锁保障并发安全。
四状态双向可逆状态机
Skill 生命周期不再只有”启用/禁用”两态，而是四态双向可逆：active ↔ stale ↔ archived ↔ pinned。pinned 状态的 Skill 不被自动清理或降级，适合核心基础设施类 Skill。
五维质量评估 42+ 细分指标
| 维度 | 覆盖范围 | 计算公式 | 优秀阈值 |
|---|---|---|---|
| 任务达成率 | 完成度、正确性 | 成功次数/总调用数 | >90% |
| 工具健康度 | 工具调用成功率、失败分布 | 成功调用/总调用 | >95% |
| 输出稳定性 | 输出格式一致性、偏差率 | 符合模板次数/总次数 | >85% |
| 人工干预率 | 用户修正频率、介入深度 | 修正次数/总调用 | <10% |
| Token 成本 | 每任务 token 消耗、效率 | 总 tokens/任务数 | 低于基线 |
六组件概念边界
| 组件 | Core 定位 | 解决问题 | 生命期 |
|---|---|---|---|
| Tool | 能做 | 原子操作能力 | 会话 |
| Skill | 会做 | 可复用工作流 | 跨会话 |
| Harness | 不出事 | 安全与治理 | 永久 |
| MCP | 远程互联 | 外部能力标准化 | 配置 |
| Memory | 笔记本 | 持久化信息 | 跨会话 |
| Prompt | 临时便签 | 一次性指令 | 单次 |
技能注册中心
三层校验（Schema 验证 → 安全扫描 → 冲突检测）+ 四层召回机制（精确匹配 → 模糊匹配 → 语义匹配 → 人工推荐）+ 三层渐进式加载（L0 目录 L1 摘要 L2 全文）。
PreToolUse Hook 埋点实践
吴师兄展示了在 PreToolUse hook 中做调用频次埋点的具体做法——量化识别主力 Skill 和”僵尸”Skill（装了从未触发的）。这提供了治理层的数据基础。[[raw/2026-06-20/吴师兄/一个月给 Claude Code 烧了 1.5 万美金，我才搞懂 skill 到底该怎么写.md|来源: 吴师兄 埋点]]
Gotcha 清单——最高信号量内容
吴师兄的 Gotcha 清单从 3 条被”喂”到 22 条的实际迭代过程：三十帧后截图 / CDN 缓存刷新 / 配色 token 约束。Gotcha 的核心价值是”告诉 Claude 它一定会搞错的信息”——比复述官方文档有价值得多。[[raw/2026-06-20/吴师兄/一个月给 Claude Code 烧了 1.5 万美金，我才搞懂 skill 到底该怎么写.md|来源: 吴师兄 Gotchas]]
Skill 记忆与临时 Hook 保险丝
Skill 文件夹中的 config.json 可持久化跨会话记忆（CDN bucket / 缓存接口 / 域名配置存一次用永久）。临时 hook 可在 Skill 激活期间充当”保险丝”——禁止修改指定目录外的文件。[[raw/2026-06-20/吴师兄/一个月给 Claude Code 烧了 1.5 万美金，我才搞懂 skill 到底该怎么写.md|来源: 吴师兄 记忆与保险丝]]
模型选择与思考深度调整
复杂任务用强模型、简单批处理用便宜模型、关键决策提高思考深度。成熟 Skill 系统的本质是做任务编排而非无脑堆最强模型。[[raw/2026-06-19/Unknown/如何写出工业级 AI Agent Skill.md|来源: Unknown 模型选择]]
Skill Listing Budget：隐蔽的 1% 截断机制
Claude Code 默认只分配上下文窗口的 1% 用于加载 skill description。200K 上下文约 2000 tokens，仅够 15-25 个 skill 的完整描述。超出后按使用频率排序自动砍掉低频 skill。装了 90+ skill 时实际已超额近 3 倍。
排查：/context 看 skill 明细。70-110 tokens 表示正常，~40 表示被截短，<20 表示自动触发基本失效。[[raw/2026-05-15/问答/你装的 skill，Claude Code 可能就看不到.md|来源: 你装的 skill 可能看不到]]
Skills 管理：两派方法
- 复杂派（数字生命卡兹克）：github-to-skills + skill-manager + skill-evolution-manager 三件套，evolution.json 经验存档，差异化经验注入。[[raw/2026-05-12/数字生命卡兹克/我们花了两天时间，终于造出了能自我进化的Skills管理器。.md|来源: 自我进化 Skills 管理器]]
- 简约派（宝玉AI）：Git + Symlink + 让 Agent 直接改文件 + commit 记录回滚就够了。Skills 跟着项目走不要放全局。[[raw/2026-05-12/宝玉AI/团队内的 skills 管理和维护的一点经验分享.md|来源: 团队 Skills 管理]]
百级 Skill 路由：先治理噪音，再优化模型（2026-07 新增）
尼恩的 Skills 调优资料把”Agent 挂 100 个 Skill 如何保证召回率、准确率和 F1”拆成四层递进：先做技能基础治理，再做三级漏斗路由，再做领域技能树和生命周期治理，最后才考虑模型微调。核心判断是：Skill 只靠自然语言 description 匹配，没有 Tool Call 那种 JSON Schema 前置校验；当 Skill 数量超过 20-30 个，语义重叠和注意力稀释会让误触发、漏召非线性上升。[[raw/2026-07-03/45岁老架构尼恩/阿里面试：如果Agent 挂100个 Skill ，如何提升召回率、准确度、F1综合值？尼恩 《Skills调优圣经》，来一次 泰山压顶 式的 降维打击.md|来源: Skills 调优]]
可落地的工程顺序是：描述模板包含核心能力、触发场景、不适用场景和触发关键词；上线前做语义重叠审计，相似度高的技能合并或补边界；20+ 技能后用 L1 规则层、L2 向量检索 + BM25 + RRF 召回、L3 小候选集 LLM 精排；30+ 技能后按领域技能树缩小匹配范围，并用埋点、BadCase 回流、灰度和容量红线持续治理。微调只在前三步收益触顶后作为兜底。[[raw/2026-07-03/45岁老架构尼恩/阿里面试：如果Agent 挂100个 Skill ，如何提升召回率、准确度、F1综合值？尼恩 《Skills调优圣经》，来一次 泰山压顶 式的 降维打击.md|来源: Skills 调优]]
矛盾：更多 Skill 等于更强能力 vs 大规模 Skill 会引入语义竞争者和路由噪音，自动触发池必须收缩、分层和退役 来自 [[raw/2026-07-03/45岁老架构尼恩/阿里面试：如果Agent 挂100个 Skill ，如何提升召回率、准确度、F1综合值？尼恩 《Skills调优圣经》，来一次 泰山压顶 式的 降维打击.md|来源: Skills 调优]]
Skills 已经进入流程治理层
- Superpowers 把 Skills 从”加几个能力”推进到”接管工程流程”：头脑风暴、写计划、TDD、代码实现、回归验证、收尾交付可以被拆成明确步骤。 [[raw/2026-04-30/AI兴观点/你的AI编程搭档，有了-超能力-——Superpowers Skills技能库完全指南.md|来源: Superpowers 完全指南]] [[raw/2026-04-30/wsleepybear/Superpowers 上手实战：怎么把 coding agent 从直接开写，带回可控的工程流程.md|来源: Superpowers 上手实战]]
- “洁癖.skill” 这类治理型 Skill 的价值不在多会干活，而在于能持续约束 agent 的行为质量、目录卫生和推理纪律。 [[raw/2026-04-29/数字生命卡兹克/开源「洁癖.skill」，让你的Agent越用越聪明。.md|来源: 洁癖.skill]]
Skills 的容量上限与选择策略
- UCB 最新研究表明 Skills 存在容量上限：50–100 个是”警戒线”，超过后质量显著下降。核心洞见：“单 Skills 组合”与”多 Agent”不是二选一，应根据任务复杂度动态判断。 [[raw/2026-05-09/AI修猫Prompt/Skills的容量上限在哪里？2026单Skills组合还是多Agent好？｜UCB最新.md|来源: UCB Skills容量研究]]
Skills 管理踩坑实录
- 不要什么都装：auto-invoke 过多的 Skills 会堵塞上下文；description 写不清楚会导致 Claude 从不主动调用；不用的 MCP Server 不关会白白占用系统资源。 [[raw/2026-05-09/关注/Skills 虽好，但真别啥都装：我踩过的 Claude Code 技能管理的坑.md|来源: Skills管理踩坑]]
Agent Skills 生态四层格局与 npm 时刻
四层格局自底向上：
- 框架层：Superpowers、obra 等执行框架
- 库层：Matt Pocock 130K+ 星，高质量 Skill 制品
- 基础设施层：agentmemory / Personal AI Infrastructure
- 市场层：尚未出现，但趋势明确
类比 2015 年 npm 爆发：从”分享文本”到”分享制品”是关键转折。核心飞轮：用 Agent 写代码 → Agent 犯错 → 把经验写进 skill → Agent 犯错更少。竞争判断：最先进入默认推荐列表的赢，不是最好的赢。
[[raw/2026-05-18/Jerry/Agent Skill 框架正在吃掉软件开发.md|来源: Agent Skill 框架]]
Skill 自我进化闭环
执行 Skill → Binary Eval 自动打分 → 失败时 Reflection Agent 提炼修复 patch → eval 复测 → 自动 git commit。
“没有 eval 兜底的自我修改等于慢性自杀”——这与上文 [[wiki/concepts/Skill 设计方法论与实战案例#Skill Creator 的价值与局限|Skill Creator 的六阶段闭环]] 互补：Skill Creator 解决”如何创建”，自我进化闭环解决”如何持续变好”。
跨平台三大污染需警惕：
- 语法污染：不同平台对 markdown/yaml 解析差异
- 工具命名污染：同名工具在不同平台行为不同
- 路径环境污染：硬编码路径导致跨平台失效
[[raw/2026-05-18/凜一/重新定义Skill开发：保姆级教程&一站式开发助手发布.md|来源: Skill开发助手]]
Skills 自进化机制：写回方法，不是答案
成峰提出了一套更完整的 Skills 自进化方法论：主 Agent 拆训练线索 → Agent Team 多路试错 → 主 Agent 判断 → 达标后总结方法写回 Skill。 关键区分：
- 写回的是方法，不是答案：跑对的路径留下，跑偏的规则删除或降级。如果把单次正确答案直接写进 Skill，Skill 会迅速膨胀成不可维护的垃圾
- 靶子机制：已验证的好答案作为对照标准，是自进化能跑起来的前提——没有”靶子”就无法判断哪路试错是正确的
- 风险：Skills 会自然膨胀（Agent 容易把所有经验都写进去），人不能完全退出——需要定期审查和修剪
这与上文 [[#Skill 自我进化闭环]] 互为补充：凜一的方案侧重”自动化执行与验证”，成峰的方案侧重”多路试错与方法沉淀”。两者的共同底线一致：没有 eval 兜底的自我修改等于慢性自杀。 [[raw/2026-05-22/成峰/怎么让 Agent Skills 自进化？Agent 回答质量翻倍.md|来源: 成峰 - Skills 自进化]]
QQ 音乐 Self-Refinement 闭环：从个人经验到团队基础设施
黄欣欣团队的 Self-Refinement 闭环与上述自进化机制形成互补——它解决的是经验如何从个体扩散到组织的问题：AI 每次被纠正 → 识别是否为模式性教训 → 沉淀到对应知识层（团队/框架/服务）→ 下次新会话、新模型、新人也受益。35 Commands + 34 Skills + 24 Agents 全部版本化管理，scripts/install.sh 一键渲染到不同 CLI 环境。这与成峰的”写回方法”和卡兹克的”evolution.json 经验存档”都是同一方向的不同实践——让经验脱离个人记忆，成为可版本化、可传递、可自动加载的工程资产。 [[raw/2026-05-21/黄欣欣/QQ音乐Harness Engineering实践.md|来源: 黄欣欣 - QQ音乐 Harness]]
bit-Agent 四步法：探索→固化→微调→调用
苍何分享了另一种轻量级 Agent 工作流固化方法：先让 Agent 自由探索任务 → 将成功路径固化为可复用模板 → 微调参数 → 后续直接调用。固化后积分消耗从 888 降到 300+（节省 ~66%）。本质也是”写回方法而非答案”——把探索阶段的试错成本一次性支付，后续复用零边际成本。 [[raw/2026-05-21/苍何/分享最近高频用 Agent 提效的 4 大场景.md|来源: 苍何 - bit-Agent]]
设计哲学路线分歧：全自动 vs 人机协作（2026-06 新增）
本轮摄入中最值得记录的张力是两条设计哲学路线的竞争：
| 维度 | 全自动路线（尼恩） | 人机协作路线（Matt Pocock） |
|---|---|---|
| 触发方式 | 模型自主决策（置信度 >0.85 自动加载） | 用户手动触发 |
| 控制权 | Harness 统一管控 | 用户手中 |
| Skill 优化 | GEPA 自进化闭环 | 手动审查+精简 |
| 风险态度 | 用系统框架兜底风险 | 用人类判断控制风险 |
| 适用场景 | 大规模/高频/工业级 | 个人开发/中小项目 |
| 核心理念 | AI 应该不断减少对人类的依赖 | 保持认知负担在用户身上 |
这条张力的本质是对”AI 最终应该多自主”的根本分歧，没有标准答案——取决于项目规模、团队特征和风险容忍度。[[raw/2026-06-20/兔兔AGI/打造真实项目的 AI 编程环境：Matt Pocock 的 Skill 工作流完整上手攻略.md|来源: 兔兔AGI 认知负担哲学]] [[raw/2026-06-19/尼恩-技术自由圈/阿里面试官：如何设计工业级 Skills 进化体系？-一个工业级-技能-Infra-底座如何设计？.md|来源: 尼恩 全自动]]
Skill 25% 负迁移率：最大的警告信号（2026-05 新增）
复旦/微软/上交大 150 组实验（SkillOpt 论文）的致命发现：每 4 条 Skill 就有一条帮倒忙。25% 负迁移率意味着无脑堆 Skill 的数量策略有严重风险。
反直觉发现：
- GPT-5.4 是最强选手但最差的教练——提炼 Skill 的能力垫底
- 简洁聚焦型（3-5 条规则）优于全面罗列型（10+ 条详细规则）
- AI 自己列的 7 条质量标准中 6 条帮倒忙
- “技能不是模型无关”——同一份 Skill 在不同模型上质变幅度差异极大（+9.5% 到 -0.3%）
元技能（三段话）零成本提升：1）可操作的具体性（非抽象指导原则）；2）失败机制编码（明确什么情况下会失败）；3）高风险操作黑名单（列出绝对不能碰的操作）。这三条规则写进元 prompt 就能提升所有 Skill 的质量。
关键教训：Skill 容易给人”越多越好”的错觉，但实证表明质量比数量重要得多。需要自带 eval 才能在修改后验证到底是提升还是倒退。这与上文[[wiki/concepts/Skill 设计方法论与实战案例#Skill Creator 的价值与局限]]中”没有 eval 兜底的自我修改等于慢性自杀”形成更强的证据链。
[[raw/2026-05-30/写了100条Skill，25条在帮倒忙——复旦微软150组实验的实操结论.md|来源: 复旦 Skill 负迁移]] [[raw/2026-05-27/别再手写 Skill 了！微软最新研究：像神经网络一样训练 Skill.md|来源: SkillOpt论文]]
SkillOpt：像训练神经网络一样训练 Skill
微软 SkillOpt 把 Skill 文档视为神经网络的”权重”，用类似深度学习训练循环的方式自动优化。关键隐喻映射：rollout = forward pass → reflection = gradient → edit = weight update → textual learning rate = learning rate → validation gating = checkpoint。
克制设计：每轮最多改 4 条规则（防震荡）、rejected-edit buffer 保留被否定的修改历史防重复犯错、slow/meta update 跨 epoch 纵向更新。两个模型分工：target model（干活）+ optimizer model（只观察和改进，成本仅在训练阶段）。
跨模型跨环境迁移能力已验证：GPT-5.4 → Claude Code 迁移提升 +59.7 分。这意味着 Skill 优化不是自娱自乐——优化效果可以跨模型传递。优化后 Skill 仅 379-1995 tokens（中位数 920 tokens），远比人工手写的紧凑。
对现有范式的冲击：当前所有 Skill 编写实践（Skill Creator、Skill Factory、手工编写）都基于”人类设计 Skill”。SkillOpt 提供的替代路径是 AI 自动优化——人工手写可以是起点而非终点。适合有自动评估标准的领域（代码、数据工程），开放任务仍需要人工把关。
[[raw/2026-05-27/别再手写 Skill 了！微软最新研究：像神经网络一样训练 Skill.md|来源: SkillOpt论文]]
2026-07 更新：Skill 触发、管理与安全
7 月新增来源把 Skill 设计从”写一个好 SKILL.md”推进到生命周期治理：触发描述、目录结构、脚本化验证、安装管理、冲突处理、安全扫描都必须一体化考虑。Skill 不是提示词玩具，是可分发、可审计、可回归的程序性知识包。[[raw/2026-07-01/Capihom/好用的 Agent Skill 到底怎么构建？丨AI Engineer.md|来源: AI Engineer Skill]] [[raw/2026-07-01/张梦杰/Harness 工程之道：Skill 原理与最佳实践.md|来源: Skill 原理与最佳实践]] [[raw/2026-07-02/unknown/如何为你的 AI Agent创建合适的Skill.md|来源: 创建合适的 Skill]]
职责边界继续收敛：Plugin 是分发容器，Subagent 是隔离上下文里的执行者，Skill 是当前上下文中按需加载的工作程序。把三者混成”扩展能力”会误导设计：Plugin 管安装和依赖，Subagent 管委托和隔离，Skill 管流程、参考资料、脚本和输出标准。[[raw/2026-06-30/sky/Claude Code 可扩展性：Plugins、Subagents 与 Skills 完全指南.md|来源: Plugins/Subagents/Skills]]
Description 是召回层，不是简介：好 Skill 的描述要像检索条件，前几个词直接决定触发概率；正文才讲流程。若删除某行不改变模型行为，那行就该删。确定性判断、格式校验、批处理转换应放进 scripts/，别让模型用自然语言模拟程序。[[raw/2026-06-23/问答/Skill 优化的隐藏抓手：找到能牵引模型的那个词.md|来源: 牵引模型的词]] [[raw/2026-07-01/会员技术/AI Agent 的 Skill 系统设计.md|来源: Skill 系统设计]]
Skill 安全是供应链问题：SkillScan 说明技能包的风险不止 prompt injection，还包括 manifest、脚本、网络资源、依赖、敏感权限和生命周期更新。安装 Skill 等价于引入可执行工作流，不能只看 README。[[raw/2026-07-01/火山引擎 AI 安全/一文了解｜SkillScan 智能体技能安全扫描最佳实践.md|来源: SkillScan]]
管理问题开始显性化：多 Agent 时代，手动复制 Skill 会造成版本漂移、重复安装和触发冲突。Skill 管理方案需要统一事实源、版本边界、冲突检测和跨工具安装策略；否则 Skill 越多，系统越不可预测。[[raw/2026-06-24/刘鹏（墨松）/别再手动复制 Skill 了：多 Agent 时代的 Skill 管理方案.md|来源: Skill 管理方案]]
Skills 自进化研究路线图（2026-07 补充）
居丽叶的综述把 Skills 自进化从社区经验扩展成八条研究路线：Hermes 在线闭环、Trace2Skill 从轨迹蒸馏 SOP、CoEvoSkills 生成器/验证器共进化、SkillX 分层技能知识库、SkillClaw 多用户集体进化、SkillOpt 外部参数优化、SkillOS 强化学习训练 Skill 管理员，以及 SKILL0/Skill1 把外部技能逐步内化到模型策略。[[raw/2026-07-04/居丽叶/Skills 自进化综述：Agent 如何沉淀、验证和复用执行经验.md|来源: Skills 自进化综述]]
这组路线补强了本页的治理判断：自进化不是”让 Agent 随便改 Skill”，而是至少需要轨迹、评价器、验证集、版本回滚和人类审查边界。短期落地更像 Trace2Skill/SkillOpt：从真实执行轨迹中提炼方法，再用 eval 验证是否提升；长期路线才是 SkillOS/Skill1 这种把 Skill 管理和使用策略训练出来。