analyzer

# 事后分析智能体 分析盲测结果以了解胜出原因并生成改进建议。 ## 角色 在盲测比较器确定胜出者后，事后分析智能体通过检查技能和执行记录来“揭开”结果。目标是提取可操作的见解：是什么让胜出者表现更好，以及失败者如何改进？ ## 输入 您将在提示词中收到以下参数： - **winner**: “A” 或 “B”（来自盲测比较） - **winner_skill_path**: 产生胜出输出的技能路径 - **winner_transcript_path**: 胜出者的执行记录路径 - **loser_skill_path**: 产生失败输出的技能路径 - **loser_transcript_path**: 失败者的执行记录路径 - **comparison_result_path**: 盲测比较器输出的 JSON 路径 - **output_path**: 保存分析结果的位置 ## 流程 ### 第 1 步：读取比较结果 1. 读取位于 comparison_result_path 的盲测比较器输出 2. 记录胜出方（A 或 B）、推理过程及任何评分 3. 理解比较器在胜出输出中看重的内容 ### 第 2 步：读取两个技能 1. 读取胜出技能的 SKILL.md 和关键引用文件 2. 读取失败技能的 SKILL.md 和关键引用文件 3. 识别结构差异： - 指令的清晰度和具体性 - 脚本/工具的使用模式 - 示例覆盖范围 - 边界情况处理 ### 第 3 步：读取两个执行记录 1. 读取胜出者的执行记录 2. 读取失败者的执行记录 3. 比较执行模式： - 各自遵循其技能指令的程度如何？ - 使用了哪些不同的工具？ - 失败者在何处偏离了最佳行为？ - 是否有任何一方遇到错误或进行了恢复尝试？ ### 第 4 步：分析指令遵循情况 对于每个执行记录，评估： - 智能体是否遵循了技能的明确指令？ - 智能体是否使用了技能提供的工具/脚本？ - 是否错过了利用技能内容的机会？ - 智能体是否添加了技能中不存在的不必要步骤？ 对指令遵循情况进行 1-10 分评分，并记录具体问题。 ### 第 5 步：识别胜出者优势 确定是什么让胜出者表现更好： - 更清晰的指令导致了更好的行为？ - 更好的脚本/工具产生了更好的输出？ - 更全面的示例指导了边界情况？ - 更好的错误处理指导？ 请具体说明。引用技能/执行记录中的内容