Harness-Aware Distillation 将小型语言模型智能体在 ALFWorld 上的成功率提升至 63.4%

据一篇 [arXiv 论文](https://arxiv.org/abs/2610.02858) 介绍，研究人员提出了专为配合执行 harness 运行的小型语言模型智能体设计的框架 Harness-Aware Distillation。该方法在提供与不提供 harness 信息两种情况下查询同一个教师模型，训练学生模型优先选择包含 harness 数据时所采纳的动作。系统会通过过滤器剔除首选动作与 harness 记录相矛盾的候选数据对，整个过程无需任务奖励或成功标签。

研究人员发现，仅在策略内蒸馏中加入 harness 数据，虽然能让学生模型在 ALFWorld 上的 harness 使用率从 65.7% 提升至 73.1%，但任务成功率仍停留在 43.1% 至 43.5% 的水平。而采用 Harness-Aware Distillation 后，学生模型在未见过的 ALFWorld 任务中实现了 63.4% 的成功率，不仅优于基线中表现最好的 47.0%，还超过了其 8B 教师模型。此外，训练后的学生模型摆脱了 59.7% 的停滞状态，而基线模型的表现仍接近未训练学生基线的 46.8%。