用一套小评测集，
判断模型是否真的变好

01从小样本开始

不需要等一个“大而全”的评测集。从真实任务里抽 30 到 50 条问题，就足够启动第一轮。

• 覆盖常见问题、边界情况、必须拒答的问题，以及长输入。
• 每条样本记录：输入、期望要点、可接受的输出范围。
• 样本要来自真实使用场景，而不是自己临时编的漂亮题目。

样本少没关系，关键是固定下来。随任务变化不断增补，但不要为了“好看”而删掉难看的样本。

02先固定评分规则

能用规则判定的部分（格式、字段、长度）就交给脚本自动判；不能自动判的，用三档人工评分：通过、部分通过、不通过。

评分标准必须在评测开始前写好，避免评到一半临时改口径。否则两轮结果自相矛盾，还以为模型退步了。

03对比要控制变量

一次只变一个因素：模型、提示词或检索参数。同一批样本、同一套评分规则、同样的温度设置，结果至少跑两轮，观察波动。

我会看两轮的稳定结果，而不是单次最好成绩。模型输出有随机性，抽到一次好答案，不代表方案真的好。

04失败样本比平均分有用

平均分只能说明“总体如何”，失败样本才告诉你“该改哪里”。我会把不通过的样本按原因分类：

• 没找到资料——检索或切分的问题。
• 理解错问题——提示词或任务描述的问题。
• 格式不对——约束或示例的问题。
• 编造内容——上下文或拒答规则的问题。

这些样本会被保留下来，作为下一轮改动的回归测试。改完 A 问题，先确认 B、C 没有被改坏。

05把版本记录写下来

这张表比任何“感觉变好了”都更有说服力。它也能提醒我：每次提升，都是针对一个具体问题换来的。

评测不是为了证明模型行，而是为了知道自己在哪里不行。 A NOTE TO MYSELF