YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回学习日志
JOURNAL / AI 工程 / 2026-11-16

评估集:让模型修改可以比较

问题与直觉

固定输入、预期答案和评分方式,才能比较提示词变更。这里用精确匹配展示最小评估;开放式文本需要更细的评分规则。

最小代码实验

以下为独立学习示例。

expected = ["A", "B", "A", "C"]
actual = ["A", "A", "A", "C"]
score = sum(a==b for a,b in zip(expected,actual))/len(expected)
print(score) # 0.75

观察与边界

先保证样本数量一致,空集合应报错。不要用同一组样本反复调参后宣称获得泛化能力。

下一步思考

修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。