问题与直觉
固定输入、预期答案和评分方式,才能比较提示词变更。这里用精确匹配展示最小评估;开放式文本需要更细的评分规则。
最小代码实验
以下为独立学习示例。
expected = ["A", "B", "A", "C"]
actual = ["A", "A", "A", "C"]
score = sum(a==b for a,b in zip(expected,actual))/len(expected)
print(score) # 0.75
观察与边界
先保证样本数量一致,空集合应报错。不要用同一组样本反复调参后宣称获得泛化能力。
下一步思考
修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。