像考试一样
给每个模型同一套题,再按答案打分。
GenEval · VBench这是一个公开网址里的小门。输入口令后,就可以查看图像和视频模型评估的可视化流程。
模型评估 就像给作品打分。我们把常见方法画出来:它们分别回答“做没做对”“大家更喜欢谁”“为什么得这个分”。
同一条题目
给所有模型
维度、等级
具体描述
产生图片或
视频样本
逐项评分
留下证据
分数、胜率
失败案例
所有模型接受同一条提示词,才能比较“谁做得更好”。一条好题目只测一个清楚的能力。
四档表现,每一档都写清楚“看见什么才算”。点击左侧 pipeline 查看每一步。
| 评价维度 | 4 优秀 | 3 良好 | 2 及格 | 1 不足 |
|---|---|---|---|---|
| 提示词遵循 | 物体、属性、关系全对 | 大部分正确 | 漏掉一项 | 主题都变了 |
| 画面质量 | 清晰、自然、无明显瑕疵 | 小瑕疵不影响使用 | 有明显错误 | 无法使用 |
| 文字渲染 | 拼写正确且清楚 | 少量小错 | 能猜出意思 | 乱码或缺失 |
切换模式,看看同一套 Rubric 思路如何适配不同媒体。
给每个模型同一套题,再按答案打分。
GenEval · VBench把名字藏起来,让人选 A 还是 B。
Arena · Elo先写评分规则,再一项一项检查。
Rubric · RubricRL把失败样本留下,记录错在哪里。
Failure analysis / 失败分析