R/ Rubric Visual Eval
A small instrument for serious model evals

找到合适的方法,
再把结果 讲清楚。

05pipeline stages
04rubric levels
02media modes

模型评估 就像给作品打分。我们把常见方法画出来:它们分别回答“做没做对”“大家更喜欢谁”“为什么得这个分”。

01 / Evaluation pipeline

从提示词到可复查的结论

LIVE DEMO
01

Prompt

同一条题目
给所有模型

02

Rubric

维度、等级
具体描述

03

Generate

产生图片或
视频样本

04

Judge

逐项评分
留下证据

05

Report

分数、胜率
失败案例

stage 01

先固定问题

所有模型接受同一条提示词,才能比较“谁做得更好”。一条好题目只测一个清楚的能力。

  • TRY“画两个物体,并让红球在蓝盒子左边。”
  • CHECK位置、颜色、数量都能单独判断。

Rubric / 图像生成

四档表现,每一档都写清楚“看见什么才算”。点击左侧 pipeline 查看每一步。

评价维度4
优秀
3
良好
2
及格
1
不足
提示词遵循物体、属性、关系全对大部分正确漏掉一项主题都变了
画面质量清晰、自然、无明显瑕疵小瑕疵不影响使用有明显错误无法使用
文字渲染拼写正确且清楚少量小错能猜出意思乱码或缺失
3.4当前示例平均分 / 4.0

跑一次示例评估

切换模式,看看同一套 Rubric 思路如何适配不同媒体。

宽松2 / 3严格
02 / Method map
🧪

像考试一样

给每个模型同一套题,再按答案打分。

GenEval · VBench
🗳️

像投票一样

把名字藏起来,让人选 A 还是 B。

Arena · Elo
📝

像老师批改一样

先写评分规则,再一项一项检查。

Rubric · RubricRL
📒

像错题本一样

把失败样本留下,记录错在哪里。

Failure analysis / 失败分析
03 / Latest run
Prompt faithfulness78%+6.2
Visual quality84%+3.4
Temporal consistency—video only
Pairwise win rate62%blind judge