FlagEval大模型角斗场评测大赛

Who this competition fits

适合愿意以人工方式比较大模型回答质量的个人参与者，尤其是会编写 Prompt、能判断文本、图文理解或生成内容是否符合自己意图的人。比赛仅支持个人参赛；可按兴趣选择纯文本、图文理解、文生图或文生视频对战。

From registration to a first submission

1. 01

   提示词设计

2. 02

   大模型输出评估

3. 03

   文本生成质量判断

4. 04

   图文理解结果判断

5. 05

   文生图结果判断

6. 06

   人工标注规范

Before you commit: 核心难点是持续做出可靠且高质量的人工标注：排名不仅看评测量，还综合标注有效抽样得分、内容得分和正确率。每轮需等至少一个模型完整回复后投票，且不能用脚本、不能诱导模型透露身份；投票后也不能修改。