新手分
78/100
适合愿意以人工方式比较大模型回答质量的个人参与者,尤其是会编写 Prompt、能判断文本、图文理解或生成内容是否符合自己意图的人。比赛仅支持个人参赛;可按兴趣选择纯文本、图文理解、文生图或文生视频对战。
如果下面这些前置项还很陌生,先补准备通常比直接参赛更划算。
提示词设计
大模型输出评估
文本生成质量判断
图文理解结果判断
文生图结果判断
人工标注规范
真正的难点通常不是“会不会调包”,而是验证、时间分配和任务理解。
核心难点是持续做出可靠且高质量的人工标注:排名不仅看评测量,还综合标注有效抽样得分、内容得分和正确率。每轮需等至少一个模型完整回复后投票,且不能用脚本、不能诱导模型透露身份;投票后也不能修改。
以下竞赛与当前竞赛方向或难度相近,可以一起对比。
把已确认、待核对和人工审核状态分开看;最终规则与截止时间以官方页为准,发现错误欢迎提交纠错。
官方 metric 还没有从当前抓取结果中确认,仍需人工核对。