衡量 AGI 进展:认知 能力
为前沿模型设计超越记忆复述的高质量认知能力 benchmark。
官方页面预览10 月 19 日截图 · 非实时页面
查看 Kaggle 官方比赛页面↗
查看 Kaggle 官方比赛页面↗- 预计投入
- 25–80 小时
- 难度
- 研究型
- 算力
- 无需额外算力
- 评分
- 还没核实
赛题说明
完整规则 ↗设计好的评测是当前 LLM 研究里最稀缺的能力之一,这场比赛能训练你思考什么样的任务才真正衡量模型的推理、行动和判断。
- 组队
- 可以组队,每队最多 5 人
- 提交
- 每天最多 1 次
- 主办
- Google DeepMind
- 语言
- 赛题、数据说明和讨论区都是英文
适不适合你
建议先补前置能力
新手适配16/100
学习价值72/100
适合谁
对评估模型认知能力(而不是记忆或简单复述 benchmark)感兴趣的研究者、benchmark 设计者和进阶 LLM 从业者。
难在哪
核心工作是 benchmark 设计和评测方法论:你需要理解高质量的 AGI 向任务到底在衡量什么、如何避免数据泄漏,以及怎样把评审标准讲清楚。
怎么开始
开始前最好会
- benchmark 设计基础
- LLM 评测素养
- 技术写作
- 了解数据泄漏与污染风险
我们还没从官方页面整理出教程、数据和基线方案,赛题和数据以官方页面为准。
第一次参赛?先读 《没有 GPU 时,如何选仍然能学到好习惯的竞赛》