通用机器学习已结束

衡量 AGI 进展:认知能力

为前沿模型设计超越记忆复述的高质量认知能力 benchmark。

官方页面预览10 月 19 日截图 · 非实时页面衡量 AGI 进展:认知能力 官方网页截图查看 Kaggle 官方比赛页面
预计投入
25–80 小时
难度
研究型
算力
无需额外算力
评分
还没核实

赛题说明

完整规则 ↗

设计好的评测是当前 LLM 研究里最稀缺的能力之一,这场比赛能训练你思考什么样的任务才真正衡量模型的推理、行动和判断。

组队
可以组队,每队最多 5 人
提交
每天最多 1 次
主办
Google DeepMind
语言
赛题、数据说明和讨论区都是英文

适不适合你

建议先补前置能力

新手适配16/100

学习价值72/100

适合谁

对评估模型认知能力(而不是记忆或简单复述 benchmark)感兴趣的研究者、benchmark 设计者和进阶 LLM 从业者。

难在哪

核心工作是 benchmark 设计和评测方法论:你需要理解高质量的 AGI 向任务到底在衡量什么、如何避免数据泄漏,以及怎样把评审标准讲清楚。

怎么开始

开始前最好会

  • benchmark 设计基础
  • LLM 评测素养
  • 技术写作
  • 了解数据泄漏与污染风险

我们还没从官方页面整理出教程、数据和基线方案,赛题和数据以官方页面为准。

第一次参赛?先读 《没有 GPU 时,如何选仍然能学到好习惯的竞赛》

整理自 Kaggle 官方页面 ↗

规则与时间以官方公布为准。 评分方式还没核对到。

看到不对的地方?