新手分
30/100
适合有 Colossal AI 和 PyTorch 分布式大模型训练经验的团队,能够理解各 rank 的本地梯度,以及数据、张量、流水等并行策略。参赛需组队,每队至少 3 人、最多 5 人;还应能完成软件设计文档、用户手册、测试报告和开源代码仓库提交。
如果下面这些前置项还很陌生,先补准备通常比直接参赛更划算。
能够读懂官方赛题与参赛规则
PyTorch 分布式训练
数据并行与张量/流水并行
梯度统计与张量操作
ZeRO 分布式优化器
AtomGit 与开源许可证合规
真正的难点通常不是“会不会调包”,而是验证、时间分配和任务理解。
核心难点是在权重切分、ZeRO 或 TP/PP 等并行场景下,分别正确记录每个具名权重在 DP 聚合前后的各 rank 本地梯度统计,同时不保存原始梯度张量。实现还要兼顾接近 msprobe.monitor 的接口与输出,并把训练性能损耗和额外显存占用控制在要求范围内,还需在指定语言模型和扩散模型上验证。
以下竞赛与当前竞赛方向或难度相近,可以一起对比。
把已确认、待核对和人工审核状态分开看;最终规则与截止时间以官方页为准,发现错误欢迎提交纠错。
官方 metric 还没有从当前抓取结果中确认,仍需人工核对。
reward_value_usd is a rough CNY→USD estimate (×0.14) for ranking only; use reward_summary for the official prize text.