概览
这场竞赛适合谁
适合有 AI 系统、推理框架或高性能算子开发背景的团队参赛,且团队需在两个赛道中二选一、人数不超过 5 人。赛道一尤其需要会用 Triton 或 Triton-TLE 为 SGLang 编写并优化算子;赛道二则更适合熟悉 MiniCPM5-2B 推理、显存管理和分布式推理优化的人。
查看官方简介原文
由众智FlagOS社区主办的一项多赛季、综合性赛事。大赛鼓励开发者基于统一AI系统软件栈FlagOS的能力进行创作实战和创新探索,促进AI开发者能力提升,推动开放计算生态的蓬勃发展。 Official category: llm. Participants: 0. Organizers: 众智FlagOS社区.
参赛准备
从报名到首次提交的准备步骤
- 01
能够读懂官方赛题与参赛规则
- 02
SGLang 推理框架
- 03
GPU/AI 芯片算子优化
- 04
跨芯片性能调优
- 05
大模型推理部署
- 06
能够运行基础方案并完成一次有效提交
投入前确认:难点是要在不牺牲正确性、精度或稳定性的约束下拿到可验证的性能提升:赛道一需让算子通过多芯片正确性测试后再比加速比,赛道二要求做模型并行、KV Cache、动态批处理、算子融合和通信调度等端到端协同优化。赛道一获得“攻占”后还须按时向官方仓库提交最佳代码的 GitHub PR;赛道二的具体赛制尚未公布。
来源