概览
这场竞赛适合谁
适合已经做过大语言模型指令微调、能在华为昇腾环境中使用MindSpeed-LLM的开发者或研究团队。参赛者还需要能准备合规的开源指令数据,并交付可运行代码、训练日志和微调后的模型文件。
查看官方简介原文
通过调整微调训练策略、优化算子性能、开发高效的训练算法,提升模型在推理任务上的对话表现和评估任务上的性能表现,为大模型领域提供新的解决方案和思路。 Official category: 实战竞技赛. Organizers: 华为技术有限公司. Participants: 5.
参赛准备
从报名到首次提交的准备步骤
- 01
能够读懂官方赛题与参赛规则
- 02
昇腾芯片训练环境
- 03
Llama2-7B全参数微调
- 04
分布式并行策略
- 05
指令数据集构建
- 06
MMLU评估
投入前确认:难点在于同时优化全参SFT的训练吞吐和模型效果:既要通过并行策略、算子或算法优化提高样本处理速度,又要兼顾MMLU与多轮对话表现。提交不仅是结果,还需提供数据集链接、完整流程文档、可跑通代码、日志和模型检查点,并保证作品可脱离原开发环境运行。
来源