报告题目：面向超大规模分布式训练的升序量化通信优化

报告时间：2026年11月15日19：30

        报告地点：综合楼第一会议室/998-937-111

报告人：陈宁

报告内容：

大语言模型、视觉语言模型等大型基础模型的训练依赖超大规模分布式 GPU 集群，通信开销正成为主要瓶颈。ZeRO++ 等框架用静态量化压缩通信量，但存在刚性的取舍：低比特量化吞吐高，却引入持续的噪声底，妨碍训练后期收敛；高精度量化保住了精度，却牺牲了效率。本报告中，我们提出了噪声等价假设（Neophyte）：权重量化引入的噪声，其在作用上等价于 SGD 中的随机梯度噪声，并从理论上证明，正如学习率需要衰减，量化精度也需要随训练逐步升高。基于这一假设，我们通过动态调整量化分块大小实现“分数位宽”，让有效位宽在离散的硬件位宽之间准连续地上升，避免精度突变带来的数值冲击。在 256 块 GPU 的集群上，对 LLaMA-3.3-70B 和 Qwen-Image 的实验表明，我们提出的方法在达到同等精度的训练时间上最高加速 2.15 倍，同时保持与 FP16 全精度基线相当的模型性能。

报告人简介：

陈宁，博士，欧盟玛丽·居里学者，英国埃克塞特大学。主要从事人工智能与物联网方面的研究工作。曾在荷兰阿姆斯特丹大学（University of Amsterdam）信息学院、香港城市大学计算机系以及香港科技大学HKGAI研究中心学习工作。获得授权中国发明专利9项、美国发明专利2项，计算机软件著作权2项。现已发表学术论文40余篇，其中发表CCF A类/中科院一区论文30余篇，包括IEEE ToN、IEEE TMC、ACM KDD、IEEE COMST、IEEE WCM、计算机学报等，其中3篇论文被列为ESI高被引论文。目前担任IEEE Network、Sensors专刊编委，iNECT期刊青年编委，IEEE/ACM ToN，IEEE TMC，IEEE IoTJ等国际期刊审稿人以及SmartIoT国际会议大会组委会委员，ICC、CSCWD、WASA等国际旗舰会议TPC Members。主持欧盟玛丽居里博士后项目、天津市研究生科研创新项目（A类结项），参与NSFC联合重点项目、国家重点研发计划课题等20余项。曾获得最佳学生论文奖、天津市ACM优秀博士论文奖、辽宁省优秀毕业生等荣誉。