当前大语言模型的发展面临一个核心矛盾：模型规模扩大虽能提升能力，却也带来了难以承受的计算与内存成本，这严重阻碍了其在手机等端侧设备上的应用。为此，业界亟需从架构设计、小模型训练到端侧推理加速的全流程技术创新，以构建高效且强大的端侧大模型。本期Seminar特别邀请到韩凯研究员，带领大家系统阐述这一技术挑战，分享此领域的前沿探索与实践成果。

主题：端侧大模型：从架构设计、训练优化到推理加速

时间：2025年12月2日（周二）下午14:30-15:30

地点：B411阶梯教室

主讲嘉宾：韩凯研究员（华为诺亚方舟实验室）

主持人：姬艳丽教授

腾讯会议号：845-565-053

讲座摘要

近年来，大语言模型（LLMs）的发展趋势是通过增加模型规模（参数量）和数据规模来提升生成能力，这一点在诸如GPT和Llama等著名工作中得到了充分验证。然而，大规模模型往往伴随着巨大的计算和内存成本，而很多端侧应用场景（如手机、PC）往往无法承受如此高昂的代价。因此，如何构建高效而强大的LLM架构，针对规模较小的LLM如何训练，以及端侧大模型推理如何加速，都是对当下大模型研究带来的新挑战。本次报告将在架构设计、训练优化到推理加速等端侧大模型全流程进行概述，并介绍华为诺亚实验室在这方面的技术创新和实践经验。

主讲嘉宾简介

韩凯研究员，现任华为诺亚方舟实验室的专家研究员，博士毕业于中国科学院软件所，硕士和本科分别毕业于北京大学和浙江大学。其主要研究方向为深度学习和AI基础模型，特别是资源高效深度学习。已在AI领域顶会顶刊发表论文 50 余篇，谷歌学术累计被引2万余次，其中 GhostNet 和TNT入围 PaperDigest最具影响力论文榜单。他还担任ICML、ICCV、ICLR、AAAI和ACMMM等顶会领域主席，入选爱思唯尔中国高被引学者榜单。