SLAI Seminar

11月7日（星期五）上午，西安交通大学数学与统计学院教授孟德宇受深圳河套学院邀请，在B411阶梯教室举办学术报告讲座。本次讲座由姬艳丽教授主持，孟德宇教授以“机器学习的变与不变”为主题，介绍了机器学习的方法论思想方法，并分享了他在机器学习研究中的一些探索性体会。

孟德宇教授

• 西安交通大学数学与统计学院教授
• 入选长江学者特聘教授，中组部青年拔尖人才计划
• 现任TPAMI等七个国内外期刊编委
• 长期致力于机器学习基础理论与算法的研究

讲座简介

人工智能技术在近十年来蓬勃发展，而其中的机器学习，特别是深度学习方法是引领本轮人工智能浪潮最为核心的技术要素。本次报告中，孟德宇教授介绍了机器学习的方法论思想方法， 并分享了在机器学习研究中的一些探索性体会。

在当前人工智能蓬勃发展的时代，机器学习，特别是深度学习方法引领着科学发展，但基础研究与应用研究之间常存有鸿沟。孟德宇教授的报告深入探讨了如何跨越这一鸿沟，分享了他将基础数学思想注入复杂工程问题的探索体会，强调研究者应回归初心，追求如欧拉公式般至简至美的基础原理。

讲座重点剖析了两大核心工程挑战。

第一个挑战是“超参数设置”。传统方法极度依赖人工经验，导致方案难以迁移复用。孟教授团队将调参工作重构为一个更高维度的机器学习问题：建立一个能从“任务”映射到“超参”的原模型。这一思想基于“双层优化”框架，使模型具备了任务层次的泛化能力和高普适性。具体应用包括自动设计SGD学习率序列和数据自动选择。该方法已成功落地于一个无GPS、无通信环境下的“认知导航”飞行器项目，通过板载原模型实时调参，实现了高鲁棒性的自主飞行。

第二个挑战是“网络结构设计”。孟教授从数学原理出发，指出CNN虽有“平移等变性”，但天生缺乏“旋转等变性”。为解决此问题，团队将离散卷积问题连续化，通过参数化卷积，利用连续基底（如傅立叶基底）来表达卷积核，使其可以被数学地旋转和缩放。基于此理论，团队引入“群卷积”等方法，在网络未经训练时便嵌入了旋转和尺度不变的先验知识。这一方法在CT金属伪影去除、视网膜血管分割乃至“无极超分”等问题上，均在大幅缩小模型的同时取得了更优的性能和泛化性。

孟教授最后总结，许多创新实则是“重演历史”：当下的双层优化框架是经典验证集调参的精细化；而CNN与Transformer的演进，也暗合了传统正则化方法从局部走向非局部的脉络。

在交流环节，与会师生就双层优化的新超参引入、以及如何为特定应用任务定制底层算法等细节，与孟教授进行了深入交流。