2026年8月11日下午，SLAI Seminar第四十八期在深圳河套学院顺利举办。本次讲座由荆炳义教授主持，特邀俄罗斯莫斯科高等经济大学计算机科学系Sergey Samsonov博士主讲。报告以“生成流网络的若干方法论”为题，从生成流网络（GFlowNets）的基本采样思想出发，介绍了其训练目标、与熵正则强化学习之间的联系，以及将传统无环假设拓展至含环环境后在组合优化和连续空间采样中的应用。

讲座内容

01 生成流网络：把复杂采样转化为逐步构造

Sergey Samsonov老师首先从“摊销采样”问题切入：传统MCMC方法能够在足够长时间后得到较准确的样本，但面对复杂、高维分布时往往需要较长的推理过程。摊销采样则把部分计算成本提前到模型训练阶段，训练一个生成模型近似目标分布，使后续采样更加高效。GFlowNets正是在这一背景下发展起来的生成方法。

在经典GFlowNets中，目标对象被放入一个有向无环图环境中。模型从空状态出发，通过前向策略逐步增加组件，直到构造出完整对象；反向策略则描述如何从完整对象逐步回到初始状态。通过为不同轨迹分配“流”，并使终止状态的流与目标奖励相匹配，最终生成对象的概率可以与希望采样的目标分布保持一致。这种设计特别适合图、序列等具有组合结构的离散对象。

02 训练目标与熵正则强化学习

由于直接枚举所有生成轨迹通常不可行，GFlowNets需要利用局部、可计算的约束进行训练。Sergey Samsonov老师介绍了轨迹平衡（Trajectory Balance）和详细平衡（Detailed Balance）两类常用目标：前者在完整轨迹层面约束前向与反向概率的一致性，后者则在相邻状态之间建立局部流平衡。不同任务中，两类目标各有适用场景，并不存在统一最优的训练方式。

报告重点介绍GFlowNets与熵正则强化学习之间的联系。通过构造相应的马尔可夫决策过程，GFlowNets中的前向策略可以对应到熵正则强化学习中的最优策略，而状态流和边流则可与价值函数和动作价值函数建立对应。这一等价关系意味着，Soft Q-Learning等成熟的强化学习方法也可以用于求解GFlowNets问题，同时为理解不同训练目标提供了统一的方法论视角。

03 从无环到含环：面向最短路径与更一般的采样问题

传统GFlowNets通常假设生成环境不存在环，但许多实际问题并不满足这一条件。例如魔方的状态转换可以反复回到已访问状态，因此天然形成含环图。团队将GFlowNets推广到非无环环境，并借助吸收马尔可夫链理论保证生成过程能够以概率1终止。在这一框架下，状态流不再只表示经过某一状态的概率，而与轨迹访问该状态的期望次数相关。

进一步地，团队发现总流量与期望轨迹长度存在直接关系，因此可以通过对总流进行正则化，在采样质量和轨迹长度之间进行权衡。该方法被用于求解魔方最短路径问题，在2×2×2、3×3×3和4×4×4等规模上进行测试，在较小搜索预算下表现出较高的计算效率。Sergey Samsonov老师指出：类似思想还可以推广到连续状态空间，通过为连续随机过程学习终止机制，将GFlowNets的方法拓展到更一般的采样任务。

交流环节，现场师生围绕GFlowNets的应用边界与方法选择展开了讨论。针对“魔方求解结果与人类速拧相比如何”这一问题，Sergey Samsonov老师指出，两者优化目标并不相同：人类比赛通常追求完成时间，而报告中的方法更关注从给定状态到目标状态所需的步数，因此更适合与其他最短路径算法进行比较。对于“GFlowNets能否处理连续状态空间”这一问题，他表示，相关框架可以进一步推广到连续空间，例如在连续扩散过程中学习何时终止采样，从而形成与传统扩散采样器不同的生成机制；团队已在这一方向开展进一步研究。

 本次讲座从采样问题出发，系统介绍了GFlowNets的基本结构、训练方法及其理论拓展。Sergey Samsonov老师结合强化学习、非无环图和魔方求解等研究，展示了生成流网络如何从组合对象生成进一步延伸到路径优化与连续空间采样，为理解生成模型、强化学习与随机采样之间的联系提供了清晰的方法论视角。