优化方法

  优化方法团队的研究聚焦整数优化和流形优化两个问题,与华为所提“面向数学的十大挑战问题”中的“网络基本业务模型”相关。

  优化问题广泛见之于工程、国防、经济、管理等许多重要领域,并与数值代数、数值逼近、常微分方程数值解、偏微分方程变分原理、微分方程反演等分支和问题有紧密交叉和应用。自上个世纪中期华罗庚先生有感于运筹优化在两弹一星中的重要作用而大力推广运筹优化以来,在越民义教授、桂湘云教授、吴方教授、韩继业教授以及袁亚湘院士等的带领下,中国科学院的运筹优化水平一直处于国内领先地位,并在理论、计算以及应用等各个方面均取得了丰硕的成果。

应用前景:
  通过将优化理论、计算方法与应用三方面的紧密结合,促进优化计算与其它重要科学计算方向的交融,开展针对经济、技术、社会、生态和政治因素交叉一体化的系统模型的优化技术研究

当前主要研究方向:
◆ 非线性优化
◆ 矩阵优化与流形优化
◆ 压缩感知与机器学习
◆ 基于微分方程的优化算法
◆ 混合整数线性规划
◆ 通信优化与应用优化

主要成果:
◆ 非线性优化方面:
1) 给出了著名的Celis-Dennis-Tapia问题的最优性定理
2) 提出了Dai-Yuan方法,被国外学者称为四个主要的非线性共轭梯度法之一
3) 彻底解决了国际优化界公认的拟牛顿法两个著名公开问题之一

◆ 矩阵优化与流形优化方面:
1) 给出了数值表现优异的自适应块子空间算法-LMSVD,2014年在MATLAB官方平台正式发布,至今下载1721次
2) 给出了矩阵优化问题的一般模型和数学基础
3) 首次给出了一类矩阵优化问题解集映射类Lipschitz性质—鲁棒孤立平稳性的完整数学刻画 ,被认为是一个非多面体优化扰动分析方面的突破性成果之一

◆ 压缩感知与机器学习方面:
1) 设计了结合压缩感知和空间耦合的编译码方案,提出了基于AMP的迭代译码算法,使得编码速率容易调节。基于好的低速率基础码可得到一簇“好码”
2) (生成对抗网络、最优传输问题)给出了约束极小极大问题的最优性理论;提出了无约束极小极大问题的向心加速梯度法
3) 利用解稀疏结构的设计一类大规模稀疏优化问题二阶算法包
4) 给出了若干概率图模型高效算法

◆ 基于微分方程的优化算法方面:
1) 通过引入引入了物理学中用来简化微分方程的逼近思想和微分方程中李雅普诺夫分析的技术,找到了梯度矫正项是导致产生Nesterov加速的本质原因。
2) 发现了对于(凸函数)Nesterov加速梯度法本身,梯度模平方在全局上以 的速率(非渐进)收敛。
3) 通过连续逼近的微分方程,刻画了随机梯度法的核心特征—学习率依赖的噪声。定性刻画了函数值期望的收敛性行为, 定量估计了线性收敛的速率(显示表达):

从而解释了为什么随机梯度法对于学习率是敏感的。引入动量后,新的混合参数(动量系数 和学习率 )取代了随机梯度法中学习率 的作用,如下:

从而解释了为什么人们在实践中采用动量系数 或者更大,而不会采用 。

◆ 混合整数线性规划方面:
1) 否定回答了由美国工程院Nemhauser院士、Gurobi创始人Gu、和Informs会士Savelsbergh (Informs J. Comput.,1999) 提出的公开问题“是否存在多项式时间算法计算序列升维覆盖不等式?”
2) 肯定回答了由Dantzig奖、冯诺伊曼奖获得者Wolsey和Yaman (Math. Program., 2016) 提出的公开问题“是否存在多项式时间算法求解划分不等式的分离问题?” 
3) 自主设计了国内第一个大型的混合整数规划求解器CMIP, 目前程序代码7万多行,2018年获中国运筹学会运筹应用奖

◆ 通信优化与应用优化方面:
1) 证明了波束成形设计问题是强NP难;提出了高效的子空间求解算法;获2011年国际通信大会最佳论文奖
2) 发展了非线性二阶锥规划理论和求解器,实现了上海航天某型号火箭回收在线轨迹优化“关键技术自主可控”,“具有显著的经济、军事、社会效益”

团队成员:
  袁亚湘、戴彧虹、刘歆、丁超、刘亚锋、史斌、张羊晶、马俊杰