非iid条件下分类算法的全局收敛性

发布时间:2022-01-29  |  来源:系统控制重点实验室

由于大数据与超级计算技术的发展,机器学习得到日益重视与广泛应用。以往的机器学习分类算法大都建立在训练样本的独立同分布(iid)等持续激励条件上,这对绝大数实际应用场景并不适用或难以验证,例如具有反馈回路的复杂动态系统数据就远远不满足iid条件。此外,机器学习模型的特殊非线性结构而导致的优化指标的非凸性,是机器学习算法全局收敛性研究的主要难点。如何建立非独立非平稳,特别是一般非持续激励数据条件下,机器学习算法的全局收敛性理论是著名公开难题。

 

针对一类随机二分类模型提出了一种变投影拟牛顿算法。利用经典的Lyapunov函数方法和鞅收敛定理,首次在不需要样本独立同分布的一般非持续激励条件下,证明了机器学习算法参数估计的全局强一致性。此条件可以退化为线性随机回归模型经典最小二乘算法收敛性的“最弱”条件。此外,在不需要任何独立性平稳性及激励性条件下,文章证明了系统沿轨迹均方预测损失这一非凸指标的全局收敛性以及最优收敛率,并以此给出一类自适应控制的设计方法。为机器学习与反馈控制的在线结合研究开启了新路。

 

针对随机的二分类模型,在理论研究上放宽了通常学习算法对数据的独立性平稳性或持续激励性要求,对于将机器学习算法应用在更广的实际应用场景,特别是包含各种反馈机制的复杂开放动态系统中具有重要意义。 

同时,基于动态反馈系统,文章对均方预测损失的研究及自适应控制的设计,为复杂系统中机器学习与反馈控制的结合提供了一种新的研究思路。基于文章中的思想构造司法大数据非线性模型学习算法,取得良好预测效果。 

 

文章投稿控制领域顶刊Automatica,仅历时5个月被接收为长文,审稿人评价研究成果是”Significant contribution”。“Identification and Adaptation with Binary-Valued Observations under Non-Persistent Excitation Condition”,accepted by Automatica,2021.

 

 

赵延龙          ylzhao@amss.ac.cn