国防科技大学卢孟龙等：正则风险最小化的小批量割平面法
中文摘要：
虽然最近求解非凸问题的研究十分热门，尤其在机器学习需要可解释性模型情况下，凸优化仍然重要。求解凸问题可得到全局最优解，故而最终模型可用数学方法解释。通常为防止过度拟合，凸问题被重新描述为一个正则风险最小化问题。无论目标函数是否可微，割平面法是求解凸问题最佳方法之一。然而，割平面法及其变体无法充分应对大规模密集型数据，因为这些算法每次迭代都需访问整个数据集，大大增加了计算负担和内存成本。为解决这一问题，提出一种新的小批量割平面法。该算法通过对小批量采样数据进行计算，得到估计切割平面用于迭代，使其能处理大规模数据。此外，小批量割平面法使用“sink”算子检测和调整噪声估计以保证收敛性。在大量实际数据集上的数值实验证明了小批量割平面法有效性，收敛速度优于正则风险最小化的bundle法和普遍使用的随机梯度下降法。关键词：
机器学习；优化方法；梯度法；割平面法作者：
| 卢孟龙，乔林波，冯大为，李东升，卢锡城 单位： 国防科技大学并行与分布处理国家重点实验室，中国长沙市，410073 本文引用格式： Meng-long Lu, Lin-bo Qiao, Da-wei Feng, Dong-sheng Li, Xi-cheng Lu, 2019. Mini-batch cutting plane method for regularized risk minimization. Frontiers of Information Technology & Electronic Engineering, 20(11):1551-1563.https://doi.org/10.1631/FITEE.1800596 |
全文下载地址：
关于本刊
Frontiers of Information Technology & Electronic Engineering（简称FITEE，中文名《信息与电子工程前沿（英文）》，ISSN 2095-9184，CN 33-1389/TP）是信息电子类综合性英文学术月刊，SCI-E、EI收录，最新影响因子1.033。前身为2010年创办的《浙江大学学报英文版C辑：计算机与电子》，2015年更为现名，现为中国工程院信息与电子工程学部唯一院刊。覆盖计算机、信息与通信、控制、电子、光学等领域。文章类型包括研究论文、综述、个人视点、评述等。现任主编为中国工程院院士潘云鹤、卢锡城，实行国际同行评审制，初次转达意见一般在2~3个月内。文章一经录用将快速在线。
FITEE官网：http://www.jzus.zju.edu.cn
期刊Springer主页：
http://www.springer.com/computer/journal/11714
在线投稿地址：
http://www.editorialmanager.com/zusc
为方便广大科研人员交流讨论，本平台建有以下学科微信群。有需要加群的用户，请加小编个人微信号fitee_xb，并留言想要加入的群，小编会拉您进群。营销广告人员请勿扰。
计算机科学与技术学术群 | 光学工程与技术学术群 |
控制科学与技术学术群 | 信息与通信学术群 |
电力电子学术群 | 人工智能学术 |
本公众号为中国工程院院刊《信息与电子工程前沿（英文）》（SCI-E、EI检索期刊）官方微信，功能包括：传播期刊的学术文章；为刊物关联学人（读者、作者、评审人、编委，等）提供便捷服务；发布学术写作、评审、编辑、出版等相关资讯；介绍信息与电子工程领域学术人物、学术思想、学术成果，展示该领域科学研究前沿进展；为该领域海内外学者提供友好互动平台。