孙怡帆，中国人民大学统计学院教授，博士生导师，数理统计系系主任，全国工业统计学教学研究会常务理事，中国统计教育学会理事。主要从事高维数据分析、分布式计算理论和方法领域研究，以主要作者身份在Statistics in Medicine、Briefing in Bioinformatics、Physical Review X等国际知名学术期刊公开发表论文30余篇，参与编写教材 《非结构化大数据分析》 。主持国家自然基金、教育部人文社科等省部级科研课题8项，曾获北京市高等教育教学成果一等奖、北京市高校本科毕业论文优秀指导教师等多项省部级教学奖励。

数据科学作为一个交叉学科，日益受到越来越多的关注和重视。优化方法在数据科学中扮演着至关重要的角色。在数据科学中，我们时常会面对来自不同领域的实际问题，例如图像识别、自然语言处理、知识图谱构建等。虽然这些问题的形式千差万别，但其中相当多的问题是通过定义一个损失函数，利用优化方法最小化损失函数的方式获得最优模型参数，从而完成模型构建的。除此以外，优化方法还在特征选择、超参数调节、数据清洗和异常值处理等环节发挥着重要作用。

根据数据科学中常见的最优化问题的特点并结合作者自身的教学和科研实践，本书聚焦于非线性最优化问题，介绍此类问题最常用的优化方法，并且提供相关的理论介绍和实践指导， 帮助读者深入理解和掌握这些优化方法的原理和应用。

第1章 导论
1．1 本书考虑的最优化问题
1．2 优化方法的特点和要求
1．3 本书主要内容

第2章 无约束优化方法基础
2．1 最优性条件
2．2 方法框架
2．3 收敛准则

第2章 习题

第3章 线搜索方法
3．1 精确线搜索方法
3．2 精确线搜索方法的收敛性
3．3 非精确线搜索方法
3．4 非精确线搜索方法的收敛性

第3章 习题

第4章 负梯度方法
4．1 梯度下降方法
4．2 最速下降方法
4．3 梯度下降方法的变体
4．4 梯度下降方法的改进
4．5 数值实验

第4章 习题

第5章 牛顿方法
5．1 基本牛顿方法
5．2 基本牛顿方法的改进
5．3 牛顿方法在非线性最小二乘问题中的应用
5．4 数值实验

第5章 习题

第6章 拟牛顿方法
6．1 拟牛顿条件
6．2 对称秩1方法
6．3 DFP方法
6．4 BFGS方法
6．5 Broyden族方法
6．6 拟牛顿方法的收敛性及收敛速度
6．7 L-BFGS方法
6．8 数值实验

第6章 习题

第7章 共轭梯度方法
7．1 共轭方向方法
7．2 针对正定二次函数的共轭梯度方法
7．3 非线性共轭梯度方法
7．4 数值实验

第7章 习题

第8章 约束最优化问题的最优性理论
8．1 约束最优化问题的一般形式和定义
8．2 约束最优化问题的一阶最优性条件
8．3 约束最优化问题的二阶最优性条件
8．4 约束最优化的对偶问题

第8章 习题

第9章 罚函数方法
9．1 二次罚函数方法
9．2 障碍函数方法
9．3 增广Lagrange函数方法
9．4 数值实验

第9章 习题

第10章 近端方法
10．1 近端算子
10．2 近端极小化方法
10．3 近端梯度方法
10．4 加速近端梯度方法

第11章 坐标下降方法
11．1 随机坐标下降方法
11．2 加速随机坐标下降方法
11．3 循环坐标下降方法
11．4 求解可分正则最优化问题的随机坐标下降方法

第12章 交替方向乘子方法
12．1 方法基础
12．2 ADMM方法的一般形式和理论性质
12．3 一致性问题
12．4 共享问题
12．5 数值实验
附录A 数学基础
A．1 线性代数
A．2 微积分
A．3 凸分析
附录B 符号说明
参考文献