多元泰勒与凸函数：曲率的完整刻画
本文基于模型知识整理（生成时未联网核对），多元泰勒与凸性定义建议对照 Stewart §14.9 / Boyd §3 复核。
一句话定义
多元泰勒把"局部线性化"升级成"局部二次化"：$f(\mathbf x+\Delta)\approx f+\nabla f^\top\Delta+\frac12\Delta^\top H\Delta$——线性项（梯度，坡度）+ 二次项（Hessian，曲率）完整刻画局部地形；凸函数是"处处位于切平面上方/弦在函数上方"的函数，其 Hessian 半正定，是"局部=全局"的保证书。
为什么重要
深度学习的优化地形分析（鞍点/平坦谷/病态曲率，kp-028）、牛顿法与拟牛顿法的合法性、损失函数设计（为什么交叉熵比平方误差好训练）——全部是本条的直接应用场。凸性则是一整门优化学科（Boyd 教材的全程主角）的资格线。
前置知识
kp-008（一元泰勒）、kp-016（正定）、kp-025（Hessian）。
核心概念
- 多元二阶泰勒：$f(\mathbf x_0+\Delta)=f(\mathbf x_0)+\nabla f^\top\Delta+\frac12\Delta^\top H\Delta+O(\|\Delta\|^3)$——线性项管坡、二次项管碗。
- Hessian 与曲率：H 特征方向=曲面的主弯方向、特征值=各方向曲率（kp-025 的谱解读）；特征值差距巨大=病态曲率（狭长峡谷，kp-028 之字形的根源）。
- 凸函数定义：$f(\lambda x+(1-\lambda)y)\le\lambda f(x)+(1-\lambda)f(y)$（弦在图上方）；可微等价刻画：处处位于切线上方、梯度单调；二阶刻画：H 处处半正定。
- 强凸：H ⪰ mI（曲率下界）——碗有明确陡度，收敛速度有保证（kp-028 的收敛分析词汇）。
- 凸性的运算封闭性：凸+凸=凸、正系数加权=凸、与仿射复合保凸、$\max$ 保凸——"保凸操作表"让复杂损失函数的凸性可以拼装证明。
- 一阶条件=最优：凸函数上 $\nabla f=0$ ⟺ 全局最小（kp-025 的"局部即全局"严格化）。
原理与机制
为什么"二阶项决定地形"：驻点处线性项消失（kp-025），地形完全由二次型 $\frac12\Delta^\top H\Delta$ 掌控——正定=碗、不定=鞍、半正定=平谷。优化算法的一切行为差异（牛顿快、梯度下降之字）都源于对这一项的不同利用/忽视。
为什么凸性这么值钱：非凸地形有无数局部陷阱，"找到的驻点"无法证明是好点；凸函数任何驻点即全局最优、局部搜索有理论收敛保证——凸性把"优化"从玄学变成计算。这正是线性回归（kp-030 平方损失凸）与逻辑回归（交叉熵凸）被选为经典模型的地形原因。
多元泰勒与条件数（kp-023 线代）的接口：病态 H（κ 大）的峡谷地形中，梯度下降步长受最大曲率限制、收敛速度受最小曲率拖累——迭代次数正比 κ（kp-028 的病态峡谷分析，线代条件数的 calculus 落地）。
图示
泰勒(多元): f(x+Δ) ≈ f + ∇fᵀΔ + ½ΔᵀHΔ + O(‖Δ‖³)
H 谱: 特征方向=主弯方向, 特征值=曲率 ; κ 大 = 狭长峡谷
凸: f(λx+(1−λ)y) ≤ λf(x)+(1−λ)f(y)
⇔ 切线在下方 ⇔ H ⪰ 0 ; 强凸 ⇔ H ⪰ mI
保凸运算: + 凸, 正权组合, 仿射复合, max
凸函数: ∇f=0 ⟺ 全局最小直观类比
一元泰勒是"直线近似+弯度修正"；多元版是"坡度向量+全向曲率椭圆"。凸函数则是"从任何角度看都只有一个谷底的地形"——闭着眼睛往下滚也能滚到全球最低；非凸地形则是群山连绵，随机出发大概率困在半山腰。
实例或案例
- 线性回归：损失 $\|Xw-y\|^2$ 的 Hessian $=2X^\top X$ 半正定（kp-016）——凸碗，全局最优存在（kp-030）。
- 逻辑回归：交叉熵损失凸（虽然 sigmoid 非凸）——"损失设计选凸"的经典案例。
- 深度网络：Hessian 谱的实验研究显示大量近零特征值（平坦方向）与少数大曲率方向——病态峡谷的地形实证。
常见误区
- 误区一："凸=碗形图像"。凹凸方向的语言陷阱（中英定义差异）；用"弦在上方/切线在下方"或 Hessian 半正定判定，别靠看图喊凸。
- 误区二："多元泰勒忘了 1/2 因子"。二次项 $\frac12\Delta^\top H\Delta$ 的 1/2 来自二重求和的对折——丢了 1/2 的牛顿法步长全错。
- 误区三："局部凸=全局凸"。每个点的邻域近似碗不等于全地形凸；凸性是对全定义域的要求。
与其他知识点的关系
自测题
- 写出 $f$ 在驻点 $\mathbf x_0$ 的二阶泰勒展开并说明各部分身份。
答：$f(\mathbf x_0+\Delta)\approx f(\mathbf x_0)+\frac12\Delta^\top H\Delta$（线性项 ∇f=0 消失）；第一项=基准高度、二次项=曲率碗/鞍。
- 证明凸函数的驻点是全局最小（一行）。
答：凸的一阶刻画 $f(y)\ge f(x)+\nabla f(x)^\top(y-x)$，取 x 为驻点（∇f=0）得 $f(y)\ge f(x_0)$ 对一切 y 成立。
- 病态曲率（κ 巨大）对梯度下降意味着什么？
答：步长受最大曲率约束（否则发散）、收敛被最小曲率拖慢——迭代数正比 κ（峡谷之字形，kp-028）。
延伸阅读
- Boyd & Vandenberghe《Convex Optimization》§3（凸函数完全章）。
- Goodfellow《Deep Learning》§8.2（优化地形与病态曲率）。
- Stewart《Calculus》§14.9（多元泰勒的应用节）。