300 年经典牛顿法叔叔偷玩侄女，迎来重磅升级！

三位普林斯顿数学家找到更快更强的解法，其中还有一位是华东说念主。

牛顿法是啥？学过高数的同学想必并不生分，它通过赓续求导来寻找复杂函数 f（x）接近零点的最优解。

便是这样一个寥落简便的「近似求解」算法，因为不竭速率寥落快，时于当天它仍被平日应用在绸缪机视觉、物流、金融以致纯数常识题等各个规模，比如建筑或然分别交通讯号灯和泊车记号的自动驾驶汽车。

但即便这样强大，牛顿法也存在一个弱点，那便是不适用于统统函数。

于是乎，夙昔几个世纪诸深广学家前仆后继企图在此基础之上进行优化。当前这三位数学家得手将可适用的函数范围一扩再扩。

比如像这个复杂的二元函数。

与传统牛顿法比拟，新轨范展现出来的更连贯，遮蔽也很大。

一合著者暗示，牛顿法在优化中有 1000 种不同的应用，而他们的算法有可能取代它。

来望望究竟是咋回事儿。

三位数学家改写经典牛顿法

牛顿法（Newton ’ s Method）降生于 17 世纪，由大名鼎鼎的英国数学家牛顿初度提议。

其中枢念念想是，通过赓续贴近函数的根或极小值点，以寻找函数的最优解。

庸碌来说，这有点像在生分环境里蒙眼寻找最低点。在行走经由中，咱们独一需要的信息在于两点：1）我方是否在上坡或者下坡，即斜率（函数的一阶导数）；2）以及坡度是增多如故减少，即斜率本人的变化率（函数的二阶导数）。

诳骗上述信息，咱们不错相对快速地得到一个近似值。

若将这依然由用数学轨范来暗示，则具体如下：

Make a guess（作念一个算计）：遴荐一个接近你以为可能是最小值的肇始点，手脚寻找函数最小值的来源；

Model the curve（模拟弧线）：在该点隔邻构造一个抛物线，以近似原函数的体式；

Find the next point（找到下一个点）：绸缪抛物线的最低点，以此手脚新的迭代点；

Repeat（近似）：使用新的迭代点近似上述要领，逐渐贴近函数的最小值；

Keep going（络续进行）：捏续迭代，直至找到函数的最小值。

牛顿阐明了，只消赓续近似上述经由，最终就会贴近原始复杂函数的最小值。

而且和类似迭代轨范（如梯度着落）比拟，牛顿法天然每次迭代的绸缪资本高于梯度着落，但在遵循方面上风较着。

简便来说，牛顿法不竭速率比拟梯度着落法更快，即在更少的迭代次数内找到最小值，因此也适用于多种情况。

不外牛顿那时也提示：

天然这一轨范在大深广情况下有用，但淌若一入手从一个距离简直最小值太远的点入手，则可能越跑越偏。

而且更贫窭的是，牛顿法还存在一个显赫弱点——不适用于统统函数。

其中枢战略是将一个复杂函数漂浮为一个更简便的函数，而一朝函数过于复杂，它也雷同没辙了。

因尔自后数学家们致力的方针在于，在不殉国遵循的前提下扩大算法使用范围。

直到旧年夏天，三位酌量东说念主员发表了对牛顿法的最新窜改。

将牛顿法推广到迄今为止最平日的函数类别

具体而言，他们发现牛顿法在惩处某些复杂函数（如高次幂函数）时恶果不好，这是因为它依赖于函数的泰勒张开（一种使用求导和多项式贴近原函数的技能），而这个张开并不老是能很好地刻画原函数，额外是当函数有许多"山谷"（局部最小值）时。

于是他们提议，淌若一个函数知足两个要求，那么它就更容易找到最小值：

凸形（Convex）：函数的体式像一个碗，只好一个"山谷"

平方和（Sum of Squares）：函数不错暗示为一些平方项的和

前者意味着淌若从任何位置入手寻找，皆不会堕入局部最小值的问题，因为只好一个最小值，而且无论从哪个方针入手，皆会滑向这个独一的最低点。

后者意味着不错很容易地识别和绸缪函数的最小值，因为平方和花式的函数额外容易惩处，其平方数总短长负的，而且它们的最小值是 0。

接下来，为了知足上述要求，他们使用了一种叫作念半定例划（Semidefinite Programming）的技巧来调理泰勒张开，具体要领如下：

1、微调泰勒张开。不径直使用函数的泰勒张开，而是对其进行微调，使其既凸形又不错暗示为平方和。

2、增多调理因子。在泰勒张开中加入一个调理因子，这个因子不错匡助他们限制张开的体式，使其更接近原函数，同期知足凸形和平方和的要求。

3、多导数不竭。他们的轨范不错使用纵情多个导数来进行泰勒张开，这意味着他们不错更快地找到函数的最小值。使用更多的导数不错让算法以更高的速率（比如立方速率）不竭到最小值。

最终他们创造了这种更强版块的牛顿法，或然以更少的迭代次数找到最小值。

他们的算法如下：

鄙人面这个函数中，与传统牛顿法比拟，其窜改版块（第三阶牛顿法）在表面上提供了更快的不竭速率，况且在履行中可能比经典牛顿法更有用，尤其是在入手点离最小值点较远的情况下。

一位华东说念主参与

这项使命是三位数学家在普林斯顿大学时间谄谀完成的。

其中华东说念主Jeffrey Zhang，当前是耶鲁大学生物医学信息学与数据科学博士后酌量员，酌量方针包括大型讲话模子、数据科学和统计学、绸缪复杂性、多项式优化、博弈论和机制想象。

此前在普林斯顿大学取得运筹学和金融工程博士学位，导师恰是同为该论文作家的Amir Ali Ahmadi西宾。

更早之前，他在 2014 年取得耶鲁大学绸缪机科学和经济学与数学学士学位。

另一位作家Abraar Chaudhry亦然 Amir Ali Ahmadi 西宾的学生，现乔治亚理工学院博士后酌量员。在普林斯顿攻读博士之前，他在布朗大学读本科。

事实上，在这三位数学家出现之前，有很深广学家皆进行了尝试。

最早 19 世纪，被称为「俄罗斯数学之父」的 Pafnuty Chebyshev 提议了一种牛顿法，用三次方程（指数为 3）近似函数。

不外当原始函数波及多个变量时，他的算法就会不起作用。

更近的一次，2021 年俄罗斯数学家 Yurii Nesterov 展示了怎样使用三次方程有用地贴近任何数目的变量的函数。

但他的轨范无法推广到使用四次方程、五次方程等近似函数，不然会缩短其遵循。

当前，3 位数学家将内斯特罗夫的终局又激动了一步。

与牛顿法的原始版块一样，这种新算法的每次迭代在绸缪上仍然比梯度着落等轨范资本更高。

因此，当前这项新使命不会改变自动驾驶汽车、机器学习算法或空中交通管理系统的运作神气。在这些情况下，最佳的遴荐仍然是梯度着落。

宾夕法尼亚大学 Jason Altschuler 暗示：许多优化理念需要破耗数年时辰才能统统付诸履行。不外这似乎是个全新的视角。

淌若跟着时辰的推移，运行牛顿法所需的底层绸缪技巧变得愈加高效，使得每次迭代的绸缪资本更低，那么 Ahmadi、Chaudhry 和 Zhang 建筑的算法最终不错在包括机器学习在内的各式应用中寥落梯度着落。

合著者暗示，从表面上讲，他们当前的算法如实更快。

论文：

https://arxiv.org/pdf/2311.06374

参考绽放：

https://www.quantamagazine.org/three-hundred-years-later-a-tool-from-isaac-newton-gets-an-update-20250324/

一键三连「点赞」「转发」「贯注心」

接待在指摘区留住你的意见！

—  完  —

临了一周！2025 年值得关爱的 AIGC 企业居品 报名行将截止 � �

下一个 AI "国产之光"将会是谁？接待呈报奖项！

本次评比终局将于 4 月 16 日中国 AIGC 产业峰会上公布。

� � 一键星标 � �

科技前沿发扬逐日见叔叔偷玩侄女