kkt条件的推导思路以及八卦

KKT条件是用来判断一个解是否属于一个非线性最优化问题的。

这个条件也是推导出来的

我们知道,我们要求解一个最优化问题,其实就是求解一个函数在某些变量取值不定情况下的最值。首先要看这个函数是不是凸函数,如果是,就是可以用求导求极值的方法求的几个局部最优,然后在局部最优中选出最优即可

如果要求解的这个函数带有等式约束,可以引入拉格朗日乘子,把这些等式约束巧妙的变化到函数中,等效于在函数中多加了几个变量,这个变量就是拉格朗日乘子,然后用求导求极值的方法求的最优值。

如果要求解的这个函数不仅仅带有等式约束,还带有不等式约束,那就可以先想个办法把不等式约束变成等式约束,然后再引入拉格朗日乘子,把这些等式约束变化到函数去,再利用求导数求极值的方法求出最优值。

其实就是这么一个过程:

那么这个KKT条件就是用来被判断这种带有不等式约束问题解的。把不等式约束变为等式约束,而后又把等式约束巧妙的变化到函数中后,利用求倒求极值的计算时,就把这个条件推导出来了。

KKT条件是这个过程中必然经过的一个点,所以,推导过程中,也可以直接写到这一步,利用这个条件,简化推导过程。

其实KKT条件从功能上可以叫做: 不等式约束的极值必要条件

KKT来源于一个人名,Karush-kuhn-Tucker 最优化条件,由于人名Karush-kuhn-Tucker有时候可以别称为Kuhn-Tucker,所以又叫 Kuhn-Tucker条件,Kuhn-Tucker最优化条件,又叫库恩塔克条件

原来这是3个人,karush[1939],kuhn-tucker[1951]先后独立发表出来的,由于这组优化条件再kuhn和tucker发表之后才受到重视,因此许多书只记载成了Kuhn-tucker最优化条件,库恩塔克最优化条件。

刚开始人们只知道kuhn-tucker的文章,后来发现karush在1939年就发表了相关文章。

1939年,德国闪击波兰,人类历史上最波澜壮阔的二战开始了

/question/19770573

写到这里不得不说,我们常用的一个解题条件的作者,竟然有这么大的社会影响力

这些作者真不敢随便八卦,一八卦就是一个大牛。

全名:Albert W.Tucker,加拿大籍美国人。1928年多伦多大学毕业,1932年在普林斯顿大学博士毕业。带了很多有名的博士生,在剑桥,哈弗,芝加哥大学游学多年,1933年到达普林斯顿,一直呆到1970年。他主持了普林斯顿数学系长达20年时间。1905年出生,1995年去世,寿命为90年。他的导师叫Lefschetz,1884年9月3日生于莫斯科,1972年卒于普林斯顿。

这些大牛门在学校一直做学术研究,而中国这边却经历了清朝,中国民国,中国等大历史时代。