共轭梯度法
一种解决无约束大规模最优化问题的有效方法
条目
共轭梯度法（Conjugate Gradient Method）[1]是选择一组相互共轭的下降方向作为迭代方向进行迭代的方法[6]，是解决大规模无约束优化问题的有效方法之一[7]，它不用求矩阵的逆，存储量很小，对初始点的要求也不高，收敛速度较快，介于最速下降法与Newton法之间，特别适合求解高维优化问题[8]。
1952年，数学家马格努斯·赫斯滕斯（Magnus Hestenes）和爱德华·斯蒂费尔（Eduard Stiefel）[1]为了求解正定系数矩阵的线性方程组，首次提出了共轭梯度法，并将其应用于求解线性系统[9]。随后，在1964年，费雷歇（Fletcher）和里夫斯（Reeves）首次将共轭梯度法应用于求解非线性最优化问题，提出FR共轭梯度法，这一扩展使得共轭梯度法成为解决大型非线性最优化问题的有效算法之一[10]。随着计算机技术的快速发展，共轭梯度法的研究内容及其方式日益丰富，PRP共轭梯度法[11][12]、CD共轭梯度法[13]、DY共轭梯度法[14]、混合共轭梯度法、记忆梯度法、谱共轭梯度法、参数共轭梯度法[15]接连被学者提出，不断优化了数值实验效果。
共轭梯度法具有下降性[16]、二次终止性[5]和收敛性[17][18][19]的性质，基于共轭梯度法的特殊性质，可广泛应用于线性方程组和非线性方程组最优化问题当中[10][9]，除此之外，共轭梯度法还广泛应用于物理学、电信技术、矿业工程[3][4][20][21]等各种领域。