高斯过程回归

始于处理复杂回归问题的机器学习方法
image
高斯过程回归（Gaussian Process Regression，GPR）是基于贝叶斯理论和统计学习埋论发展起来的一种机器学习方法，适于处理高维数、小样本和非线性等复杂回归问题[1][2]。
高斯过程回归的优势是所得回归曲线是满足高斯分布的，它的平均值和方差都可以求得解析解。使用高斯过程回归曲线时不仅仅可以预测出测试样本对应的均值，而且还可以通过方差来表示预测值的可信程度，即置信度区间度量[3]。
与神经网络和支持向量机相比，高斯过程回归具有容易实现、超参数自适应获取以及输出具有概率意义等优点，方便与预测控制、自适应控制、贝叶斯滤波等相结合[1]。此外，高斯过程回归被用于过程控制、时间序列预测、软测量建模、表情动态跟踪、边坡工程风速预测等[4]。

历史

与GPR有关的早期研究大致可分为3部分，在时间序列分析中，安德雷·柯尔莫哥洛夫（Андрей Николаевич Колмогоров）和罗伯特·维纳（Robert Wiener）在二十世纪40年代提出了估计0均值平稳高斯过程信号的滤波技术[5]。随后出现的卡尔曼滤波（Kalman filter）提供了估计高斯隐变量（latent variable）的有效方法。在地统计学领域，1963年提出的克里金法（Kriging）首次实现了平稳随机场的非参数回归，其后在二十世纪90年代出现的贝叶斯克里金提供了与GPR接近或等价的高斯随机场估计。在机器学习方面，包含无限节点的贝叶斯神经网络（Bayesian neural network）和各类核学习（kernel learning）方法例如核岭回归（kernel ridge regression）为GPR的核函数超参数求解带来了启发。