贝叶斯估计

基于贝叶斯定理的参数估计方法
贝叶斯估计(Bayesian estimation)是基于总体信息、样本信息和先验信息对总体分布中包含的未知参数进行估计的统计学方法。[1][2]贝叶斯估计是贝叶斯定理的应用,它的核心思想是将未知参数看作具有先验分布的随机变量[2]
贝叶斯估计量是通过最小化后验期望风险(贝叶斯风险)得到的估计量。[3]后验分布结合了先验分布的信息和抽样后对总体的认识,包含了对未知参数所有可供利用的信息,因而贝叶斯估计能获得精确的估计值。
贝叶斯估计是统计学中最常用的参数估计方法之一。贝叶斯统计缘起于托马斯·贝叶斯。随后,拉普拉斯将贝叶斯定理作为概率论的基础,开发了贝叶斯统计学理论。随着马尔可夫链蒙特卡洛方法解决了贝叶斯统计学长期存在的计算困难的问题,推动了贝叶斯统计在理论和应用领域的长足发展。贝叶斯估计方法在许多领域都有应用,例如信号处理、图像处理、自然语言处理等。

历史发展

贝叶斯估计是统计学中最常用的参数估计方法之一。贝叶斯统计缘起于托马斯·贝叶斯(1702–1761),在他去世后,在1763年发表的论文《关于变量的问题》中提出了一种用于计算概率的公式,这公式被称为“贝叶斯公式”(现在知道是贝叶斯定理的特例)。贝叶斯定理的现代形式归因于法国统计学家皮埃尔-西蒙·拉普拉斯(1749–1827)。1812年,拉普拉斯推导了贝叶斯定理的一般版本,并把它用来解决天体力学、医学甚至法学的问题。拉普拉斯将贝叶斯定理作为概率论的基础,开发了贝叶斯统计学理论。