第 4 章 拉普拉斯近似

4.1 介绍

在统计计算中，我们经常需要计算积分，比如如果我们想求 \(g(X)\) 的期望，那么我们需要计算积分

\[ \mathbb{E}_{f} g(x)=\int g(x) f(x) d x, \]其中 \(X\) 为随机变量，\(f(x)\) 为其概率密度函数。再比如贝叶斯推断中，计算后验均值和后验方差都是在计算积分。本章将介绍计算积分最常用的方法，即拉普拉斯近似（Laplace Approximations）。

4.2 拉普拉斯近似

假设函数 \(g(x)\) 在 \(x_0\) 处取得最大值，且对于任意的 \(x\)，\(g(x) > 0\)。若 \(h(x) = \log(g(x))\)，那么根据泰勒展开我们可以得到：

\[ h(x) \doteq h(x_0)+h^{\prime}(x_0)(x-x_0)+ \frac{1}{2}h^{\prime \prime}(x_0)(x-x_0)^{2} , \]其中因为 \(g(x)\) 在 \(x_0\) 处取得最大值，所以 \(h^{\prime}(x_0) = 0\)，这样的话，

\[ \begin{aligned} \int g(x) d x &= \int \exp[h(x)] d x \\ & \, \doteq \int \exp \left[h(x_0)+h^{\prime \prime}(x_0)(x-x_0)^{2} / 2\right] d x \\ &=\exp [h(x_0)] \sqrt{\frac{2 \pi}{-h^{\prime \prime}(x_0)}} \int \sqrt{\frac{-h^{\prime \prime}(x_0)}{2 \pi}} \exp \left[-(-h^{\prime \prime}(x_0)/2)(x-x_0)^2\right] dx\\ &=\exp [h(x_0)] \sqrt{\frac{2 \pi}{-h^{\prime \prime}(x_0)}}\\ &=\sqrt{2\pi}g(x_0)/[-h^{\prime\prime}(x_0)]^{\frac{1}{2}}, \end{aligned} \]其中第三行中的被积函数为均值为 \(x_0\)，方差为 \(-1/h^{\prime\prime}(x_0)\) 的正态分布密度函数。

拉普拉斯近似

假设正函数 \(g(x)\) 在 \(x_0\) 处取得最大值，且 \(h(x) = \log(g(x))\)，那么 \(\int g(x) dx\) 可以通过拉普拉斯近似来得到：

\[\int g(x) dx = \sqrt{2\pi}g(x_0)/[-h^{\prime\prime}(x_0)]^{\frac{1}{2}}.\]