ベータ分布のガンマ近似
「$X \sim \text{Beta}(\alpha,\ \beta)$で$\beta$が大きくなるにつれて、$\beta X$の分布は$\text{Gamma}(\alpha,\ 1)$に近づく。」
$X \sim \text{Beta}(\alpha,\ \beta)$の確率密度関数は
\begin{align}
f_X(x) = \frac{1}{\mathrm{B}(\alpha, \beta)}\,x^{\alpha - 1}\,(1 - x)^{\beta - 1} \tag{1}
\end{align}
である。
また、$Y = \beta X$の確率密度関数は
\begin{align}
f_Y(y) &= \frac{1}{\beta\,\mathrm{B}(\alpha, \beta)}\left(\frac{y}{\beta}\right)^{\alpha - 1}\left(1 - \frac{y}{\beta}\right)^{\beta - 1} \\
&= \frac{1}{\beta^\alpha\,\mathrm{B}(\alpha, \beta)}\,y^{\alpha - 1}\left(1 - \frac{y}{\beta}\right)^{\beta - 1} \tag{2}
\end{align}
となる。
ここで、ガンマ関数に対するStirlingの公式
\begin{align}
\Gamma(x) \approx \sqrt{\frac{2\pi}{x}}\left(\frac{x}{e}\right)^x
\end{align}
を用いると式(2)は、
\begin{align}
f_Y(y) &= \frac{\Gamma(\alpha + \beta)}{\beta^\alpha\,\Gamma(\alpha)\,\Gamma(\beta)}\,y^{\alpha - 1}\,\left(1 - \frac{y}{\beta}\right)^{\beta - 1} \\
&\approx \frac{1}{\Gamma(\alpha)}\sqrt{\frac{\beta}{\alpha + \beta}}\left(\frac{\alpha}{\beta} + 1\right)^{\alpha + \beta}\,e^{-\alpha}\,y^{\alpha - 1}\,\left(1 - \frac{y}{\beta}\right)^{\beta - 1} \tag{3}
\end{align}
のようになる。
式(3)で、$\beta \to +\infty$の極限をとると、
\begin{align}
\lim_{\beta \to +\infty} f_Y(y) &= \frac{1}{\Gamma(\alpha)}\,e^\alpha\,e^{-\alpha}\,y^{\alpha - 1}\,e^{-y} \\
&= \frac{1}{\Gamma(\alpha)}\,y^{\alpha - 1}\,e^{-y} \tag{4}
\end{align}
となり、これはガンマ分布の確率密度関数で$\beta = 1$としたものである。
よって、$\beta \to +\infty$の極限で$Y = \beta X$の分布は$\text{Gamma}(\alpha,\ 1)$に収束する。□
〈補足〉分布収束（法則収束）とは、
\begin{align}
\lim_{n \to \infty} F_n(x) = F(x)
\end{align}
が、$F(x)$が連続である任意の$x$に対して成り立つこと（不連続点以外で各点収束）と定義される。
分布収束と確率密度関数の収束の関係がどうなっているか筆者にはよくわからない。調べたかぎりでは、Schefféの補題1,2,3というものが関連するようで、それを適用できれば確率密度関数の収束から分布収束がいえるらしい。
ベータ分布は絶対連続確率分布だから（？）適用できるらしく、上の証明で分布収束の証明になっていると思う。（数学徒の方、アドバイスを是非。）
- "Scheffé's lemma". Wikipedia.
- Guy Lebanon. "Scheffe's Theorem". Probability: The Analysis of Data, Volume 1.
- "Schefféの補題とその簡単な証明". 数学の景色.
ベータ分布（対称）の正規近似
「$X \sim \text{Beta}(\alpha,\ \alpha)$で$\alpha$が大きくなるにつれて、$\sqrt{8\alpha}\left(X - \frac{1}{2}\right)$の分布は$\text{N}(0,\ 1)$に近づく。」
$X \sim \text{Beta}(\alpha,\ \alpha)$の確率密度関数は
\begin{align}
f_X(x) = \frac{1}{\mathrm{B}(\alpha, \alpha)}\,x^{\alpha - 1}\,(1 - x)^{\alpha - 1} \tag{1}
\end{align}
である。
また、$Y = \sqrt{8\alpha}\left(X - \frac{1}{2}\right)$の確率密度関数は
\begin{align}
f_Y(y) &= \frac{1}{\sqrt{8\alpha}\,\mathrm{B}(\alpha, \alpha)}\left(\frac{y}{\sqrt{8\alpha}} + \frac{1}{2}\right)^{\alpha - 1}\left(\frac{1}{2} - \frac{y}{\sqrt{8\alpha}}\right)^{\alpha - 1} \\
&= \frac{1}{\sqrt{8\alpha}\,\mathrm{B}(\alpha, \alpha)}\left(\frac{1}{4} - \frac{y^2}{8\alpha}\right)^{\alpha - 1} \tag{2}
\end{align}
となる。
ここで、ガンマ関数に対するStirlingの公式
\begin{align}
\Gamma(x) \approx \sqrt{\frac{2\pi}{x}}\left(\frac{x}{e}\right)^x
\end{align}
を用いると式(2)は、
\begin{align}
f_Y(y) &= \frac{\Gamma(2\alpha)}{\sqrt{8\alpha}\,\Gamma(\alpha)\,\Gamma(\alpha)}\left(\frac{1}{4} - \frac{y^2}{8\alpha}\right)^{\alpha - 1} \\
&\approx \frac{4^{\alpha - 1}}{\sqrt{2\pi}}\left(\frac{1}{4} - \frac{y^2}{8\alpha}\right)^{\alpha - 1} \\
&= \frac{1}{\sqrt{2\pi}}\left(1 - \frac{y^2}{2\alpha}\right)^{\alpha - 1} \tag{3}
\end{align}
のようになる。
式(3)で、$\alpha \to +\infty$の極限をとると、
\begin{align}
\lim_{\alpha \to +\infty} f_Y(y) = \frac{1}{\sqrt{2\pi}}\,e^{-y^2/2} \tag{4}
\end{align}
となり、これは標準正規分布の確率密度関数である。
よって、$\alpha \to +\infty$の極限で$Y = \sqrt{8\alpha}\left(X - \frac{1}{2}\right)$の分布は$\text{N}(0,\ 1)$に収束する。□
幾何分布の指数近似
極限の場合§負の二項分布#ガンマ近似で$r = 1$の場合である。
幾何分布についての証明を以下に示す。
「$X \sim \text{Geom}(p)$で$p$が0に向かうにつれて、$pX$の分布は$\text{Exp}(1)$に近づく。」
$X \sim \text{Geom}(p)$の累積分布関数は
\begin{align}
F_X(x) &= \text{P}(X \le x) \\
&= 1 - (1 - p)^{\lfloor x\rfloor + 1} \tag{1}
\end{align}
である。また、$Y = pX$の累積分布関数は
\begin{align}
F_Y(y) &= \text{P}(Y \le y) \\
&= \text{P}(pX \le y) \\
&= 1 - (1 - p)^{\lfloor y/p\rfloor + 1} \tag{2}
\end{align}
となる。
ここで、床関数の性質
\begin{align}
x - 1 \lt \lfloor x\rfloor \leq x \tag{3}
\end{align}
により、
\begin{align}
1 - (1 - p)^{y/p} \lt F_Y(y) \leq 1 - (1 - p)^{y/p + 1} \tag{4}
\end{align}
の関係が成り立つ。
式(4)の両辺について、$p \to +0$の極限をとると、
\begin{align}
\lim_{p \to +0} (1 - (1 - p)^{y/p}) = 1 - e^{-y} \tag{5}
\end{align}
\begin{align}
\lim_{p \to +0} (1 - (1 - p)^{y/p + 1}) = 1 - e^{-y} \tag{6}
\end{align}
となり、はさみうちの原理から
\begin{align}
\lim_{p \to +0} F_Y(y) = 1 - e^{-y} \tag{7}
\end{align}
がいえる。これは標準指数分布の累積分布関数である。
よって、$p \to +0$の極限で$Y = pX$の分布は$\text{Exp}(1)$に収束する。□