標本平均は次のとおり定義される。 \begin{align} \overline{X} = \frac{1}{n}\sum_i X_i \tag{1} \end{align}

「$X_1, \ldots, X_n$が同一の$\text{N}(\mu,\ \sigma^2)$に独立にしたがうとき、$X_i - \overline{X}$は$\text{N}\!\left(0,\ \frac{n - 1}{n}\,\sigma^2\right)$にしたがう。」

　$X_1, \ldots, X_n$は同一の$\text{N}(\mu,\ \sigma^2)$に独立にしたがう。

　$X_1 - \overline{X}$の分布について考える。$X_1 - \overline{X}$は、式(1)の定義を代入すると、 \begin{align} X_1 - \overline{X} &= X_1 - \frac{X_1 + \cdots + X_n}{n} \\ &= \frac{(n - 1)\,X_1- X_2 - \cdots - X_n}{n} \tag{2} \end{align} のように独立な正規確率変数の線形和となる。

　したがって、$X_1 - \overline{X}$の分布は正規分布である。また、期待値と分散は次のようになる。 \begin{align} \text{E}(X_1 - \overline{X}) &= \text{E}(X_1) - \text{E}(\overline{X}) \\ &= \mu - \mu \\ &= 0 \tag{3} \end{align} \begin{align} \text{Var}(X_1 - \overline{X}) &= \text{Var}\!\left(\frac{(n - 1)\,X_1- X_2 - \cdots - X_n}{n}\right) \\ &= \frac{\text{Var}((n - 1)\,X_1) + \text{Var}(X_2) + \cdots + \text{Var}(X_n)}{n^2} \\ &= \frac{(n - 1)^2\,\sigma^2 + (n - 1)\,\sigma^2}{n^2} \\ &= \frac{(n - 1)\,((n - 1)\,\sigma^2 + \sigma^2)}{n^2} \\ &= \frac{n - 1}{n}\,\sigma^2 \tag{4} \end{align}

　以上の議論は任意の$X_i - \overline{X}$に対しても添字だけ変えて成り立つ。

　よって、$X_i - \overline{X}$は$\text{N}\!\left(0,\ \frac{n - 1}{n}\,\sigma^2\right)$にしたがう。□

　確率変数（ベクトル）$\boldsymbol{U} = g(\boldsymbol{X})$について、確率密度関数は、 \begin{align} f_\boldsymbol{U}(\boldsymbol{u}) = f_\boldsymbol{X}(g^{-1}(\boldsymbol{u}))\,\lvert \det\mathbf{J} \rvert \tag{1} \end{align} で表される。ここで、$g(\boldsymbol{x})$は$\mathbf{R}^n\to\mathbf{R}^n$変換、$g^{-1}(\boldsymbol{u})$はその逆変換である。また、$\det\mathbf{J}$は$g^{-1}(\boldsymbol{u})$のヤコビ行列式で次のように定義される。 \begin{align} \det\mathbf{J} = \begin{vmatrix} \frac{\partial x_1}{\partial u_1} & \cdots & \frac{\partial x_1}{\partial u_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial x_n}{\partial u_1} & \cdots & \frac{\partial x_n}{\partial u_n} \end{vmatrix} \tag{2} \end{align}

「$X$が$\text{Gamma}(\alpha_1 + \alpha_2,\ \beta)$に、$Y$が$\text{Beta}(\alpha_1,\ \alpha_2)$に独立にしたがうとき、$XY$は$\text{Gamma}(\alpha_1,\ \beta)$にしたがう。また、$X\,(1 - Y)$は$\text{Gamma}(\alpha_2,\ \beta)$にしたがう。」

　$X$が$\text{Gamma}(\alpha_1 + \alpha_2,\ \beta)$に、$Y$が$\text{Beta}(\alpha_1,\ \alpha_2)$に独立にしたがう。

　$X, Y$からの次のような変換を考える。 \begin{align} \begin{cases} U &= XY \\ V &= X\,(1 - Y) \end{cases} \tag{3} \end{align}

　この変換 \begin{align} g(x, y) = \begin{bmatrix} xy \\ x\,(1 - y) \end{bmatrix} \tag{4} \end{align} の逆変換は \begin{align} g^{-1}(u, v) = \begin{bmatrix} u + v \\ \frac{u}{u + v} \end{bmatrix} \tag{5} \end{align} である。また、$g^{-1}(u, v)$のヤコビ行列式は式(2)より、 \begin{align} \det\mathbf{J} &= \begin{vmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{vmatrix} \\ &= \begin{vmatrix} 1 & 1 \\ \frac{v}{(u + v)^2} & -\frac{u}{(u + v)^2} \end{vmatrix} \\ &= -\frac{1}{u + v} \tag{6} \end{align} となる。

　以上を式(1)に代入すると、 \begin{align} f_{U, V}(u, v) &= f_{X, Y}\!\left(u + v, \frac{u}{u + v}\right)\left\lvert -\frac{1}{u + v} \right\rvert \\ &= f_X(u + v)\,f_Y\!\left(\frac{u}{u + v}\right)\left\lvert -\frac{1}{u + v} \right\rvert \tag{7} \end{align} となる。ここで、$X$と$Y$の独立性を用いた。

　式(7)に、$X, Y$の確率密度関数 \begin{align} \begin{cases} f_X(x) &= \frac{\beta^{\alpha_1 + \alpha_2}}{\Gamma(\alpha_1 + \alpha_2)}\,x^{\alpha_1 + \alpha_2 - 1}\,e^{-\beta x} \\ f_Y(y) &= \frac{1}{\mathrm{B}(\alpha_1, \alpha_2)}\,y^{\alpha_1 - 1}\,(1 - y)^{\alpha_2 - 1} \end{cases} \tag{8} \end{align} を適用したのち整理すると、 \begin{align} f_{U, V}(u, v) &= \frac{\beta^{\alpha_1 + \alpha_2}}{\Gamma(\alpha_1)\,\Gamma(\alpha_2)}\,u^{\alpha_1 - 1}\,v^{\alpha_2 - 1}\,e^{-\beta u - \beta v} \\ &= \left(\frac{\beta^{\alpha_1}}{\Gamma(\alpha_1)}\,u^{\alpha_1 - 1}\,e^{-\beta u}\right)\left(\frac{\beta^{\alpha_2}}{\Gamma(\alpha_2)}\,v^{\alpha_2 - 1}\,e^{-\beta v}\right) \tag{9} \end{align} のようになる。これは$u, v$におのおの対応するガンマ分布の確率密度関数の積である。

　よって、$U = XY$は$\text{Gamma}(\alpha_1,\ \beta)$にしたがい、$V = X\,(1 - Y)$は$\text{Gamma}(\alpha_2,\ \beta)$にしたがう。また、$U$と$V$は独立である。□

　二値変数の排他的論理和は次のとおり定義される。 \begin{align} x \oplus y &= x + y & \pmod 2 \tag{1} \end{align}

　排他的論理和について、交換法則 \begin{align} x \oplus y = y \oplus x \tag{2} \end{align} および結合法則 \begin{align} (x \oplus y) \oplus z = x \oplus (y \oplus z) \tag{3} \end{align} が成り立つ。式(3)の両辺は区別の必要がないので、$x \oplus y \oplus z$のように書ける。

　$x_1, \ldots, x_n$を二値変数として、$x_1 \oplus \cdots \oplus x_n$の値をパリティといい、奇数個の1を含むときに1、偶数個の1を含むときに0となる。さらに、関数として見たときパリティ関数という。 \begin{align} f(x_1, \ldots, x_n) = x_1 \oplus \cdots \oplus x_n \tag{4} \end{align}

「$X_1, \ldots, X_n$がそれぞれ$\text{Bernoulli}(p_i)$に独立にしたがうとき、$X_1 \oplus \cdots \oplus X_n$は$\text{Bernoulli}\left(p = \frac{1 - (1 - 2p_1) \cdots (1 - 2p_n)}{2}\right)$にしたがう。」

　$X_1, \ldots, X_n$がそれぞれ$\text{Bernoulli}(p_i)$に独立にしたがう。

　まず、$Y_n = X_1 \oplus \cdots \oplus X_n$について、次の関係が成り立つことを証明する。 \begin{align} 1 - 2\,\mathrm{P}(Y_n = 1) = (1 - 2p_1) \cdots (1 - 2p_n) \tag{5} \end{align}

　証明は数学的帰納法により示す。$n = 1$のとき、 \begin{align} 1 - 2\,\mathrm{P}(Y_1 = 1) = 1 - 2p_1 \tag{6} \end{align} となるから、式(5)が成り立つ。

　$n = 2$のとき、 \begin{align} \mathrm{P}(Y_2 = 1) &= \mathrm{P}(X_1 \oplus X_2 = 1) \\ &= p_1\,(1 - p_2) + (1 - p_1)\,p_2 \tag{7} \end{align} \begin{align} 1 - 2\,\mathrm{P}(Y_2 = 1) &= 1 - 2\,(p_1\,(1 - p_2) + (1 - p_1)\,p_2) \\ &= 1 - 2p_1 - 2p_2 + 4p_1\,p_2 \\ &= (1 - 2p_1)\,(1 - 2p_2) \tag{8} \end{align} となるから、式(5)が成り立つ。

　次に、$n = k$で式(5)が成り立つと仮定する。$n = k + 1$のとき、 \begin{align} \mathrm{P}(Y_{k + 1} = 1) &= \mathrm{P}(X_1 \oplus \cdots \oplus X_k \oplus X_{k + 1} = 1) \\ &= \mathrm{P}(Y_k \oplus X_{k + 1} = 1) \tag{9} \end{align} であり、$Y_k$と$X_{k + 1}$のパリティと見て式(8)を用いると、 \begin{align} 1 - 2\,\mathrm{P}(Y_{k + 1} = 1) &= (1 - 2\,\mathrm{P}(Y_k = 1))\,(1 - 2p_{k + 1}) \\ &= (1 - 2p_1)\cdots(1 - 2p_k)\,(1 - 2p_{k + 1}) \tag{10} \end{align} となるから、式(5)が成り立つ。

　以上より、式(5)は任意の$n \in \{1, 2, \ldots\}$で成り立つことが示された。

　式(5)を$\mathrm{P}(Y_n = 1)$について解くと次のようになる。 \begin{align} \mathrm{P}(Y_n = 1) = \frac{1 - (1 - 2p_1) \cdots (1 - 2p_n)}{2} \tag{11} \end{align}

　よって、$Y_n = X_1 \oplus \cdots \oplus X_n$は$\text{Bernoulli}\left(p = \frac{1 - (1 - 2p_1) \cdots (1 - 2p_n)}{2}\right)$にしたがう。□

〈補足〉これはpiling-up補題という名前がついているらしい。¹

　Mitsuru Matsui²では、$X_i$の値が確率$p_i$で0とすると、パリティが0となる確率が次のように表されている。 \begin{align} \frac{1}{2} + 2^{n - 1}\prod^n_{i = 1}\left(p_i - \frac{1}{2}\right) \end{align}

　式(11)と違って見えるのは、二値変数の値が0の確率を考えるか1の確率を考えるかの違いによる。$p_i$を$1 - p_i$で置き換えて、式全体も$1 - p$とすることで同じになる。

1. Piling-up lemma. Wikipedia.
2. Mitsuru Matsui. Linear Cryptanalysis Method for DES Cipher.

　超幾何分布は「赤玉と白玉が入っている袋から玉を戻さずに取り出す」という試行で、取り出した赤玉の数の分布である。

　取り出した赤玉の数（確率変数）を$X$とし、取り出す玉の数を$n$、玉の総数を$N$、赤玉の総数を$K$で表す。

　このとき、赤玉と白玉のどちらが「当たり」かは任意だから、「当たり」の役割を入れ替えた場合も考えられる。$n - X$は取り出した白玉の数を表し、$K$を$N - K$（白玉の総数）に置き換えた超幾何分布にしたがう。

　同じように、取り出した玉と袋に残った玉のどちらに注目するかも任意といえる。$K - X$は袋に残った赤玉の数を表し、$n$を$N - n$（袋に残る玉の数）に置き換えた超幾何分布にしたがう。

　多変量モーメント母関数は次のように定義される。式中で$\boldsymbol{t}\cdot\boldsymbol{X}$は標準内積である。 \begin{align} M_\boldsymbol{X}(\boldsymbol{t}) = \text{E}(e^{\boldsymbol{t}\cdot\boldsymbol{X}}) \tag{1} \end{align}

　単変量の場合と同様に、独立な確率変数の和のモーメント母関数はモーメント母関数の積で表される。（式変形の途中、独立な確率変数の積の期待値は期待値の積に等しい。） \begin{align} M_{\boldsymbol{X} + \boldsymbol{Y}}(\boldsymbol{t}) &= \text{E}(e^{\boldsymbol{t}\cdot(\boldsymbol{X} + \boldsymbol{Y})}) \\ &= \text{E}(e^{\boldsymbol{t}\cdot\boldsymbol{X}}\,e^{\boldsymbol{t}\cdot\boldsymbol{Y}}) \\ &= \text{E}(e^{\boldsymbol{t}\cdot\boldsymbol{X}})\,\text{E}(e^{\boldsymbol{t}\cdot\boldsymbol{Y}}) \\ &= M_\boldsymbol{X}(\boldsymbol{t})\,M_\boldsymbol{Y}(\boldsymbol{t}) \tag{2} \\ \end{align}

　多変量正規分布の多変量モーメント母関数は \begin{align} M_\boldsymbol{X}(\boldsymbol{t}) = \exp\!\left(\boldsymbol{t}\cdot\boldsymbol{\mu} + \frac{1}{2}\,\boldsymbol{t}\boldsymbol{\Sigma}\boldsymbol{t}^\mathrm{T}\right) \tag{3} \end{align} である。この関数形と式(2)から多変量正規分布の再生性は明らかである。

　多変量超幾何分布（3変量の場合）は「赤玉と青玉と白玉が入っている袋から玉を戻さずに取り出す」という試行で、取り出した各色の玉の数の同時分布である。

　取り出した各色の玉の数（確率変数）を$\boldsymbol{X} = (X_1, X_2, X_3)$とし、取り出す玉の数を$n$、玉の総数を$N$、各色の玉の総数を$\boldsymbol{K} = (K_1, K_2, K_3)$で表す。

　このとき、取り出した玉と袋に残った玉のどちらに注目するかは任意といえる。$\boldsymbol{K} - \boldsymbol{X}$は袋に残った各色の玉の数を表し、$n$を$N - n$（袋に残る玉の数）に置き換えた多変量超幾何分布にしたがう。