特性関数 (確率論)
確率論と統計学において、任意の確率変数に対する特性関数（英: characteristic function）とは、その確率分布を完全に定義する関数である。したがって、確率密度関数や累積分布関数の代わりに特性関数を解析の基盤とすることもできる。確率変数の重み付き総和で分布を定義する単純な特性関数も存在する。
1 変量の分布以外にも、ベクトルまたは行列型の確率変数についての特性関数もあり、さらに一般化することもできる。
実数引数をとる関数と考えたとき、特性関数は積率母関数とは異なり、常に存在する。特性関数の振る舞いとその分布の属性には、モーメントの存在や密度関数の存在などの関係がある。
Contents
導入
特性関数は確率変数を記述する代替手段を提供する。累積分布関数
- [math]F_X(x)=\operatorname{\mathbb{E}}[\mathbf{1}_{\{X\leq x\}}][/math]
は確率変数 X の確率分布の振る舞いと属性を完全に決定するが、それと同様に特性関数
- [math]\varphi_X(t)=\operatorname{\mathbb{E}}[e^{itX}][/math]
も確率変数 X の確率分布の振る舞いと属性を完全に決定する。どちらか一方が分かっていればもう一方を求めることができ、その確率変数の特徴についてそれぞれ異なる洞察を与える。しかし、これらの関数を単純な標準的関数で表せるかどうかは、場合によって異なる。
確率変数が確率密度関数を持つ場合、特性関数と密度関数は互いにもう一方のフーリエ変換になっているという意味で双対である。確率変数に積率母関数がある場合、特性関数は複素領域に拡張されうる。
- [math]\varphi_X(-it)=M_X(t)[/math][1]
なお、確率密度関数や積率母関数が存在しない場合でも、ある確率分布の特性関数は常に存在する。
特性関数は、特に独立した確率変数の線型結合の分析で有効である。他にも、確率変数の分解可能性の理論においても重要である。
定義
スカラーの確率変数 X について、その特性関数は、eitX の期待値として定義される。ここで i は虚数単位、t ∈ R は特性関数の引数である。
- [math] \varphi_X\colon\mathbb{R}\to\mathbb{C}; \quad \varphi_X(t) = \operatorname{\mathbb{E}}[e^{itX}] = \int_{-\infty}^\infty e^{itx}\,dF_X(x) \qquad \left( = \int_{-\infty}^\infty e^{itx} f_X(x)\,dx \right) [/math]
ここで FX は X の累積分布関数、積分はリーマン＝スティルチェス型である。確率変数 X に確率密度関数 fX がある場合、その特性関数は確率密度関数のフーリエ変換であり[2]、上記の括弧内の式が対応する。
なお、特性関数の定義に出現する定数は一般的なフーリエ変換のものとは異なる[3]。例えば書籍によっては φX(t) = E[e−2πitX] と定義しており[4]、これは本質的にはパラメータの変更である。他にも、確率測度 p の特性関数を テンプレート:Hat、確率密度関数 f に対応する特性関数を テンプレート:Hat と表すこともある。
特性関数の記法は、多変量の確率変数やさらに複雑な確率要素に一般化される。特性関数の引数は確率変数 X が値を持つ空間の連続的双対空間に常に属する。主な場合における定義を以下に示す。
- X が k-次元の確率ベクトルの場合、t ∈ Rk について、
- [math]\varphi_X(t) = \operatorname{\mathbb{E}}[e^{it'X}],[/math]
- X がk × p-次元の確率行列の場合、t ∈ Rk × p について、
- [math]\varphi_X(t) = \operatorname{\mathbb{E}}[e^{i\operatorname{tr}(t'X)}],[/math]
- X が複素確率変数の場合、t ∈ C について、[5]
- [math]\varphi_X(t) = \operatorname{\mathbb{E}}[e^{i\operatorname{Re}(\overline{t}X)}],[/math]
- X が k-次元の複素確率ベクトルの場合、t ∈ Ck について、[5]
- [math]\varphi_X(t) = \operatorname{\mathbb{E}}[e^{i\operatorname{Re}(t^*X)}],[/math]
- X(s) が確率過程の場合、X のほとんど全ての実現値について積分 ∫Rt(s)X(s)ds が収束するような全ての関数 t(s) について、[6]
- [math]\varphi_X(t) = \operatorname{\mathbb{E}}[e^{i\int_\mathbb{R} t(s)X(s)ds}].[/math]
ここで tテンプレート:'（プライム）は t 転置行列、tr(·) は行列の跡作用素、Re は複素数の実部、z は z の複素共役、z∗ テンプレート:Coloneqq zテンプレート:' は共役転置行列を意味する。
具体例
| 分布 | 特性関数 φ(t) |
|---|---|
| 退化 δa | [math]\, e^{ita}[/math] |
| ベルヌーイ Bern(p) | [math]\, 1-p+pe^{it}[/math] |
| 二項 B(n, p) | [math]\, (1-p+pe^{it})^n[/math] |
| ポアソン Pois(λ) | [math]\, e^{\lambda(e^{it}-1)}[/math] |
| 一様 U(a, b) | [math]\, \frac{e^{itb} - e^{ita}}{it(b-a)}[/math] |
| ラプラス L(μ, b) | [math]\, \frac{e^{it\mu}}{1 + b^2t^2}[/math] |
| 正規 N(μ, σ2) | [math]\, e^{it\mu - \frac{1}{2}\sigma^2t^2}[/math] |
| カイ二乗 χ2k | [math]\, (1 - 2it)^{-k/2}[/math] |
| コーシー Cauchy(μ, θ) | [math]\, e^{it\mu -\theta|t|}[/math] |
| ガンマ Γ(k, θ) | [math]\, (1 - it\theta)^{-k}[/math] |
| 指数 Exp(λ) | [math]\, (1 - it\lambda^{-1})^{-1}[/math] |
| 多変量正規 N(μ, Σ) | [math]\, e^{it'\mu - \frac{1}{2}t'\Sigma t}[/math] |
性質
- 確率変数の特性関数は、測度が有限な空間上の有界な連続関数の積分であるため、常に存在する。
- 特性関数は空間全体について一様連続である。
- ゼロ付近では根を持たない (φ(0) = 1)。
- 有界である (|φ(t)| ≤ 1)。
- エルミート関数である（φ(−t) = φ(t)）。原点を中心として対称性のある確率変数の特性関数は実数関数であり偶関数である。
- 累積分布関数と特性関数の間には全単射が存在する。すなわち、2 つの任意の確率変数 X1 と X2 について、次が成り立つ：
- [math]F_{X_1}=F_{X_2}\ \Leftrightarrow\ \varphi_{X_1}=\varphi_{X_2}.[/math]
- 確率変数 X に最大 k-次のモーメントがある場合、その特性関数 φX は実数直線全体について k 階連続微分可能である。このとき、次が成り立つ：
- [math]\operatorname{E}\,X^k = (-i)^k \varphi_X^{(k)}(0).[/math]
- 特性関数 φX がゼロにおいて k 階の導関数を持つなら、確率変数 X は k が偶数なら最大で k-次のモーメントを持つが、k が奇数なら最大で k − 1-次までである[1]。
- X1, ..., Xn が独立確率変数で、a1, ..., an がなんらかの定数としたとき、Xi の線型結合の特性関数は次のようになる。
- [math]\varphi_{a_1X_1+\ldots+a_nX_n}(t) = \varphi_{X_1}(a_1t)\cdot \ldots \cdot \varphi_{X_n}(a_nt).[/math]
- 特性関数の裾野の振る舞いは、対応する確率密度関数の平滑性を決定する。
連続性
上述した確率分布と特性関数の全単射は「連続」である。すなわち、分布関数の族 {Fj(x)} が何らかの分布 F(x) に弱収束するとき、対応する一連の特性関数 {φj(t)} も収束し、極限 φ(t) はそのままの F の特性関数に対応する。これをより形式的に述べると、次のようになる。
- レヴィの連続性定理 (Lévy's continuity theorem) : n-変量確率変数の列 {Xj} が確率変数 X に分布において収束する場合、常に列 {φXj} は原点で連続な関数 φ に各点収束する。この φ は X の特性関数である[7]。
反転公式
累積分布関数と特性関数には1対1対応が存在するので、一方を知っていれば常にもう一方を求めることができる。上に挙げた特性関数の定義によれば、分布関数 F（または密度関数 f）を知っていれば φ を計算できる。一方、特性関数 φ を知っていて対応する分布関数を求めたい場合、以下に挙げる反転定理を利用できる。
- 定理
- 特性関数 φX が積分可能なら、FX は絶対連続であり、X の確率密度関数は以下のように与えられる（X がスカラーの場合）。
- [math] f_X(x) = F_X'(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx}\varphi_X(t)dt [/math]
- 多変量の場合の確率密度関数は、ルベーグ測度 λ に対する分布 μX のラドン＝ニコディム微分として理解される。
- [math]f_X(x) = \frac{d\mu_X}{d\lambda}(x) = \frac{1}{(2\pi)^n} \int_{\mathbb{R}^n} e^{-i(t\cdot x)}\varphi_X(t)\lambda(dt)[/math]
- 定理（レヴィ）
- 分布関数 FX の特性関数を φX とし、2 つの点 a < b で定義される [math]\{x|a\lt x\lt b\}[/math] が μX の連続性集合ならば（1 変量では、この条件は FX が a と b で連続なことと等価である）、
- [math]F_X(b) - F_X(a) = \frac{1} {2\pi} \lim_{T \to \infty} \int_{-T}^{+T} \frac{e^{-ita} - e^{-itb}} {it}\, \varphi_X(t)\, dt,[/math] X がスカラーの場合
- [math]\mu_X\big(\{a\lt x\lt b\}\big) = \frac{1}{(2\pi)^n} \lim_{T_1\to\infty}\cdots\lim_{T_n\to\infty} \int\limits_{\{-T\leq t\leq T\}} \prod_{k=1}^n\left(\frac{e^{-it_ka_k}-e^{-it_kb_k}}{it_k}\right)\varphi_X(t)\lambda(dt)[/math], X がベクトル型確率変数の場合
- 定理
- a が X について原子的ならば（1 変量の場合、これは FX の不連続点を意味する）、
- [math]F_X(a) - F_X(a-0) = \lim_{T\to\infty}\frac{1}{2T}\int_{-T}^{+T}e^{-ita}\varphi_X(t)dt[/math], X がスカラー型確率変数の場合
- [math]\mu_X(\{a\}) = \lim_{T_1\to\infty}\cdots\lim_{T_n\to\infty} \left(\prod_{k=1}^n\frac{1}{2T_k}\right) \int\limits_{\{-T\leq t\leq T\}} e^{-i(t\cdot x)}\varphi_X(t)\lambda(dt)[/math], X がベクトル型確率変数の場合
- 定理 (Gil-Pelaez)[8]
- 1 変量確率変数 X について、x が FX の連続点ならば、
- [math]F_X(x) = \frac{1}{2} - \frac{1}{\pi}\int_0^\infty \frac{\operatorname{Im}[e^{-itx}\varphi_X(t)]}{t}\,dt[/math]
特性関数の判定基準
減少しない càdlàg 関数（右連続左極限関数） F で、極限が F(−∞) = 0 および F(+∞) = 1 となる場合、F は何らかの確率変数の累積分布関数に対応している。
他にも、与えられた関数 φ について、それが何らかの確率変数の特性関数かどうかを判定する単純な判定基準が存在する。これについての中心的成果としてボホナーの定理があるが、その主な条件である非負定性の判定が非常に難しいため、これが利用できる場面は多くはない。他にも Khinchine, テンプレート:Cs, テンプレート:Sv などの定理もあるが、それらも応用が難しい。一方 テンプレート:Hu の定理は非常に単純な凸条件を提供するが、それは十分条件であって必要条件ではない。この条件を満たす特性関数を Pólya-type と呼ぶ[1]。
- ボホナーの定理 (Bochner's theorem) : 任意の関数 [math]\scriptstyle \varphi:\ \mathbb{R}^n\to\mathbb{C}[/math] が何らかの確率変数の特性関数であるとき、常に φ は非負定性で原点で連続であり、かつ φ(0) = 1 である。
- ヒンチンの判定条件 (Khinchine’s criterion) : 原点で値が 1 で絶対連続な複素数値関数 φ は、以下のように表現できるときのみ特性関数といえる。
- [math]\varphi(t) = \int_{-\infty}^\infty g(t+\theta)\overline{g(\theta)} d\theta [/math]
- マティアスの定理 (Mathias' theorem) : 原点で値が 1 で、実数値で偶関数で連続で絶対積分可能な関数 φ は、以下が成り立つ場合のみ特性関数といえる。
- [math](-1)^n \int_{-\infty}^\infty \varphi(pt)e^{-t^2/2}H_{2n}(t)dt \geq 0[/math]
- ここで n = 0, 1, 2, ... であり、常に p > 0 である。H2n は、2n-次のエルミート多項式を意味する。
- φ(t) は絶対連続で対称な分布の特性関数である。
- 有限または可算な個数の特性関数の凸線型結合 [math]\scriptstyle \sum_n a_n\varphi_n(t)[/math]（ただし、[math]\scriptstyle a_n\geq0,\ \sum_n a_n=1[/math]）も特性関数である。
- 有限個の特性関数の積 [math]\scriptstyle \prod_n \varphi_n(t)[/math] も特性関数である。原点で連続な関数に収束するなら、無限個の積でも成り立つ。
- φ が特性関数、α がある実数としたとき、φ, Re[φ], |φ|2, φ(αt) も全て特性関数である。
利用
連続性定理があるため、特性関数は中心極限定理の証明でよく使われる。
分布の基本的操作
特性関数は、独立な確率変数の線型関数を操作する際に特に便利である。例えば、X1, X2, ..., Xn を独立な（同分布である必要はない）確率変数の列とし、
- [math]S_n = \sum_{i=1}^n a_i X_i\,\![/math]
とする。ここで ai は定数である。すると、Sn の特性関数は次のように定義できる。
- [math] \varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt) \,\! [/math]
特に [math]\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)[/math] となる。これを示すには、特性関数の定義を書いてみればよい。
- [math]\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)[/math]
X と Y の独立性は、3 つ目の式と 4 つ目の式が等しいことを示すのに必要となる。
もう一つの興味深い例として、ai = 1/n の場合、Sn は標本平均となる。この場合 X で平均を表し、
- [math]\varphi_{\overline{X}}(t)=\left(\varphi_X(t/n)\right)^n[/math]
となる。
モーメント
特性関数は確率変数のモーメントを求める場合にも使える。n-次のモーメントがある場合、特性関数は n 階微分可能で、次が成り立つ：
- [math]\operatorname{\mathbb{E}}[X^n] = i^{-n}\, \varphi_X^{(n)}(0) = i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0}.[/math]
例えば、X が標準的なコーシー分布に従うとする。すると [math]\varphi_X(t)=e^{-|t|}[/math] である。コーシー分布には期待値がなく、この特性関数は点 t = 0 で微分可能ではない。また、n 回の独立な観測についての標本の平均 X の特性関数は、上の節にあるように [math]\varphi_{\overline{X}}(t)=(e^{-|t|/n})^n=e^{-|t|}[/math] となる。これは標準のコーシー分布の特性関数であり、標本の平均と母集団は同じ分布である。
特性関数の対数はキュムラント母関数であり、キュムラントを求める際に有用である。ただし、キュムラント母関数を積率母関数の対数と定義する場合もあり、その場合は特性関数の対数を第 2 キュムラント母関数と呼ぶ。
データ解析
標本データに分布関数をあてはめるとき、特性関数を使うことができる。確率密度関数の閉形式が使えないため最尤法が適用しにくい場合、安定分布のあてはめも含め、特性関数を使ったあてはめが有効である。この場合の推定手順は、データから計算された経験的な特性関数と理論的な特性関数をマッチさせるという方法である。Paulson, Holcomb & Leitch 1975 と Heathcote 1977 は、そのような推定手順の理論的背景を提供している。さらに、Yu 2004 では、最尤法の適用が難しい場合に、経験的な特性関数を時系列モデルに適合させるという応用を解説している。
例
尺度母数 θ、形状母数 k のガンマ分布の特性関数は次の通りである。
- [math](1 - \theta\,i\,t)^{-k}[/math]
ここで、次のような 2 つのガンマ分布を考える。
- [math] X ~\sim \Gamma(k_1,\theta) \mbox{ and } Y \sim \Gamma(k_2,\theta)[/math]
X と Y が互いに独立のとき、X + Y がどのような分布になるかを求めたい。それぞれの特性関数は次の通りである。
- [math]\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}[/math]
X と Y が独立であることと、特性関数の基本性質から、次が導かれる。
- [math]\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}[/math]
これは、尺度母数 θ、形状母数 k1 + k2 のガンマ分布の特性関数に他ならない。したがって、最終的に次の結果が得られる。
- [math]X+Y \sim \Gamma(k_1+k_2,\theta) \,[/math]
この結果は、尺度母数が同じ n 個の独立なガンマ分布の確率変数に拡張することができ、以下の関係が導かれる。
- [math]\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)[/math]
関連する概念
関連する概念として、積率母関数と確率母関数がある。特性関数は全ての確率分布について存在するが、積率母関数はそうとは限らない。
特性関数は、フーリエ変換と密接な関係がある。確率密度関数 p(x) の特性関数は、p(x) の連続フーリエ変換 P(t) の複素共役である。
- [math]\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^\infty e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^\infty e^{-itx}p(x)\, dx \right)} = \overline{P(t)}[/math]
同様に φX(t) への逆フーリエ変換で p(x) を得られる。
- [math]p(x) = \frac{1}{2\pi} \int_{-\infty}^\infty e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^\infty e^{itx} \overline{\varphi_X(t)}\, dt [/math]
確率変数が密度関数を持たない場合でも、特性関数はその確率変数に対応した測度のフーリエ変換とみなすことができる。
脚注・出典
参考文献
- Lukacs, E. (1970). Characteristic functions. London: Griffin.
- Billingsley, Patrick (1995). Probability and measure, 3rd, John Wiley & Sons. ISBN 0-471-00710-2.
- Pinsky, Mark (2002). Introduction to Fourier analysis and wavelets. Brooks/Cole. ISBN 0-534-37660-6.
- Bochner, Salomon (1955). Harmonic analysis and the theory of probability. University of California Press.
- (1995) Linear and graphical models for the multivariate complex normal distribution, Lecture notes in statistics 101. New York: Springer-Verlag. ISBN 0-387-94521-0.
- Sobczyk, Kazimierz (2001). Stochastic differential equations. Kluwer Academic Publishers. ISBN 9781402003455.
- Cuppens, R. (1975). Decomposition of multivariate probabilities. Academic Press.
- Wendel, J.G. (1961). “The non-absolute convergence of Gil-Pelaez' inversion integral”. The Annals of Mathematical Statistics 32 (1): 338–339.
- Paulson, A.S.; Holcomb, E.W.; Leitch, R.A. (1975). “The estimation of the parameters of the stable laws”. Biometrika 62: 163–170.
- Heathcote, C.R. (1977). “The integrated squared error estimation of parameters”. Biometrika 64 (2): 255–264.
- Yu, J. (2004). “Empirical characteristic function estimation and its applications”. Econometrics Reviews 23 (2): 93–1223.
- Bisgaard, T. M.; Z. Sasvári (2000). Characteristic functions and moment sequences. Nova Science.