Warning : Undefined variable $type in /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php on line 3 Warning : "continue" targeting switch is equivalent to "break". Did you mean to use "continue 2"? in /home/users/1/sub.jp-asate/web/wiki/includes/json/FormatJson.php on line 297 Warning : Trying to access array offset on value of type bool in /home/users/1/sub.jp-asate/web/wiki/includes/Setup.php on line 660 Warning : session_name(): Session name cannot be changed after headers have already been sent in /home/users/1/sub.jp-asate/web/wiki/includes/Setup.php on line 834 Warning : ini_set(): Session ini settings cannot be changed after headers have already been sent in /home/users/1/sub.jp-asate/web/wiki/includes/session/PHPSessionHandler.php on line 126 Warning : ini_set(): Session ini settings cannot be changed after headers have already been sent in /home/users/1/sub.jp-asate/web/wiki/includes/session/PHPSessionHandler.php on line 127 Warning : session_cache_limiter(): Session cache limiter cannot be changed after headers have already been sent in /home/users/1/sub.jp-asate/web/wiki/includes/session/PHPSessionHandler.php on line 133 Warning : session_set_save_handler(): Session save handler cannot be changed after headers have already been sent in /home/users/1/sub.jp-asate/web/wiki/includes/session/PHPSessionHandler.php on line 140 Warning : "continue" targeting switch is equivalent to "break". Did you mean to use "continue 2"? in /home/users/1/sub.jp-asate/web/wiki/languages/LanguageConverter.php on line 773 Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/Feed.php on line 294 Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/Feed.php on line 300 Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/WebResponse.php on line 46 Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/WebResponse.php on line 46 Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/WebResponse.php on line 46
http:///mymemo.xyz/wiki/api.php?action=feedcontributions&feedformat=atom&user=60.124.36.164
miniwiki - 利用者の投稿記録 [ja]
2024-05-23T11:51:26Z
利用者の投稿記録
MediaWiki 1.31.0
最小二乗法
2018-06-15T18:01:39Z
<p>60.124.36.164: /* 歴史 */ タイプミスを修正</p>
<hr />
<div>{{出典の明記|date=2013年10月30日 (水) 04:38 (UTC)}}<br />
[[ファイル:Linear least squares2.png|right|thumb|データセットを4次関数で最小二乗近似した例]]<br />
{{回帰分析}}<br />
'''最小二乗法'''(さいしょうにじょうほう、さいしょうじじょうほう；'''最小自乗法'''とも書く、{{Lang-en-short|least squares method}})は、測定で得られた数値の組を、適当なモデルから想定される[[1次関数]]、[[対数]]曲線など特定の[[関数 (数学)|関数]]を用いて[[近似]]するときに、想定する関数が測定値に対してよい近似となるように、[[残差平方和|残差の二乗和]]を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。<br />
<br />
== 歴史 ==<br />
[[1805年]]に[[アドリアン＝マリ・ルジャンドル]]が出版したのが初出である。しかし、[[1809年]]に[[カール・フリードリヒ・ガウス]]が出版した際に[[1795年]]には最小二乗法を考案済みだったと主張したことで、最小二乗法の発明者が誰であるかについては不明になっている。<br />
<br />
== 計算の概要 ==<br />
=== 前提条件 ===<br />
最小二乗法では測定データ''y'' はモデル関数''f'' (''x'' )と誤差&epsilon;の和で<br />
:<math>y=f(x)+\varepsilon</math><br />
と表せるとする。物理現象の測定データには、[[誤差]]が含まれ、それは系統誤差と[[正規分布#偶然誤差|偶然誤差]]を含んでいる。この内、偶然誤差は、測定における信号経路の[[微視的]]現象に由来するならば、[[正規分布]]であると期待されることが多い。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する[[正規分布#正規分布の適用|考え方]]もある。<br />
<br />
誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できない位大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた[[外れ値]]を含む場合などが該当する。<br />
<br />
上記を含め、最小二乗法の理論的基盤には次のような前提が設けられている<ref>{{cite|和書 |author=中川徹|author2=小柳義夫 |title=最小二乗法による実験データ解析 |publisher=東京大学出版会 |year=1982 |isbn=4-13-064067-4 |page=30}}</ref>。<br />
* 測定値の誤差には偏りがない。すなわち誤差の[[平均値]]は 0 である。<br />
* 測定値の誤差の[[分散 (確率論)|分散]]は既知である。ただし測定データごとに異なる値でも良い<ref>この前提は以下のように緩められることが多い：測定値の誤差の分散は、測定値間での相対比は既知であるが、絶対値を決める比例定数一つが未知である。</ref>。<br />
* 各測定は互いに[[独立 (確率論)|独立]]であり、誤差の[[共分散]]は 0 である。<br />
* 誤差は正規分布する。<br />
* ''m'' 個<ref>''m'' は、測定データの数よりも小さいとする。</ref>のパラメータ（フィッティングパラメータ）を含むモデル関数''f'' が知られていて、測定量の真の値を近似誤差なく再現することのできるパラメータが存在する。<br />
<br />
=== 基礎的な考え方 ===<br />
話を簡単にするため、測定値は ''x'', ''y'' の二次元の平面に分布するものとし、想定される分布（モデル関数）が ''y'' = ''f''(''x'') の形である場合を述べる。想定している関数 ''f'' は、既知の関数 ''g''(''x'') の[[線型結合]]で表されていると仮定する。すなわち、<br />
<br />
{{Indent|<math>f(x)=\sum_{k=1}^{m} a_k g_k(x)</math>}}<br />
<br />
例えば、''g''<sub>''k''</sub>(''x'')=''x''<sup>''k-1''</sup> は、多項式近似であり、特に ''m=2'' の時は <math>f(x)= a_1 + a_2 x</math> という直線による近似（[[線型性|線形]][[回帰]]）になる。<!--図は多項式近似で ''m=5'' の例。--><br />
<br />
今、測定で得られた、次のような数値の組の集合があるとする。<br />
<br />
{{Indent|<math>\{(x_1, y_1),\ (x_2, y_2),\ \ldots ,\ (x_n, y_n)\}</math>}}<br />
<br />
これら (''x'', ''y'') の分布が、''y'' = ''f''(''x'') というモデル関数に従うと仮定した時、想定される理論値は (''x''<sub>1</sub>, ''f''(''x''<sub>1</sub>)), (''x''<sub>2</sub>, ''f''(''x''<sub>2</sub>)), ..., (''x''<sub>''n''</sub>, ''f''(''x''<sub>''n''</sub>)) ということになり、実際の測定値との残差は、各 ''i'' につき |''y''<sub>''i''</sub> - ''f''(''x''<sub>''i''</sub>)| ということになる。<br />
この残差の大きさは、''xy''-平面上での (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) と (''x''<sub>''i''</sub>, ''f''(''x''<sub>''i''</sub>)) との距離でもある。<br />
<br />
ここで、理論値からの誤差の[[分散 (確率論)|分散]]の推定値は残差の平方和<br />
<br />
{{Indent|<math>J = \sum_{i=1}^n (y_i - f(x_i))^2</math>}}<br />
<br />
で与えられるから、''J'' が最小になるように想定分布 ''f'' を(すなわち ''a''<sub>''k''</sub>を)、定めればよいということになる。<br />
<br />
それには、上式は ''a''<sub>''k''</sub> を変数とする関数と見なすことができるので、''J'' を ''a''<sub>''k''</sub> について偏微分したものをゼロと置く。こうして得られた ''m'' 個の連立方程式(正規方程式)を解き、''a''<sub>''k''</sub> を決定すればよい。<br />
<br />
=== 一次方程式の場合 ===<br />
さらに簡単な例として、モデル関数を1次関数とし、<br />
{{Indent|<math>f(x)=ax+b\,</math>}}<br />
とおくと、''a'' と''b'' は次式で求められる。<br />
{{Indent|<br />
<math>a=\frac{\displaystyle n\sum_{k=1}^n x_ky_k-\sum_{k=1}^n x_k\sum_{k=1}^n y_k}{\displaystyle n\sum_{k=1}^n x^2_k-\left( \sum_{k=1}^n x_k \right)^2}</math><br />
<br />
<math>b=\frac{\displaystyle \sum_{k=1}^n x^2_k\sum_{k=1}^n y_k-\sum_{k=1}^n x_ky_k\sum_{k=1}^n x_k}{\displaystyle n\sum_{k=1}^n x^2_k-\left( \sum_{k=1}^n x_k \right)^2}</math><br />
}}<br />
<br />
== 解法例 ==<br />
当てはめたい関数 ''f'' は、<br />
{{Indent|<math>f(x)= (g_1(x), g_2(x), \ldots, g_m(x))(a_1, a_2, \ldots, a_m)^\textrm{T}</math>}}<br />
と表すことができる。上付き添字 T は[[転置行列]]を表す。最小にすべき関数 ''J'' は<br />
:<math><br />
\begin{align}<br />
J (\boldsymbol{a}) &= (G \boldsymbol{a}-\boldsymbol{y})^\textrm{T} \, (G \boldsymbol{a}-\boldsymbol{y}) \\<br />
&= (\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix} )^\textrm{T} \, (\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix} )<br />
\end{align}<br />
</math><br />
と表される。ここに''G'' は、<math>G_{ij} = g_j(x_i)</math> なる成分を持つ''n''×''m''行列、<math> \boldsymbol{y}=(y_1, y_2, \ldots, y_n)^\textrm{T}</math>、係数<math>\boldsymbol{a}=(a_1, a_2, \ldots, a_m)^\textrm{T}</math> である。<br />
<br />
これの最小解<math>\boldsymbol{a}</math>は、<math>\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} ^\textrm{T} \begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} = \tilde{R}^\textrm{T} \tilde{R}</math>を満たす上三角行列<math>\tilde{R}</math>の計算を経て<ref><math>\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} ^\textrm{T} \begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} = \tilde{R}_1^\textrm{T} \tilde{R}_2</math>を満たすLU分解で上[[三角行列]]を得ても良く、その<math>\tilde{R}_1</math>を使っても<math>\tilde{R}_2</math>を使っても、係数解<math>\boldsymbol{a}</math>を計算できる。</ref>、解<math>\boldsymbol{a}</math>を得ることができ、全体の計算量に無駄が少ない。下記の表式を用いると<math>\tilde{R} = \begin{bmatrix} R & Q^\textrm{T} \boldsymbol{y} \\ \boldsymbol{0}^\textrm{T} & \alpha \end{bmatrix} </math>が得られ、<math>R \boldsymbol{a}= Q^\textrm{T} \boldsymbol{y}</math>から係数解<math>\boldsymbol{a}</math>を求める<ref><math>\alpha^2 = \min J (\boldsymbol{a})</math>。<math>G^\textrm{T} G</math>は正則行列と仮定。</ref>。<!--この<math>\min J (\boldsymbol{a})</math>の解は、<math>\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} ^\textrm{T} \begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} = \tilde{R}^\textrm{T} \tilde{R}</math>を満たす正方行列<math>\tilde{R}</math>を得れば、<math>J (\boldsymbol{a}) = \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix}^\textrm{T} \tilde{R}^\textrm{T} \tilde{R} \begin{bmatrix} \boldsymbol{a}\\ -1\end{bmatrix} </math>を最小化して得られる。<math>\tilde{R}</math>を上[[三角行列]]とすれば計算量に無駄がなく<ref><math>\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} ^\textrm{T} \begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} = \tilde{R}_1^\textrm{T} \tilde{R}_2</math>を満たすLU分解で上[[三角行列]]を得ても良く、その<math>\tilde{R}_1</math>を使っても<math>\tilde{R}_2</math>を使っても、係数解<math>\boldsymbol{a}</math>を計算できる。</ref>、--><br />
<br />
また前節で述べたように ''J'' を<math>\boldsymbol{a}</math>のそれぞれの成分で偏微分してゼロと置いた ''m'' 個の式（正規方程式）は行列を用いて、<br />
<br />
{{Indent|<math>G^\textrm{T} G \boldsymbol{a}= G^\textrm{T} \boldsymbol{y}</math>}}<br />
<br />
と表される。これを'''正規方程式''' (normal equation) と呼ぶ。この正規方程式を解けば係数解<math>\boldsymbol{a}</math>が求まる。<br />
<br />
係数解<math>\boldsymbol{a}</math>の解法には以下のようないくつかの方法がある。<br />
<br />
* 逆行列で正規方程式を解く<br />
*: 行列 ''G''<sup>''T''</sup> ''G'' が[[正則行列]]（つまりフルランク）である場合は、解<math>\boldsymbol{a} = (G^\textrm{T} G)^{-1} G^\textrm{T} \boldsymbol{y}</math>は一意に求まる。ただし''G''<sup>''T''</sup> ''G'' の逆行列を明示的に求めることは通常は良い方法ではない。<br />
:: 計算量が小さい方法として[[コレスキー分解]]（<math>G^\textrm{T} G = R^\textrm{T} R</math>、<math>R</math>は''m''×''m''上[[三角行列]]）による三角行列分解を経て、最終的に<math>R \boldsymbol{a}= R^{-\textrm{T}} G^\textrm{T} \boldsymbol{y}</math>を解けばよい。<br />
:: [[数値的安定性]]確保のためには、積 ''G''<sup>''T''</sup> ''G'' を経ない三角行列分解が良い。すなわち以下と同じく[[QR分解]]（直交分解）による<math>G = Q R</math>から、<math>R \boldsymbol{a}= Q^\textrm{T} \boldsymbol{y}</math>を解く。<br />
<!--:: ''R''およびこの右辺は、まとめて三角行列分解を行い<math>\begin{bmatrix} G & \boldsymbol{y} \end{bmatrix} = Q \, \begin{bmatrix} R & Q^\textrm{T} \boldsymbol{y} \end{bmatrix} </math>と得ることもできる。--><br />
<br />
* 直交分解で正規方程式を解く<br />
*: コレスキー分解の方法よりも計算量が大きいが、数値的に安定かつ汎用な方法として、[[QR分解]]や[[特異値分解]] (SVD) を用いる方法がある。これらの方法では計算の過程で積 ''G''<sup>''T''</sup> ''G'' を必要としないため[[数値的安定性]]が高い。また ''G''<sup>''T''</sup> ''G'' が正則行列でない（ランク落ちしている）場合は正規方程式の解が不定となるが、その場合でも、これらの手法では解 ''a'' のうち[[ノルム]]が最も小さいものを求めることができる。特異値分解を用いる場合は、特異値のうち極めて小さい値を0とみなして計算することで数値計算上の大きな誤差の発生を防ぐことができる (truncated SVD)。<br />
* [[擬似逆行列]]を使う方法もあるが、計算効率が悪いため、特殊な場合（解析的な数式が必要な場合など）を除いてあまり用いられない。<br />
<br />
== 拡張 ==<br />
=== 多次元 ===<br />
想定される分布が[[媒介変数]] ''t'' を用いて (''x'', ''y'') = (''f''(''t''), ''g''(''t'')) の形(あるいは ''f'', ''g'' は複数の媒介変数によって決まるとしても同様)であっても考察される。<br />
<br />
すなわち、測定値 (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) がパラメータ ''t''<sub>''i''</sub> に対する (''f''(''t''<sub>''i''</sub>), ''g''(''t''<sub>''i''</sub>)) を理論値として近似されているものと考えるのである。<br />
<br />
この場合、各点の理論値 (''f''(''t''<sub>''i''</sub>), ''g''(''t''<sub>''i''</sub>)) と測定値 (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) の間に生じる残差は<br />
{{Indent|<math>\sqrt{(x_i - f(t_i))^2 + (y_i - g(t_i))^2}</math>}}<br />
である。故に、[[残差平方和]]は<br />
<br />
{{Indent|<math>\sum_{i=1}^{n}\left\{(x_i - f(t_i))^2 + (y_i -g(t_i))^2\right\}</math>}}<br />
<br />
となるから、この値が最小であるように、''f'', ''g'' を決定するのである。<br />
<br />
このように、''n'' 組の (''x'' , ''y'' ) の測定値 (''x<sub>i</sub>'' , ''y<sub>i</sub>'' ) (''i'' = 1, 2, ... , ''n'' ) を''n'' 組の (''x''<sub>1</sub> , ''x''<sub>2</sub> , ... , ''x<sub>m</sub>'' ) の測定値 (''x''<sub>1''i''</sub> , ''x''<sub>2''i''</sub> , ... , ''x<sub>mi</sub>'' ) (''i'' = 1, 2, ... , ''n'' ) に拡張したものも考察することができる。<br />
<br />
=== 測定の誤差が既知の場合 ===<br />
''n'' 回の測定における[[誤差]]があらかじめ分かっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その[[標準偏差]] <math> \sigma_i (i=1,2,\ldots,n )</math> で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、<br />
<br />
{{Indent|<math>J'= \sum_{i=1}^n \frac{(y_i - f(x_i))^2}{\sigma_i^2}</math>}}<br />
<br />
を、最小にするように ''f'' を定める方がより正確な近似を与える。<br />
<br />
毎回の測定が[[独立 (確率論)|独立]]ならば、測定値の[[尤度]]は exp''(-J')'' に比例する。そこで、上記の ''J' '' を最小にする ''f'' は、[[最尤法|最尤推定値]]であるとも解釈できる。また、''J' '' は[[自由度]] ''n-m'' の[[カイ二乗分布]]に従うので、それを用いてモデル ''f'' の妥当性を検定することもできる。<br />
<br />
毎回の測定誤差が同じ場合、''J' '' を最小にするのは ''J'' を最小にするのと同じ意味になる。<br />
<br />
=== 非線形最小二乗法 ===<br />
{{main|非線形最小二乗法}}<br />
もし、''f'' が、''a''<sub>''k''</sub> の線型結合で表されないときは、正規方程式を用いた解法は使えず、[[反復解法]]を用いて数値的に ''a''<sub>''k''</sub> の近似値を求める必要がある。例えば、[[ガウス・ニュートン法]]や{{仮リンク|レーベンバーグ・マーカート法|en|Levenberg–Marquardt algorithm}}が用いられる。とくにLevenberg-Marquardt法は多くの多次元非線形関数でパラメータを発散させずに効率よく収束させる（探索する）方法として知られている。<br />
<!--以下の説明はパラメータaについて非線形になっていないのでコメントアウトします。<br />
あてはめの曲線の関数値''y''<sub>''n''</sub>を求める。<br />
<br />
{{Indent|<math>\tilde{y}_n = a_0 + a_1 x_n + a_2 x_n^2 + \cdots a_N x_n^N, \qquad n = 1,~2,~\cdots N, \qquad N \geqq n + 1</math>}}<br />
<br />
これは、ベクトルを利用して以下のように表せる。<br />
<br />
{{Indent|<math>\tilde{y}_n = \boldsymbol{x}_n \cdot \boldsymbol{a}</math>}}<br />
<br />
ただし、<br />
<br />
{{Indent|<math>\boldsymbol{x}_n = (1,~x_n,~x_n^2,\cdots x_n^N)</math>}}<br />
{{Indent|<math>\boldsymbol{a} = (a_0,~a_1,~a_2,\cdots a_N)^\textrm{T}</math>}}<br />
<br />
二乗誤差の総和をεとすると、<br />
<br />
{{Indent|<br />
<math><br />
\epsilon = \sum_{n=1}^{N} (y_n - \tilde{y}_n)^2 = \sum_n (y_n - \boldsymbol{x}_n \cdot \boldsymbol{a}) = (\boldsymbol{y} - \hat{X} \cdot \boldsymbol{a})<br />
</math><br />
}}<br />
<br />
ただし、<br />
<br />
{{Indent|<math>\hat{X} = (\boldsymbol{x}_1,~\boldsymbol{x}_2,\cdots \boldsymbol{x}_N)^\textrm{T}</math>}}<br />
{{Indent|<math>\boldsymbol{y} = (y_1,~y_2,\cdots y_N)^\textrm{T}</math>}}<br />
<br />
ここで、εの最小値を計算するために、微分して0とおく。<br />
<br />
{{Indent|<math><br />
\frac{\partial \epsilon}{\partial \boldsymbol{a}} = -2 \hat{X} \cdot (\boldsymbol{y} - \hat{X} \cdot \boldsymbol{a}) = 0<br />
</math>}}<br />
{{Indent|<math><br />
\boldsymbol{a} = (\hat{X}^\textrm{T} \hat{X})^{-1} \hat{X} \boldsymbol{y}<br />
</math>}}<br />
<br />
これを計算することで、当てはめ曲線多項式の定数を定めることができる。<br />
--><br />
<br />
=== 異常値の除去 ===<br />
前提条件の節で述べたように、測定データを最小二乗法によって近似する場合、外れ値または異常値が含まれていると極端に近似の尤もらしさが低下することがある。また、様々な要因によって異常値を含む測定はしばしば得られるものである。<br />
<br />
誤差が正規分布から極端に外れた異常値を取り除くための方法として[[修正トンプソン－τ法]]が用いられる。<br />
<br />
== 脚注 ==<br />
{{reflist}}<br />
<br />
== 関連項目 ==<br />
{{Wikibooks|最小二乗法}}<br />
* {{仮リンク|総最小二乗法|en|Total least squares}} (Total least squares) <!--Perpendicular offsets?--><br />
* [[ガウス＝マルコフの定理]]<br />
* [[曲線あてはめ]]<br />
<br />
{{DEFAULTSORT:さいしようししようほう}}<br />
[[Category:曲線あてはめ]]<br />
[[Category:最適化]]<br />
[[Category:回帰分析]]<br />
[[Category:数学に関する記事]]</div>
60.124.36.164
確率分布
2018-02-07T16:29:52Z
<p>60.124.36.164: /* 排他過程 */ タイプミスを修正</p>
<hr />
<div>{{出典の明記|date=2011年11月}}<br />
'''確率分布'''（かくりつぶんぷ, {{lang-en-short|probability distribution}}）は、[[確率変数]]の各々の値に対して、その起こりやすさを記述するものである。[[日本工業規格]]では、「[[確率変数]]がある値となる[[確率]]，又はある[[集合]]に属する確率を与える[[関数]]」と[[定義]]している{{sfn|JIS Z 8101-1 : 1999|loc=1.3 確率分布}}。<br />
<br />
== 概要 ==<br />
例えば、「[[サイコロ]]を二つ振ったときの出た目の和」は[[確率変数]]であるが、その分布は次の表のように書くことができる。<br />
<br />
{| class="wikitable" style="text-align:center"<br />
|-<br />
!出た目の和<br />
|2||3||4||5||6||7||8||9||10||11||12<br />
|-<br />
!確率<br />
|1/36||2/36||3/36||4/36||5/36||6/36||5/36||4/36||3/36||2/36||1/36<br />
|}<br />
<br />
すなわち、確率分布は値に確率を対応させる[[関数 (数学)|関数]]ということができる。確率変数がこのように[[離散|離散的]]な値しかとらないときは上のような理解で十分である。しかし、例えば「次に[[電話]]がなるまでの時間」といった[[連続 (数学)|連続的]]な値をとる確率変数の分布はこのような形では表現できず、[[測度論|測度]]の概念が必要になる。<br />
<br />
「次に電話がなるまでの時間」の分布の一部を表にしたとき、次のようになったとする。<br />
<br />
{| class="wikitable" style="text-align:center"<br />
|-<br />
!次の電話<br />
|1時間以内||1 - 2時間後||2 - 3時間後||3 - 4時間後||4時間以上先<br />
|-<br />
!確率<br />
|1/2||1/4||1/8||1/16||1/16<br />
|}<br />
<br />
この表だけでは「次に電話がなるまでの時間」を正確に記述しているとはいえない。完全なものにするためには、次の電話が''a'' - ''b''時間後になる確率をすべて記述する必要がある。「次に電話がなるまでの時間」を ''X'' と書くことにすれば、この確率は<br />
{{Indent|<math>P(a < X \leq b) = \left(\frac{1}{2}\right)^a - \left(\frac{1}{2}\right)^b</math>}}<br />
と書ける。'''[[#分布関数|累積分布関数]]'''（るいせきぶんぷかんすう {{Lang|en|cumulative distribution function}}, {{Lang|en|CDF}}） ''F''<sub>''X''</sub> を<br />
{{Indent|<math>F_X(t) = P(X \leq t) = \begin{cases}1-\left(\frac{1}{2}\right)^t, & t \geq 0 \\ 0, & t < 0 \end{cases}</math>}}<br />
で定めれば、<br />
{{Indent|<math>P(a < X \leq b) = F_X(b) - F_X(a)</math>}}<br />
のように、[[一変数関数]]で分布を表現できるので便利である。さらに、''F''<sub>''X''</sub> の[[微分法|導関数]] ''f''<sub>''X''</sub> は'''[[確率密度関数]]'''（{{Lang|en|frequency function}}または {{Lang|en|probability density function}}({{Lang|en|PDF}})） と呼ばれ、確率は[[積分]]を用いて<br />
{{Indent|<math>P(a < X \leq b) = \int_a^b f_X(t) dt</math>}}<br />
と書ける。<br />
<br />
通常、連続値をとる確率変数の分布は確率密度関数を用いて記述される。なぜかというと、確率密度関数は[[初等関数]]で書けるが、累積分布関数は書けない場合が多いからである。<br />
<br />
[[公理主義]]的な[[確率論]]においては、''d''次元[[空間ベクトル|ベクトル]]値確率変数の'''確率分布'''とは、その確率変数の引き起こす[[像測度]]のことである。この測度は ''d''次元[[ユークリッド空間]]上の[[確率測度]]であり、ユークリッド空間の部分集合に対して、確率変数の値がその集合に入る確率を与える関数となる。<br />
<br />
単に'''確率分布'''というときは、''d''次元[[ユークリッド空間]]などのよく使われる[[完全加法族|可測空間]]上で定義された[[確率測度]]のことをいう。ただの確率測度と違って空間に散らばっている様子が[[統計図表|グラフ]]などの目に見える形で表現できるので「分布」と呼ばれる。<br />
<br />
[[確率論]]で、確率変数の分布を考えるのは、その変数だけを確率論的な議論の対象にしたい場合である。例えば、確率変数がある値を取る確率や、[[期待値]]、[[分散 (確率論)|分散]]といった量は変数の分布が分かれば計算できる量である。<br />
逆に分布を考えることによって隠れた変数''&omega;''と確率変数との対応関係は失われてしまい、他の確率変数との関連性も不明になる。例えば、確率変数''X''と''Y''の分布がそれぞれ''P''<sub>''X''</sub>と''P''<sub>''Y''</sub>のように与えられたとしても、ふたつの変数の関連性は分からないので、''X''+''Y'' がある値を取る確率や、積 ''X'' ''Y'' の期待値、''X''+''Y'' の分散といった量は計算できない。このような量を計算したいときは、''X''と''Y''の[[同時分布|結合分布]]が必要となる。<br />
<br />
よく使われる確率分布にはそれぞれ名前がついており性質がよく研究されている。このような分布をもつ確率変数に対して研究の結果を利用することができる。例えば、確率変数の分布が平均 0 分散 1 の正規分布だった場合、その変数が 2 以上の値を取る確率は数表から 2.28% である。<br />
<br />
== 定義 ==<br />
=== 確率分布 ===<br />
* 1次元確率分布とは[[可測空間]] ('''R''', ''B''('''R''')) 上で定義された[[確率測度]]のことである。<br />
* 同様に ''d'' 次元確率分布とは ('''R'''<sup>''d''</sup>, ''B''('''R'''<sup>''d''</sup>)) 上で定義された確率測度のことである。<br />
なお、''B''('''R'''<sup>''d''</sup>) は '''R'''<sup>''d''</sup> 上の[[ボレル集合|ボレル集合族]]（集合演算で閉じた部分集合族の一種）である。<br />
<br />
=== 確率変数の確率分布 ===<br />
実数値確率変数 ''X'' の分布 ''P''<sub>''X''</sub> は[[像測度]]であるから<br />
{{Indent|<math>P_X(A) = P(X \in A),\ \ \ A \in B(\mathbb{R})</math>}}<br />
で定義される確率測度のことである。<br />
<br />
同様に '''R'''<sup>''d''</sup> 値確率変数 ''X'' の分布 ''P''<sub>''X''</sub> は<br />
{{Indent|<math>P_X(A) = P(X \in A),\ \ \ A \in B(\mathbb{R}^d)</math>}}<br />
で定義される確率測度のことである。<br />
<br />
確率変数 ''X'' の分布がある確率分布 ''&mu;'' に一致するとき、''X'' は ''&mu;'' に従う確率変数であるという。例えば、「''X'' は平均 0 分散 1 の[[正規分布]]に従う」のように使い、これを記号で<br />
{{Indent|<math> X \sim N(0, 1)</math>}}<br />
のように書く。<br />
<br />
=== 分布関数 ===<br />
[[実数]]値確率変数 ''X'' の'''分布関数'''（ぶんぷかんすう, {{Lang|en|distribution function}}）あるいは、一次元確率分布 ''P''<sub>''X''</sub> の'''分布関数'''とは<br />
{{Indent|<math>F_X(x) = P(X \leq x) = P_X((-\infty, x])</math>}}<br />
で与えられる関数 ''F''<sub>''X''</sub> のことである。'''累積分布関数''' (るいせきぶんぷかんすう, {{Lang|en|cumulative distribution function}}) ともいう。<br />
<br />
定義から分布関数は右連続であるが、左連続かどうかはわからない。これが連続であるときに確率分布は'''連続'''であるという。分布関数が[[高々 (数学)|高々]]可算個の値しかとらない場合は確率分布は'''離散'''であるという。<br />
<br />
=== 確率密度関数 ===<br />
確率分布 ''P''<sub>''X''</sub> が[[絶対連続]]であるというのは、任意の([[ルベーグ測度]]に関しての)零集合 ''A'' にたいして、<br />
{{Indent|<math>P_X(A) = 0\!</math>}}<br />
が成り立つことを言う。これは測度の絶対連続性と同じである。<br />
確率分布 ''P''<sub>''X''</sub> が絶対連続のとき、測度論の[[ラドン-ニコディムの定理]]によりラドン-ニコディム微分 ''f''<sub>''X''</sub> が存在する。この ''f''<sub>''X''</sub> のことを'''確率密度関数'''（{{Lang|en|frequency function}}または {{Lang|en|probability density function}}({{Lang|en|PDF}})） と呼ぶ。<br />
''P''<sub>''X''</sub> は確率密度関数を用いて<br />
{{Indent|<math>P(X \in A) = P_X(A) = \int_A f_X(x) dx</math>}}<br />
と書くことができる。とくに ''A'' が区間の場合は<br />
{{Indent|<math>P(a < X < b) = P(a \leq X < b) = P(a < X \leq b) = P(a \leq X \leq b) = \int_a^b f_X(x) dx</math>}}<br />
となる。区間の端点はいれてもいれなくても確率は同じである。<br />
<br />
=== 確率質量関数 ===<br />
確率分布 ''P''<sub>''X''</sub> が離散のときに確率密度関数に対応する関数として'''[[確率質量関数]]'''（かくりつしつりょうかんすう, {{Lang|en|probability mass function}}）(単に'''確率関数'''（かくりつかんすう、{{Lang|en|probability function}}または{{Lang|en|probability mass function}}、{{Lang|en|random function}}、{{Lang|en|stochastic function}}）ともいう)を使うことができる。確率変数 ''X'' のとる値の集合が ''S'' = {''x''<sub>1</sub>, ''x''<sub>2</sub>, ...} だとすると確率質量関数は<br />
{{Indent|<math>f_X(x_i) = P(X = x_i) = P_X(\{x_i\})\!</math>}}<br />
で定まる関数 ''f''<sub>''X''</sub> のことである。<br />
<br />
=== 多次元分布関数 ===<br />
二つ以上の変数の確率分布関数を、多次元分布関数と呼ぶ。また、二つ以上の変数の組の確率分布のことを[[同時分布]]、同時確率分布 (joint probability distribution) という{{sfn|JIS Z 8101-1 : 1999|loc=1.4 2次元分布関数}}。<br />
<br />
==== 二次元分布関数 ====<br />
二変数の確率分布関数を、二次元分布関数と呼ぶ{{sfn|JIS Z 8101-1 : 1999|loc=1.4 2次元分布関数}}。<br />
<br />
==== 同時分布と周辺分布 ====<br />
複数の確率変数の挙動を多次元の確率分布で表したものを[[同時分布]]（どうじぶんぷ, {{Lang|en|simultaneous distribution}}）という。同時分布から各変数の分布だけを取り出したものを'''[[周辺分布]]'''（しゅうへんぶんぷ, {{Lang|en|marginal distribution}}）と呼ぶ。[[日本工業規格]]では、周辺（確率）分布（しゅうへん（かくりつ）ぶんぷ marginal probability distribution）を、「k次元[[確率変数]]の[[部分集合]]である k1変数の同時分布」と定義している{{sfn|JIS Z 8101-1 : 1999|loc=1.6 周辺分布}} 。<br />
<br />
== 代表的な確率分布 ==<br />
代表的な確率分布は[[離散型]]または[[絶対連続型]]のもののみを挙げる。他には離散でも連続でもないもの、連続であるが絶対連続ではないものなどが考えられるが通常現れる分布ではない。<br />
<br />
=== 離散型 ===<br />
{{Main|離散確率分布}}<br />
サイコロを投げた時に出る目の数字など、確率変数が離散的な値をとる場合の確率分布は離散型確率分布である。<br />
<br />
離散型の分布は[[母数]]と台 ''S'' と[[確率質量関数]] ''f'' で特徴付けられる。台というのは確率変数のとる値の集合のことである。<br />
* [[離散一様分布]]<br />
* [[二項分布]]<br />
** 母数：成功確率 ''p'' と試行回数 ''n''<br />
** 台：{0, 1, ..., ''n''}<br />
** 確率質量関数：''f''(''k'') = <sub>''n''</sub>C<sub>''k''</sub> ''p''<sup>''k''</sup>(1 - ''p'')<sup>1-''k''</sup><br />
** これは成功確率 ''p'' の試行を独立に ''n'' 回行ったときの成功回数の分布である。<br />
* [[負の二項分布]]<br />
* [[多項分布]]<br />
* [[ポアソン分布]]<br />
* [[ポアソン二項分布]]<br />
* [[ベルヌーイ分布]]<br />
* [[幾何分布]]<br />
* [[超幾何分布]]<br />
* [[ジップ分布]]<br />
* [[ゼータ分布]]<br />
<br />
=== 連続型 ===<br />
{{Main|連続確率分布}}<br />
ある地点での通行人の体重など、確率変数が連続的な場合の確率分布は連続型確率分布である。<br />
<br />
絶対連続な分布は母数と台と[[確率密度関数]] ''f'' で特徴付けられる<br />
* [[連続一様分布]]<br />
* [[正規分布]]<br />
** 母数：平均 &mu; と分散 &sigma;<sup>2</sup><br />
** 確率密度関数： <math>f(x)={1 \over \sqrt {2\pi \sigma^2}}\cdot\exp\!\left(-{(x-\mu)^2\over 2\sigma^2}\right)</math><br />
* [[対数正規分布]]<br />
* [[指数分布]]<br />
* [[t分布]]<br />
* [[カイ2乗分布]]<br />
* [[ガンマ分布]]<br />
* [[ベータ分布]]<br />
* [[F分布]]<br />
* [[コーシー分布]]<br />
* [[アーラン分布]]<br />
* [[三角分布]]<br />
* [[ラプラス分布]]<br />
* [[レイリー分布]]<br />
* [[ロジスティック分布]]<br />
* [[パレート分布]]<br />
* [[ワイブル分布]]<br />
* [[一般化双曲型分布]]<br />
* [[ウィッシャート分布]]<br />
* [[逆ガウス分布]]<br />
* [[双曲線正割分布]]<br />
<br />
== 確率分布の利用法 ==<br />
確率変数の確率分布が与えられると、その変数に関する[[確率]]・[[期待値]]・[[分散 (確率論)|分散]]などが以下のように計算できる。<br />
<br />
''X'' は連続値をとる確率変数で[[確率密度関数|密度関数]]は ''f''<sub>''X''</sub> であるとする。<br />
''Y'' は離散値をとる確率変数で台は S = {''y''<sub>1</sub>, ''y''<sub>2</sub>, ...} で[[確率質量関数|質量関数]]は ''f''<sub>''Y''</sub> であるとする。<br />
=== 確率の計算 ===<br />
* ''X'' が ''a'' 以上 ''b'' 以下の値を取る確率<br />
** <math>P(a \leq X \leq b) = \int_a^b f_X(x) dx</math><br />
* ''Y'' の値が集合 <math>T \subset S</math> に入る確率<br />
** <math>P(Y \in T) = \sum_{y_k \in T} f_Y(y_k)</math><br />
<br />
=== 期待値の計算 ===<br />
関数 ''g'' が与えられたときに ''g''(''X'') と ''g''(''Y'') の期待値は<br />
{{Indent|<math>E[g(X)] = \int_{-\infty}^{+\infty} g(x) f_X(x) dx</math><br /><br />
<math>E[g(Y)] = \sum_{y_k \in S} g(y_k) f_Y(y_k)</math>}}<br />
とくに<br />
{{Indent|<math>E[X] = \int_{-\infty}^{+\infty} x f_X(x) dx</math><br /><br />
<math>E[Y] = \sum_{y_k \in S} y_k f_Y(y_k)</math>}}<br />
<br />
=== 分散の計算 ===<br />
''X'' と ''Y'' の分散は<br />
{{Indent|<math>V[X] = \int_{-\infty}^{+\infty} (x - E[X])^2 f_X(x) dx = \int_{-\infty}^{+\infty} x^2 f_X(x) dx - E[X]^2</math><br /><br />
<math>V[Y] = \sum_{y_k \in S} (y_k - E[Y])^2 f_Y(y_k) = \sum_{y_k \in S} y_k^2 f_Y(y_k) - E[Y]^2</math>}}<br />
<br />
== 変数変換 ==<br />
[[確率変数]]の変数変換による新しい変数の密度関数は、元の変数の密度関数で書くことができる。この公式は[[重積分]]における変数変換とほぼ同様である。<br />
<br />
=== 確率密度関数の変数変換公式 ===<br />
'''R'''<sup>''d''</sup> から '''R'''<sup>''d''</sup> への関数 ''T'' により、'''R'''<sup>''d''</sup> 値確率変数 ''X'' と ''Y'' が<br />
{{Indent|<math>X = T(Y)</math>}}<br />
と書けているとすると、''Y'' の[[確率密度関数|密度関数]]は ''X'' の密度関数を用いて<br />
{{Indent|<math> f_Y(y_1, \ldots, y_d) = |(\det J_T)(y_1, \ldots, y_d)| f_X(T(y_1, \ldots, y_d))</math>}}<br />
となる。ただし ''J'' は[[ヤコビアン]] とする。<br />
<br />
例えば[[ボックス＝ミュラー法|ボックス-ミューラー変換]]は (0, 1]<sup>2</sup> 上の[[一様分布]]に従う確率変数 ''X'' = (''X''<sub>1</sub>, ''X''<sub>2</sub>) を<br />
{{Indent|<math>Y_1 = \sqrt{-2 \ln X_1} \sin(2\pi X_2)</math><br /><br />
<math>Y_2 = \sqrt{-2 \ln X_1} \cos(2\pi X_2)</math>}}<br />
によって変換する。''X'' の密度関数は<br />
{{Indent|<math>f_X(x_1, x_2) = \begin{cases}1, & (x_1, x_2) \in (0, 1]^2\\ 0, & (x_1, x_2) \notin (0, 1]^2\end{cases}</math>}}<br />
であり、上の公式を当てはめると ''Y'' の密度関数は<br />
{{Indent|<math>f_Y(y_1, y_2) = \frac{1}{2\pi}\exp\left(-\frac{y_1^2+y_2^2}{2}\right)</math>}}<br />
となり、''Y'' が二次元の標準[[正規分布]]に従うことが分かる。このように単純な分布を持つ変数を変換して、複雑な分布を作る操作は計算機による乱数の生成で重要となる。<br />
<br />
=== 確率変数の和の確率分布 ===<br />
2つの[[確率変数]] ''X'' と ''Y'' の和 ''X'' + ''Y'' の確率分布や差 ''X'' - ''Y'' の確率分布は[[変数変換]]公式により計算できる。特に ''X'' と ''Y'' が[[独立 (確率論)|独立]]で、[[確率密度関数]]がそれぞれ ''f<sub>X</sub>'' と ''f<sub>Y</sub>'' だったとすると、和と差の確率密度関数は<br />
{{Indent|<math>f_{X+Y}(t) = \int_{-\infty}^{+\infty} f_X(t-y)f_Y(y)\, dy</math><br /><br />
<math>f_{X-Y}(t) = \int_{-\infty}^{+\infty} f_X(t+y)f_Y(y)\, dy</math>}}<br />
となる。<br />
<br />
とくに和の確率密度関数は二つの分布の確率密度関数の[[畳み込み]]である。また、特性関数は確率密度関数のフーリエ変換であり、[[フーリエ変換#畳み込み定理|畳み込みのフーリエ変換]]は周波数領域における積であることから、和の特性関数は二つの分布の特性関数の積となる。<br />
<br />
なお、確率変数の和の確率分布が元の分布族に従う場合、その分布は[[再生性]]があるという。<br />
== 確率モデル ==<br />
=== 浸透 ===<br />
浸透(percolation) 確率に基づくモデル。具体的には森林火災の広がり、伝染病の伝搬、金属と絶縁体の混合物、強磁性元素と非磁性元素の混晶系、分子間の重合による巨大高分子のゲル化などがある{{sfn|今野|1995|loc=第1章パーコレーションのモデル}}。<br />
<br />
=== 分岐過程 ===<br />
分岐過程(branching process)は、生命の数変化モデルです{{sfn|今野|1995|loc=第2章分岐過程}}。<br />
<br />
=== 酔歩 ===<br />
酔歩(random walk)のモデル{{sfn|今野|1995|loc=第3章ランダムウォーク}}。<br />
<br />
=== 無限粒子系 ===<br />
無限粒子の遷移率の連続時間のモデル{{sfn|今野|1995|loc=第4章無限粒子系}}。<br />
<br />
=== 凝集 ===<br />
拡散律速凝集(DLA: diffusion limited aggregation)と呼ぶ、ヴィッテンとサンダーによる粒子のクラスターが凝集によって成長するモデル。<br />
<br />
=== 砂山崩し ===<br />
バックたちによる砂山の斜面の崩壊を表すモデル。<br />
<br />
=== 渋滞 ===<br />
交通流の渋滞モデル。<br />
<br />
=== 生命 ===<br />
生命の時間的空間的モデル。セルオートマトンとも呼ぶ。生命競技(life game)は2次元セルオートマトンの一種である。<br />
<br />
=== 排他過程 ===<br />
排他過程(exclusion process)は、連続時間で発展する確率モデル。上記生命モデルが離散時間の決定論的モデルであるのに対応している{{sfn|今野|1995|loc=第5章その他のモデル}}。<br />
<br />
== 脚注 ==<br />
{{reflist}}<br />
<br />
== 参考文献 ==<br />
* {{Cite book|和書|last=西岡|first=康夫|authorlink=西岡康夫|year=2013|title=数学チュートリアル やさしく語る 確率統計|publisher=[[オーム社]]|isbn=9784274214073|ref={{sfnref|西岡}}}}<br />
* {{Cite book|和書|last=伏見|first=康治|authorlink=伏見康治|year=1942|title=[[確率論及統計論]]|publisher=[[河出書房]]|isbn=9784874720127|url= http://ebsa.ism.ac.jp/ebooks/ebook/204| ref={{sfnref|伏見}}}}<br />
* {{citation |year=1999 | title=JIS Z 8101-1:1999 統計 − 用語と記号 − 第1部:確率及び一般統計用語 | publisher=[[日本規格協会]] | publisherlink=kikakurui.com | url=http://kikakurui.com/z8/Z8101-1-1999-01.html | ref={{sfnref|JIS Z 8101-1 : 1999}}}}<br />
* {{Cite book|和書|author=[[日本数学会]]|year=2007|title=数学辞典|publisher=[[岩波書店]]|isbn=9784000803090|ref={{sfnref|岩波}}}}<br />
* {{Cite book|和書|last=今野|first=紀雄|authorlink=今野紀雄|year=1995|title=確率モデルって何だろう―複雑系科学への挑戦|publisher=[[ダイヤモンド社]]|isbn=978-4478830086|ref=harv}}<br />
<br />
== 関連項目 ==<br />
* [[確率]]<br />
** [[確率論]]<br />
*** [[確率密度関数]]<br />
*** [[確率質量関数]]<br />
*** [[同時分布]]<br />
* [[統計学]]<br />
<br />
{{Normdaten}}<br />
{{Probability distributions}}<br />
<br />
{{DEFAULTSORT:かくりつふんふ}}<br />
[[Category:確率分布|*]]<br />
[[Category:確率論]]<br />
[[Category:統計学]]<br />
[[Category:関数]]<br />
[[Category:数学に関する記事]]<br />
<br />
[[it:Variabile casuale#Distribuzione di probabilità]]</div>
60.124.36.164
Warning : Cannot modify header information - headers already sent by (output started at /home/users/1/sub.jp-asate/web/wiki/extensions/HeadScript/HeadScript.php:3) in /home/users/1/sub.jp-asate/web/wiki/includes/WebResponse.php on line 46