「確率統計」の編集履歴（バックアップ）一覧はこちら
「確率統計」(2007/07/21 (土) 20:17:38) の最新版変更点
追加された行は緑色になります。
削除された行は赤色になります。
=マルコフ連鎖モンテカルロ(MCMC)法=
*特別なタイプの確率過程、「マルコフ連鎖Markov chain」をシミュレートすることにより分析的方法では容易に研究できない複雑な確率分布を研究する方法である。
*Markov chainでは、ある確率変数のシリーズを生成するが、ある時点での将来的な状況である確率分布はその時点での状況によって完全に決定されるようなchainである。
*充分chain生成を繰り返していくと、特定の確率分布に収束して繰り返し回数に依存しなくなる。
*この方法の基本的なアイデアは、静的分布を持ったMarkov chainを生成し、その分布からサンプリングして推定を行うというものである。ベイズ解析においては、そのような静的分布とは結合事後分布のことである。
*MCMCはそのほか最尤推定などの尤度推定においても用いられる。
==モンテカルロ積分==
*この方法のアイデアは、たくさんシミュレーションすれば確率変数の属性を研究できるというものである。
*この方法のメリットは、バイアスのない推定量を得られ、標準誤差は正確であること。
*デメリットは、少しでも複雑になると計算が膨大になることである。
==メトロポリス・ヘイスティングス アルゴリズム==
=モーメント=
分布についての情報。
物理学のモーメントと数学的な振る舞いが似ているため、モーメントの名が与えられたらしい。
*meanは、原点のまわりの一次モーメント
*分散は、平均のまわりの二次モーメント
一般化すると
*原点のまわりのk次モーメント: <math>\mu_k=E(Z^k)</math>
*原点のまわりのk次の絶対モーメント: <math>\nu_k=E(|Z|^k)</math>
*平均のまわりのk次モーメント: <math>\alpha_k=E[(Z-\mu)^k]</math>
*平均のまわりのk次の絶対モーメント: <math>\beta_k=E(|Z-\mu|^k)</math>
離散型の確率変数Xのモーメント生成関数（積率母関数）は
:<math>M_x(t)=E(e^{tX})=\sum_x e^{tx}px(x)</math>
連続型の確率変数Yのモーメント生成関数は
:<math>M_Y(t)=E(e^{tY})=\int^\infty_{-\infty} e^{ty}f_Y(y)dy</math>
確率変数Zのモーメント生成関数M<sub>Z</sub>(t)がt=0のまわりで存在する場合、M<sub>Z</sub>(t)のk階導関数にt=0を代入したものはk次モーメントとなる。つまり
:<math>\frac{d^k}{dt^k}M_Z(0)=E(Z^k)</math>
===証明===
e<sup>x</sup>の展開式
:<math>e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...</math>
にtXを代入し
:<math>e^{tX}=1+tX+\frac{tX^2}{2!}+\frac{tX^3}{3!}+...</math>
両辺の期待値をとると
:<math>M_x(t)=1+tE(X)+\frac{t^2E(X^2)}{2!}+\frac{t^3E(X^3)}{3!}+...</math>
:<math>=1+\mu_1t+\frac{\mu_2}{2!}t^2+\frac{\mu_3}{3!}t^3+...</math>
確率変数の分布を求めるためにモーメント生成関数を用いることもある。
=マルコフ連鎖モンテカルロ(MCMC)法=
*特別なタイプの確率過程、「マルコフ連鎖Markov chain」をシミュレートすることにより分析的方法では容易に研究できない複雑な確率分布を研究する方法である。
*Markov chainでは、ある確率変数のシリーズを生成するが、ある時点での将来的な状況である確率分布はその時点での状況によって完全に決定されるようなchainである。
*充分chain生成を繰り返していくと、特定の確率分布に収束して繰り返し回数に依存しなくなる。
*この方法の基本的なアイデアは、静的分布を持ったMarkov chainを生成し、その分布からサンプリングして推定を行うというものである。ベイズ解析においては、そのような静的分布とは結合事後分布のことである。
*MCMCはそのほか最尤推定などの尤度推定においても用いられる。
==モンテカルロ積分==
*この方法のアイデアは、たくさんシミュレーションすれば確率変数の属性を研究できるというものである。
*この方法のメリットは、バイアスのない推定量を得られ、標準誤差は正確であること。
*デメリットは、少しでも複雑になると計算が膨大になることである。
==メトロポリス・ヘイスティングス アルゴリズム==
*この方法は、静的なMarkov chainからサンプリングして確率分布の観察をシミュレートしようとする点で考え方は同じである。
*ただしこの場合は、静的な分布からの独立な観察を行う代わりに収束するまで値を連続的に追跡し、それからシミュレート値をサンプリングすることで独立なサンプリングに似せた状態をつくる。（わけわかんない）
=モーメント=
分布についての情報。
物理学のモーメントと数学的な振る舞いが似ているため、モーメントの名が与えられたらしい。
*meanは、原点のまわりの一次モーメント
*分散は、平均のまわりの二次モーメント
一般化すると
*原点のまわりのk次モーメント: <math>\mu_k=E(Z^k)</math>
*原点のまわりのk次の絶対モーメント: <math>\nu_k=E(|Z|^k)</math>
*平均のまわりのk次モーメント: <math>\alpha_k=E[(Z-\mu)^k]</math>
*平均のまわりのk次の絶対モーメント: <math>\beta_k=E(|Z-\mu|^k)</math>
離散型の確率変数Xのモーメント生成関数（積率母関数）は
:<math>M_x(t)=E(e^{tX})=\sum_x e^{tx}px(x)</math>
連続型の確率変数Yのモーメント生成関数は
:<math>M_Y(t)=E(e^{tY})=\int^\infty_{-\infty} e^{ty}f_Y(y)dy</math>
確率変数Zのモーメント生成関数M<sub>Z</sub>(t)がt=0のまわりで存在する場合、M<sub>Z</sub>(t)のk階導関数にt=0を代入したものはk次モーメントとなる。つまり
:<math>\frac{d^k}{dt^k}M_Z(0)=E(Z^k)</math>
===証明===
e<sup>x</sup>の展開式
:<math>e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...</math>
にtXを代入し
:<math>e^{tX}=1+tX+\frac{tX^2}{2!}+\frac{tX^3}{3!}+...</math>
両辺の期待値をとると
:<math>M_x(t)=1+tE(X)+\frac{t^2E(X^2)}{2!}+\frac{t^3E(X^3)}{3!}+...</math>
:<math>=1+\mu_1t+\frac{\mu_2}{2!}t^2+\frac{\mu_3}{3!}t^3+...</math>
確率変数の分布を求めるためにモーメント生成関数を用いることもある。
