20260724_3

20260717_3

---

確率に関する不等式

• マルコフ
  • 平均を$ϵ$で悪と$ϵ$以上の値を取る確率の上限がわかる

例

ある都市の平均年収を600万円として年収が1200万円の人の割合は多く見積もっても50%
$Pr(X\ge ϵ)\le \frac{E[X]}{ϵ}$

証明

$X\ge 0$ とする。期待値の定義より
$E[X]={\int }_0^{\infty }xf(x)dx$
積分域を $[0,ϵ)$ と $[ϵ,\infty )$ に分けると
$E[X]={\int }_0^{ϵ}xf(x)dx+{\int }_{ϵ}^{\infty }xf(x)dx\ge {\int }_{ϵ}^{\infty }xf(x)dx$
$x\ge ϵ$ の領域で $x\ge ϵ$ であるから
${\int }_{ϵ}^{\infty }xf(x)dx\ge ϵ{\int }_{ϵ}^{\infty }f(x)dx=ϵPr(X\ge ϵ)$
したがって $E[X]\ge ϵPr(X\ge ϵ)$、すなわち
$Pr(X\ge ϵ)\le \frac{E[X]}{ϵ}■$

絶対値でも同様

• チェビシェフ
  • 分散を${ϵ}^2$で割ると平均から$ϵ$以上離れた値を取る確率の上限が定まる

例

平均年収600万円、標準偏差100万円の場合75%の人は400800万円、93.75%が2001000万円
$Pr(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}$

証明

$Y=(X-\mu {)}^2$ とおくと $Y\ge 0$。マルコフの不等式を $Y$ に適用する。
$Pr(Y\ge {ϵ}^2)\le \frac{E[Y]}{{ϵ}^2}$
左辺について
$Pr((X-\mu {)}^2\ge {ϵ}^2)=Pr(|X-\mu |\ge ϵ)$
右辺について
$\frac{E[(X-\mu {)}^2]}{{ϵ}^2}=\frac{{\sigma }^2}{{ϵ}^2}$
よって
$Pr(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}■$

---

確率論の極限では$X_1,\dots X_n$について平均値や最大値、最小値がどうなるかを考える

この科目では平均について扱う

収束には

• 確率収束←外側に出てくる確率が0になる
• 概収束←特定の値に一致する
• 法則収束←特定の$F$の分布に一致する

3種類の収束の書き方

確率変数列 $Y_1,\dots ,Y_n$ に対して、$n\to \infty$ のとき

確率収束（$c-\epsilon ,c+\epsilon$ の外に $Y_n$ がある確率が $0$ になる）
${\lim }_{n\to \infty }Pr(|Y_n-c|\ge \epsilon )=0⟺Y_n\stackrel{P}{\to }c$

概収束（確率変数列の極限が定数 $c$ に一致する確率が $1$）
$Pr\left({\lim }_{n\to \infty }{Y}_n=c\right)=1⟺Y_n\stackrel{a.s.}{\to }c$

法則収束（$Y_n$ の分布が $F$ に近づく）
${\lim }_{n\to \infty }{F}_n\to F,X\sim F⟺Y_n\stackrel{D}{\to }X$

※概収束はこの後出てこない

スラツキーの定理

2つの確率変数列 $X_n,Y_n$ と確率変数 $X$、実数定数 $a$ に対して
$X_n\stackrel{D}{\to }X,Y_n\stackrel{P}{\to }a$
のとき
$X_n+Y_n\stackrel{D}{\to }X+a,X_n{Y}_n\stackrel{D}{\to }aX$

また、$X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b$ のとき
$X_n+Y_n\stackrel{P}{\to }a+b,X_n{Y}_n\stackrel{P}{\to }ab$
$\frac{1}{X_n}\stackrel{P}{\to }\frac{1}{a},\frac{1}{Y_n}\stackrel{P}{\to }\frac{1}{b}$

極限を求めるのにいきなり右辺が使える

連続写像定理

$g(x)$ を連続な実数値関数とする。$X_n\stackrel{P}{\to }a$ のとき
$g(X_n)\stackrel{P}{\to }g(a)$

確率収束する確率変数列に連続関数をかませても、収束先に関数を適用したものに収束する

---

大数の法則

確率変数列 $X_1,\dots ,X_n$ が互いに独立に同一の分布 $F$ に従う（i.i.d.）とする。
標本平均を
${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
と定義する。$E[X_i]=\mu <\infty$ が存在するとき、次の2つの収束が知られている。

大数の弱法則

$V[X_i]={\sigma }^2<\infty$ も存在するとき、任意の $\epsilon >0$ に対して
${\lim }_{n\to \infty }Pr(|{\bar{X}}_n-\mu |\ge \epsilon )=0$
すなわち
${\bar{X}}_n\stackrel{P}{\to }\mu$

証明：
$E[{\bar{X}}_n]=\mu$、$V[{\bar{X}}_n]=\frac{{\sigma }^2}{n}$。チェビシェフの不等式より
$Pr(|{\bar{X}}_n-\mu |\ge \epsilon )\le \frac{V[{\bar{X}}_n]}{{\epsilon }^2}=\frac{{\sigma }^2}{n{\epsilon }^2}$
$n\to \infty$ のとき右辺は $0$ に収束する。したがって
${\lim }_{n\to \infty }Pr(|{\bar{X}}_n-\mu |\ge \epsilon )=0■$

大数の強法則

$Pr\left({\lim }_{n\to \infty }{\bar{X}}_n=\mu \right)=1$
すなわち
${\bar{X}}_n\stackrel{a.s.}{\to }\mu$

中心極限定理

---

中心極限定理

確率変数列 $X_1,\dots ,X_n$ が互いに独立に同一の分布 $F$ に従う（i.i.d.）とする。
$E[X_i]=\mu$、$V[X_i]={\sigma }^2$（いずれも有限）とする。

標本平均 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ を標準化した確率変数
$Z_n=\frac{{\bar{X}}_n-\mu }{\sqrt{{\sigma }^2/n}}=\frac{1}{\sqrt{n}}{\sum }_{i=1}^n\frac{X_i-\mu }{\sigma }$
を考える。$E[Z_n]=0$、$V[Z_n]=1$ である。このとき
$Z_n\stackrel{D}{\to }N(0,1)$
すなわち、任意の $z\in \mathbb{R}$ に対して
${\lim }_{n\to \infty }Pr(Z_n\le z)={\int }_{-\infty }^z\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx$
が成り立つ。これを中心極限定理という。

何を言っているのか

• 大数の法則は「標本平均は母平均に確率収束する」→ 一点に縮まる
• 中心極限定理は「標本平均のバラつき方（=$1/\sqrt{n}$ のオーダーで広がる誤差）を拡大して見ると、正規分布に法則収束する」
• $X_i$ のもとの分布が何であっても（正規分布でなくても！）、$n$ が大きければ $Z_n$ の分布は標準正規分布に近づく

導出の概略

$Y_i=(X_i-\mu )/\sigma$ とおくと $E[Y_i]=0$、$V[Y_i]=1$。
$Y_i$ のモーメント母関数を $\varphi (t)=E[e^{t{Y}_i}]$ とおく。$\varphi (0)=1$、${\varphi }^{\prime }(0)=0$、${\varphi }^{\prime \prime }(0)=1$。

$Z_n=\frac{1}{\sqrt{n}}{\sum }_{i=1}^n{Y}_i$ のモーメント母関数は
${\varphi }_{Z_n}(t)=E[e^{t{Z}_n}]=E\left[\exp \left(\frac{t}{\sqrt{n}}{\sum }_{i=1}^n{Y}_i\right)\right]={\left(\varphi \left(\frac{t}{\sqrt{n}}\right)\right)}^n$

マクローリン展開 $\varphi (\frac{t}{\sqrt{n}})=1+\frac{t^2}{2n}+o\left(\frac{1}{n}\right)$ より
${\varphi }_{Z_n}(t)={\left(1+\frac{t^2}{2n}+o\left(\frac{1}{n}\right)\right)}^n\stackrel{n\to \infty }{\to }{e}^{t^2/2}$

これは標準正規分布 $N(0,1)$ のモーメント母関数に一致する。

CLTの具体例：分布ごとの適用

各 $X_i$ が i.i.d. に従うとき、${\bar{X}}_n$ の漸近分布は $N(\mu ,{\sigma }^2/n)$。$\mu$ と ${\sigma }^2$ は分布の種類に依存する。

分布	$E[X_i]$	$V[X_i]$	${\bar{X}}_n$ の近似分布
Bernoulli($p$)	$p$	$p(1-p)$	$N\left(p,\frac{p(1-p)}{n}\right)$
Binomial($m,p$)	$mp$	$mp(1-p)$	$N\left(mp,\frac{mp(1-p)}{n}\right)$
Poisson($\lambda$)	$\lambda$	$\lambda$	$N\left(\lambda ,\frac{\lambda }{n}\right)$
Exponential($\lambda$)	$1/\lambda$	$1/{\lambda }^2$	$N\left(\frac{1}{\lambda },\frac{1}{n{\lambda }^2}\right)$
Uniform($a,b$)	$(a+b)/2$	$(b-a{)}^2/12$	$N\left(\frac{a+b}{2},\frac{(b-a{)}^2}{12n}\right)$

$n$ が大きければ ${\bar{X}}_n\approx N(\mu ,{\sigma }^2/n)$ と扱える。