動差生成函數 (上)

1. 機率質量函數 (probability mass function) $p(x_i)=P(X=x_i)$，即 $X$ 等於 $x_i$ 的機率。在不造成混淆的情況下，我們經常稱機率質量函數為機率分布。
2. 累積分布函數 (cumulative distribution function) $F(x_i)=P(X\le x_i)$，即 $X$ 不大於 $x_i$ 的機率。顯然，$F(x_i)=\sum_{x_j\le x_i}p(x_j)$

\displaystyle\begin{aligned} \mu&=E(X)=\sum_{i=1}^\infty x_ip(x_i)\\ \sigma^2&=E(X-\mu)^2=\sum_{i=1}^\infty(x_i-\mu)^2p(x_i),\end{aligned}

$\displaystyle p_X=\left(\begin{array}{cccccc} 1&2&3&4&5&6\\ \frac{1}{6}&0&\frac{1}{3}&\frac{1}{6}&\frac{1}{3}&0 \end{array}\right),~~~p_Y=\left(\begin{array}{cccccc} 1&2&3&4&5&6\\ 0&\frac{1}{3}&\frac{1}{6}&\frac{1}{3}&0&\frac{1}{6} \end{array}\right)$

\displaystyle\begin{aligned} \sigma^2&=E(X-\mu)^2=E(X^2-2X\mu+\mu^2)\\ &=E(X^2)-2E(X)\mu+\mu^2=E(X^2)-(E(X))^2.\end{aligned}

$\displaystyle \mu_k=E\left(X^k\right)=\sum_{i=1}^\infty (x_i)^kp(x_i)$

$\displaystyle m(t)=E\left(e^{Xt}\right)=E\left(\sum_{k=0}^{\infty}\frac{X^kt^k}{k!}\right)=\sum_{k=0}^{\infty}\frac{\mu_kt^k}{k!}=\sum_{i=1}^\infty e^{x_it}p(x_i)$

$\displaystyle m^{(k)}(t)=\sum_{i=1}^\infty (x_i)^ke^{x_it}p(x_i)=E\left(X^ke^{Xt}\right)$

$\displaystyle m(t)=\sum_{k=0}^\infty\frac{\mu_kt^k}{k!}$

$\displaystyle \mu_k=\sum_{i=1}^n(x_i)^kp(x_i)$

$\vert x_q\vert=\max_{1\le i\le n}\vert x_i\vert$。上式取絕對值，

$\displaystyle \vert\mu_k\vert\le\sum_{i=1}^n\vert x_i\vert^kp(x_i)\le \vert x_q\vert^k\sum_{i=1}^np(x_i)=\vert x_q\vert^k$

$\displaystyle \sum_{k=0}^r\left|\frac{\mu_kt^k}{k!}\right|\le\sum_{k=0}^r\frac{\vert x_qt\vert^k}{k!}\le \sum_{k=0}^\infty\frac{\vert x_qt\vert^k}{k!}=e^{\vert x_qt\vert}$

$\displaystyle m(t)=\sum_{j=1}^ne^{x_jt}p(x_j)$

$y_j=p(x_j)$$j=1,\ldots,n$，並令 $t_i=i-1$$b_i=m(t_i)$$i=1,\ldots,n$。根據收斂性定理，每一 $b_i$ 必定存在。將 $t_i$ 代入上式，可得

$\displaystyle b_i=\sum_{j=1}^ne^{x_jt_i}y_j,~~~i=1,\ldots,n$

$\displaystyle \mathbf{A}=\begin{bmatrix} 1&1&\cdots&1\\ e^{x_1}&e^{x_2}&\cdots&e^{x_n}\\ e^{2x_1}&e^{2x_2}&\cdots&e^{2x_n}\\ \vdots&\vdots&\ddots&\vdots\\ e^{(n-1)x_1}&e^{(n-1)x_2}&\cdots&e^{(n-1)x_n} \end{bmatrix}$

$\displaystyle m(t)=\sum_{k=0}^ne^{kt}\binom{n}{k}p^{k}q^{n-k}=\sum_{k=0}^n\binom{n}{k}(pe^t)^kq^{n-k}=\left(pe^t+q\right)^n$

$m(t)$ 可得

\displaystyle\begin{aligned} \mu_1&=m'(0)=\left.n\left(pe^t+q\right)^{n-1}pe^t\right|_{t=0}=np\\ \mu_2&=m''(0)=\left.n(n-1)\left(pe^t+q\right)^{n-2}(pe^t)^2+n\left(pe^t+q\right)^{n-1}pe^t\right|_{t=0}=n(n-1)p^2+np ,\end{aligned}

$\displaystyle m(t)=\sum_{k=0}^\infty e^{kt}\frac{e^{-\lambda}\lambda^k}{k!}=e^{-\lambda}\sum_{k=0}^\infty \frac{(\lambda e^t)^k}{k!}=e^{-\lambda}e^{\lambda e^t}=e^{\lambda(e^t-1)}$

$m(t)$ 可得

\displaystyle\begin{aligned} \mu_1&=m'(0)=\left.e^{\lambda(e^t-1)}\lambda e^t\right|_{t=0}=\lambda\\ \mu_2&=m''(0)=\left.e^{\lambda(e^t-1)}(\lambda^2e^{2t}+\lambda e^t)\right|_{t=0}=\lambda^2+\lambda ,\end{aligned}

$t$ 視為常數，

\displaystyle\begin{aligned} m_Y(t)&=E\left(e^{Yt}\right)=E\left(e^{(aX+b)t}\right)\\ &=e^{bt}E\left(e^{X(at)}\right)=e^{bt}m_X(at).\end{aligned}

$X$$Y$ 是獨立的隨機變數，則 $E(XY)=E(X)E(Y)$。利用獨立隨機變數的性質，

\displaystyle\begin{aligned} m_Z(t)&=E\left(e^{(X+Y)t}\right)=E\left(e^{Xt}e^{Yt}\right)\\ &=E\left(e^{Xt}\right)E\left(e^{Yt}\right)=m_X(t)m_Y(t).\end{aligned}

$\displaystyle m_Z(t)=m_X(t)m_Y(t)=\left(pe^t+q\right)^{2n}$

$Z=X+Y$ 的機率分布為

$\displaystyle p_Z(t)=\binom{2n}{k}p^{k}q^{2n-k},~~~k=0,1,2,\ldots,2n$

$\displaystyle m_Z(t)=m_X(t)m_Y(t)=e^{\lambda_1(e^t-1)}e^{\lambda_2(e^t-1)}=e^{(\lambda_1+\lambda_2)(e^t-1)}$

$Z=X+Y$ 的機率分布為

$\displaystyle p_Z(t)=\frac{e^{-(\lambda_1+\lambda_2)}(\lambda_1+\lambda_2)^k}{k!},~~~k=0,1,2,\ldots$

1. 提供一個計算動差的快速方法；
2. 提供一個推導多個獨立隨機變數之和的機率分布的簡易方法。

[1] 維基百科：Generating Function　原文是 “A generating function is a clothesline on which we hang up a sequence of numbers for display.”
[2] 維基百科：Moment Generating Function

4 Responses to 動差生成函數 (上)

1. Anderson 說道：

写得好！之前学线性代数就来过这里。如有可能希望周老师增加些统计学的内容

• ccjou 說道：

線性代數寫的差不多了，現在是該考慮改弦易轍。

2. ChiChih Wang 說道：

寫得真好欸
很詳細，也提供應用和證明，真是好

3. Dewy Yeng 說道：

老師你好:
請問動差生成函數的收斂性在隨機變數X的值域是無窮集時也成立嗎?
因為文中的收斂性證明僅證明在有限集，而文末將動差生成函數應用在無窮集(卜瓦松分布)上
感謝