Lecture-2-Poisson过程

• Def 2 (计数过程): 如果一个随机过程 $\{N(t),t\ge 0\}$ 表示时间段 $[s,t]$ 内发生某种事件的函数，则称 $N(t)$ 为一个计数过程。
  满足：
  (1) $N(t)\ge 0$
  (2) $N(t)$ 是整数
  (3) 若 $s<t$，则 $N(s)\le N(t)$
  (4) 对于 $s<t$，$N(t)-N(s)$ 表示 $s到t$ 内事件发生的次数。

• Def 3 (独立增量过程): 对于连续时间的随机过程 $\{X(t),t\in T\}$，若对任意 $t_1<t_2<\cdots <t_n$，增量 $X(t_1)-X(t_0),X(t_2)-X(t_1),\dots ,X(t_n)-X(t_{n-1})$ 独立，则称该过程为独立增量过程。
  若 $X(t+s)-X(t)$ 的分布仅依赖于 $s$，则称该过程为平稳增量过程。

• Def 4 (Poisson 过程 I): 计数过程 $\{N(t),t\ge 0\}$ 满足：
  (1) $N(0)=0$
  (2) 具有独立增量
  (3) 在长度为 $t$ 的任意区间中的事件数服从以 $\lambda t$ 为均值的 Poisson 分布，即对 $s,t\ge 0$ 有

$$\begin{array}{r}P\{N(t+s)-N(s)=n\}=e^{-\lambda t}\frac{(\lambda t{)}^n}{n!},n=0,1,\cdots \end{array}$$

则称该过程为具有速率 $\lambda$ ($\lambda >0$) 的 Poisson 过程。

• 注: Poisson 分布具有平稳增量。

• 注意: 由平稳增量可得

$$\begin{array}{rl}P\{N(t)& =n\}=P\{N(t)-N(0)=n\}\\ & =P\{N(t+s)-N(s)=n\}\\ & =\frac{e^{\lambda t}(\lambda t{)}^n}{n!}\end{array}$$

则可知$E[N(t)]=\lambda t$ 因此，我们称为 Poisson 过程的速率为$\lambda =\frac{E[N(t)]}{t}$（强度）。

• Def 2.4 (Poisson 过程 II): 若计数过程 $\{N(t),t\ge 0\}$ 满足：
  (1) $N(0)=0$
  (2) 具有平稳增量和独立增量
  (3) $P\{N(t)=1\}=\lambda h+o(h)$
  (4) $P\{N(t)\ge 2\}=o(h)$
  则称其为具有速率 $\lambda$ 的 Poisson 过程。

---

• 定义补充: 若

$$\begin{array}{r}\underset{h\to 0}{\lim }\frac{f(h)}{h}=0\end{array}$$

则称 $f$ 为 $o(h)$。

• Thm 2-5: Poisson 过程的两个定义是等价的。

• 证明:
  先证定义II $\Rightarrow$ 定义 I。设 $\{N(t),t\ge 0\}$ 满足定义 I，定义

$$\begin{array}{r}{P}_n(t)=P\{N(t)=n\}\end{array}$$

注意到：

$$\begin{array}{rl}P\{N(h)=0\}& =1-P\{N(h)\ge 1\}\\ & =1-P\{N(h)=1\}-P\{N(h)\ge 2\}\\ & =1-\lambda h+o(h)\end{array}$$

那么

$$\begin{array}{rl}{P}_0(t+h)& =P\{N(t+h)=0\}\\ & =P\{N(t)=0,N(t+h)-N(t)=0\}\\ & =P\{N(t)=0\}P\{N(t+h)-N(t)=0\}(\text{独立增量})\\ & =P_0(t)[1-\lambda h+o(h)](\text{平稳增量})\end{array}$$

因此，

$$\begin{array}{r}\frac{P_0(t+h)-P_0(t)}{h}=-\lambda P_0(t)+\frac{o(h)}{h}\end{array}$$

令 $h\to 0$，得到微分方程

$$\begin{array}{r}\frac{d{P}_0(t)}{dt}=-\lambda P_0(t)\end{array}$$

解得

$$\begin{array}{r}\log P_0(t)=-\lambda t+C\end{array}$$

考虑初始条件 $P_0(0)=P\{N(0)=0\}=1$，得 $C=0$，因此

$$\begin{array}{r}{P}_0(t)=e^{-\lambda t}\end{array}$$

类似地，对于 $n\ge 1$，有

$$\begin{array}{rl}{P}_n(t+h)& =P\{N(t+h)=n\}\\ & =P\{N(t)=n,N(t+h)-N(t)=0\}\\ & +P\{N(t)=n-1,N(t+h)-N(t)=1\}\\ & +P\{N(t+h)=n,N(t+h)-N(t)\ge 2\}\end{array}$$

由定义 II 的条件，

$$\begin{array}{rl}{P}_n(t+h)& =P_n(t)P_0(h)+P_{n-1}(t)P_1(h)+o(h)\\ & =[1-\lambda h+o(h)]P_n(t)+\lambda h{P}_{n-1}(t)+o(h)\\ & =[1-\lambda h]P_n(t)+\lambda h{P}_{n-1}(t)+o(h)\end{array}$$

于是，

$$\begin{array}{r}\frac{P_n(t+h)-P_n(t)}{h}=-\lambda P_n(t)+\lambda P_{n-1}(t)+\frac{o(h)}{h}\end{array}$$

令 $h\to 0$，得到微分方程

$$\begin{array}{r}\frac{d{P}_n(t)}{dt}=-\lambda P_n(t)+\lambda P_{n-1}(t)\end{array}$$

等价地，

$$\begin{array}{r}{e}^{\lambda t}\frac{d{P}_n(t)}{dt}+\lambda e^{\lambda t}{P}_n(t)=\lambda e^{\lambda t}{P}_{n-1}(t)\end{array}$$

解得

$$\begin{array}{r}\frac{d}{dt}\left(e^{\lambda t}{P}_n(t)\right)=\lambda e^{\lambda t}{P}_{n-1}(t)\end{array}$$

已知 $P_0(t)=e^{-\lambda t}$，于是

$$\begin{array}{r}\frac{d}{dt}\left(e^{\lambda t}{P}_1(t)\right)=\lambda (\text{验证初值})\end{array}$$

可以用数学归纳法证明：

$$\begin{array}{r}{P}_n(t)=e^{-\lambda t}\frac{(\lambda t{)}^n}{n!}\end{array}$$

再证定义 I $\Rightarrow$ 定义 II 。由于对于任意 $s,t\ge 0$，

$$\begin{array}{r}P\{N(t+s)-N(s)=n\}=e^{-\lambda t}\frac{(\lambda t{)}^n}{n!},n=0,1,\cdots \end{array}$$

应用 Taylor 公式:
对于 $P\{N(h)=1\}$，有

$$\begin{array}{rl}P\{N(h)=1\}& =\lambda h{e}^{-\lambda h}\\ & =\lambda h(1-\lambda h+o(h))\\ & =\lambda h+o(h)\end{array}$$

对于 $P\{N(h)\ge 2\}$，有

$$\begin{array}{rl}P\{N(h)\ge 2\}& =1-P\{N(h)=0\}-P\{N(h)=1\}\\ & =1-e^{-\lambda h}-\lambda h{e}^{-\lambda h}\\ & =1-[1-\lambda h+o(h)]-[\lambda h+o(h)]\\ & =o(h)\end{array}$$

• 注: 可以通过二项分布的 Poisson 近似来证明 $N(t)$ 服从 Poisson 分布。
  证明：设 $p=\frac{\lambda t}{n}$，对于任意的 $t>0$，将区间 $[0,t]$ 分为 $n$ 等分，分点为

$$\begin{array}{r}{t}_j=\frac{jt}{n},j=0,1,\dots ,n\end{array}$$

定义事件 ${\gamma }_j\triangleq N(t_j)-N(t_{j-1})$，表示第 $j$ 个区间 $[t_{j-1},t_j)$ 内的事件数。则 ${\gamma }_1,\dots ,{\gamma }_n$ 为独立同分布，且

$$\begin{array}{rl}P\{{\gamma }_j\ge 2\}& =o(t_j-t_{j-1})=o\left(\frac{t}{n}\right)\\ p_n=P\{{\gamma }_j=1\}& =\lambda \frac{t}{n}+o\left(\frac{t}{n}\right)\\ q_n=P\{{\gamma }_j=0\}& =1-P\{{\gamma }_j\ge 1\}=1-\lambda \frac{t}{n}+o\left(\frac{t}{n}\right)\end{array}$$

对非负整数 $k$，定义事件

$$\begin{array}{rl}& A_n\triangleq \{\text{有 }k\text{ 个 }{\gamma }_j=1,\text{ 其余的 }{\gamma }_j=0,1\le j\le n\}\\ & B_n\triangleq \{\sum _{j=1}^n{\gamma }_j=k,\text{存在至少一个 }{\gamma }_j\ge 2,1\le j\le n\}\end{array}$$

则有 $B_n\subseteq {\cup }_{j=1}^n\{{\gamma }_j\ge 2\}$，且 $A_n\cap B_n=\varnothing$。

当 $n\to \infty$ 时，

$$\begin{array}{rl}P(B_n)& \le P\left(\bigcup _{j=1}^n\{{\gamma }_j\ge 2\}\right)\\ & \le n\cdot P({\gamma }_j\ge 2)\\ & =n\cdot o\left(\frac{t}{n}\right)\to 0\end{array}$$

• 推导 $P(A_n)$:
  设

$$\begin{array}{rl}n{p}_n& =n(\lambda \frac{t}{n}+o\left(\frac{t}{n}\right))\to \lambda t\\ q_n^n& =(1-\lambda \frac{t}{n}+o\left(\frac{t}{n}\right){)}^n\\ & =(1-\frac{\lambda t}{n}{)}^n(1+\frac{o(\frac{t}{n})}{1-\frac{\lambda t}{n}}{)}^n\\ & \to e^{-\lambda t}\end{array}$$

---

• 补充计算

$$\underset{n\to \infty }{\lim }(1-\frac{\lambda t}{n}{)}^{\frac{n}{\lambda t}}\lambda t=(e^{-1}{)}^{\lambda t}=e^{-\lambda t}$$ $$nln(1+\frac{o(\frac{t}{n})}{1-\frac{\lambda t}{n}})\le n\frac{o(\frac{t}{n})}{1-\frac{\lambda t}{n}}\to 0(n\to \infty )$$

---

则

$$\begin{array}{rl}& \\ P(N(s,s+t]=k)& =p(N(0,t]=k)\\ & =P(\sum _{j=1}^n{\gamma }_j=k)\\ & =P(A_n\cup B_n)\\ & =\underset{n\to \infty }{\lim }P(A_n)\\ & =\left(\genfrac{}{}{0ex}{}{n}{k}\right)p_n^k{q}_n^{n-k}\\ & =\frac{1}{k!}[n(n-1)\dots (n-k-1)p_n^k]q_n^{n-k}\\ & \to e^{-\lambda t}\frac{(\lambda t{)}^k}{k!}\end{array}$$

• 注2: 关于 Poisson 过程的更多性质，可参考《随机过程及其应用》[P76]。

• 2.2 到达间隔与等待时间的分布

• 定义 2.6 (到达间隔时间): 考虑一个 Poisson 过程，设 $X_1$ 表示第一个事件的到达时间，对 $n>1$，设 $X_n$ 表示第 $(n-1)$ 个事件与第 $n$ 个事件之间的时间间隔。序列 $\{X_n,n\ge 1\}$ 称为到达间隔时间序列（Sequence of Interarrival Times）。

• 命题 2.7: $X_1,X_2,\dots ,X_n$ 是独立同分布的随机变量，服从均值为 $\frac{1}{\lambda }$ 的指数分布，其概率密度函数为

$$\begin{array}{r}f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}\end{array}$$

等价地，其分布函数为

$$\begin{array}{r}F(x)=\{\begin{array}{ll}1-e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}\end{array}$$

则称 $X_n$ 服从指数分布。

• 指数分布的性质:
  (1) 期望值：

$$\begin{array}{r}E[X]=\frac{1}{\lambda }\end{array}$$

(2) 方差：

$$\begin{array}{r}\text{Var}(X)=\frac{1}{{\lambda }^2}\end{array}$$

(3) 矩生成函数：

$$\begin{array}{r}E[e^{tX}]={\int }_0^{\infty }{e}^{tx}\lambda e^{-\lambda x}dx=\frac{\lambda }{\lambda -t},(t<\lambda 由于需要矩母存在)\end{array}$$

• 指数分布的无记忆性:
  指数分布具有无记忆性，即

$$\begin{array}{r}P(X>s+t\mid X>s)=P(X>t)\end{array}$$

证明命题2.7: 注意到事件 $\{X>t\}$ 发生等价于 Poisson 过程在 $[0,t]$ 内没有事件发生，因此

$$\begin{array}{r}P\{X>t\}=P\{N(t)=0\}=e^{-\lambda t}\end{array}$$

因此，$X$ 服从均值为 $\frac{1}{\lambda }$ 的指数分布。

• 进一步分析 $X_2$ 的分布:
  对于 $X_2$，有

$$\begin{array}{rl}P(X_2>t\mid X_1=s)& =P(\text{在 }[s,s+t]\text{ 内没有事件发生}\mid X_1=s)\\ & =P(N(t)=0)\\ & =e^{-\lambda t}\end{array}$$

其中第一个等号由$N(s)-N(0)=1$和$N(s+t)-N(s)=0$独立增量，第二个等号由平稳增量可得

因此，$X_n$ 与 $X_1$ 独立，且 $X_n$ 也服从均值为 $\frac{1}{\lambda }$ 的指数分布，重复论证即可证明$X_1,\dots ,X_n$为均值为$\frac{1}{\lambda }$的指数随机变量。

• 定义 2.8 (等待时间): 定义

$$\begin{array}{r}{S}_n\triangleq \sum _{i=1}^n{X}_i,n\ge 1\end{array}$$

为第 $n$ 个事件的等待时间（Waiting Time）。