Bernoulli process 伯努利过程

伯努利试验和伯努利过程

当一系列的随机事件发生时,包含这些随机变量的集合,称为随机过程。

根据随机变量的不同,随机过程也有很多种,如伯努利过程(离散,无记忆),泊松过程(连续,无记忆),马尔可夫链(有记忆,不独立)等。伯努利过程是随机过程中最简单的形式。

抛硬币是概率统计中一个著名的试验,每次抛出银币得到正面或者反面,抛第二次时和第一次的结果没有任何关联。每次抛硬币就是一个伯努利试验。

给出定义:

伯努利试验是只有两种可能结果的单次随机试验,对于一个随机变量X而言,有

  • P(X=1)=p
  • P(X=0)=1-p

这就是一个yes or no 的问题

重复的独立同分布的伯努利试验就是伯努利过程。伯努利过程有三个常见的模型。

二项分布

例子

二项分布(Binomial distribution)

例:随机抛出硬币n次,出现k次正面朝上的概率(S=k),每次正面概率为p。

这是一个典型的二项分布问题。抛出正面为成功,结果为1;抛出反面为失败,记为0.在n次中有k次正面朝上,k次朝上的试验也是随机分布在k次试验中,可以得到二项分布的概率:

二项式系数

二项分布之所以叫这个名字,因为二项分布的公式带二项系数。

来看看帕斯卡/杨辉三角(Pascal’s triangle):
Pascal triangle

每一个元素都是元素上方两元素相加得到。将第n行所有的元素加起来有 $2^n$,这也是n次试验的样本空间。第n行第k个元素对应n次试验,k次成功,n-k次失败的可能性。

几何上的理解

几何分布

例子

几何分布(Geometric distribution)
几何分布的典型问题是第一次成功问题。将k次成功问题的反过来,第一次成功需要进过几次试验?

例:连续抛硬币,第一次出现正面的概率(T=t)

假设在第t次出现正面,则t次之前都会是反面

特性

几何分布是无记忆的,并且分布具有相似性。每次新的试验与之前的结果无关。假如说已经抛了10次硬币并且都是反面,第11次抛硬币概率与第一次相同。如同将前十次的结果去掉,将剩下的部分归一化,得到的分布和第一次抛硬币的概率分布是完全相同的。

负二项分布/帕斯卡分布

例子

第一次成功问题是几何分布,k次成功问题便是负二项分布。

例:连续抛硬币,第k次出现正面的概率。

考虑到第k次成功,就要考虑到第k-1次成功,k次成功和k-1次成功是独立的。其实可以换个角度来思考,即所有到成功k次时即终止的独立试验中,失败次数n-k的分布。也可以认为是k个独立的二项分布。