概率论

本文最后更新于 2024年8月20日下午

【MachoMeng：由于服务器在国外，加载可能会有些缓慢，请耐心等待】

前言：

力学如力耕，勤惰尔自知。但使书种多，会有岁稔时。

于万千的人群中，于无际涯的时光里，没有早一步，也没有晚一步，我们在此处相遇。有几许命运，也有几分注定。在下面六十四个学时里，望我们彼此尊重，互相帮助，共同努力，共同进步！

——李庆芳老师寄语

绪论：

内容太多，挑了一个有意思的：

《红楼梦》第六十二回憨湘云醉眠芍药裀呆香菱情解石榴裙【探春笑道：“倒有些意思，一年十二个月，月月有几个生日。人多了，便这等巧，也有三个一日、两个一日的。】

问题：生日，只论某月某日，不论某年，假定一年有365天，问366个人中至少有两个人在同一天过生日的可能性有多大？那64个人中至少有两个人在同一天过生日的可能性又有多大？（大还是小？）

结果：大

目录（默认关闭，点击展开）：

展开目录找的更快

点击展开目录

第一章：基本概念
第二章：一维随机变量及其分布
第三章：多维随机变量及其分布
第四章：随机变量的数字特征
第五章：大数定律和中心极限定理
结语：

第一章：基本概念

一、随机试验：

1、随机现象

确定性现象：在一定条件下必然发生的现象称为确定性现象.
随机现象：在一定条件下可能出现也可能不出现的现象称为随机现象.

2、随机试验

可以在相同的条件下重复地进行;
每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果
进行一次试验之前不能确定哪一个结果会出现。

二、样本空间、随机事件

1、样本空间

随机试验 $E$ 的所有可能结果组成的集合称为 $E $ 的样本空间。记为$S$

2、样本点

样本空间的元素，即试验$E$ 的每一个结果,称为样本点.

3、随机事件

随机试验 $E$ 的样本空间 $S$ 的子集称为 $E$ 的随机事件, 简称事件。
每次实验中,当且仅当这一子集中的一个样本点出现时称这一事件发生.由一个样本点组成的单点集, 称为基本事件.
样本空间$S$包含所有的样本点. 它是$S$自身的子集,在每次实验中它总是发生的，$S$ 称为必然事件。
空集$\varnothing$不包含任何点。它也作为样本空间的子集，它在每次实验中都不发生,$\varnothing$称为不可能事件。

必然事件的对立面是不可能事件,不可能事件的对立面是必然事件, 它们互称为对立事件.

4、对立事件和互斥事件

互斥事件：事件$A$和$B$的交集为空，$A$与$B$就是互斥事件，也叫互不相容事件。也可叙述为：不可能同时发生的事件。

对立事件：其中必有一个发生的两个互斥事件叫做对立事件。非此即彼！

对立一定是互斥的，但互斥不一定是对立。即对立是互斥的特殊形式。

5、随机事件间的关系及运算

设试验$E$的样本空间为$S$，而$A,B,A_k(k=1,2……)$是$S$的子集.

符号	解释	含义
$A\subset B$	事件B包含事件A(或者事件A含于事件B)	A发生必然导致B发生
$A\subset B$ 且 $B\subset A$	事件A和事件B相等	A=B
$A\cup B$	当且仅当AB至少一个发生	和事件
$A\cap B$	当且仅当AB同时发生	积事件
$A-B$	当且仅当A发生B不发生	差事件
$A\cap B=\varnothing$	事件AB不能同时发生	AB互斥
$A\cup B=S$且$A\cap B=\varnothing$	$\overline A= B=S-A$	AB对立，互为逆事件

6、德摩根律

$\overline{A \cup B}={\overline A}\cap {\overline B}$

$\overline { A\cap B}={\overline A}\cup {\overline B}$

口诀：长线变短线，开口变方向。

三、频率与概率

1、频率的定义

在相同条件下,进行了$n$次试验,在这$n$次试验中,事件$A$发生的次数$n_A$称为事件A发生的频数，比值$\frac{n_A}{n}$称为事件$A$发生的频率,记为$f_n(A)$

2、频率的性质

设$A$是随机试验$E$的任一事件,则

$0\leq f_n(A)\leq 1$
$f_n(S)=1$
若$A_1,A_2,...$是两两互不相容，则\[f_n(A_1\cup A_2\cup ...A_k)=f_n(A_1)+f_n(A_2)+.....f_n(A_k)\]

频率大小表示事件A发生的频繁程度.频率大事件A发生就越频繁,这就意味着事件A在一次试验中发生的可能性就越大。

3、概率的定义

定义：设$E$是随机试验，$S$是它的样本空间。对于$E$的每一事件$A$赋予一个实数，记为$P(A)$，称为事件$A$的概率。如果集合函数 P(·)满足条件:

非负性:对于每一个事件$A$,有$P(A)\geq0$;
规范性:对于必然事件$S$,有$P(S)=1$;
可列可加性:设$A_1,A_2,…$是两两互不相容的事件,即对于$A_iA_j=\varnothing,i≠j,i,j=1,2,…,$有$P(A_1\cup A_2\cup...)= P(A_1)+P(A_2)+...$

4、概率的性质(重要)

$P(\varnothing)=0$
有限可加性：若$A_1,A_2,...A_n$是两两互不相容事件，则有\[P(A_1\cup A_2\cup ...A_k)=P(A_1)+P(A_2)+.....P(A_k)\]（互斥事件和事件的概率=概率和）
设$A,B$是两个事件，若$A\subset B$，则有$P(B-A)=P(B)-P(A)$;
性质3的推广：一般性减法公式：$P(B-A)=P(B)-P(AB)$
$P(S)=1$
$P(\overline A)=1-P(A)$
一般性加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$
一般性加法公式推广：加奇减偶$P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$
特殊性加法公式：当$A$和$B$和$C$互斥时：$P(A\cup B\cup C)=P(A)+P(B)+P(C)$

四、等可能概型

注：此处排列组合只做简单介绍，详细相关内容请移步：

1	`https://www.cnblogs.com/1024th/p/10623541.html`

1、排列

排列：$A_{n}^{k}=\frac{n!}{(n-k)!}=n(n-1)(n-2)(n-3)...(n-k+1)$
全排列：$A_n^{n}=n!$

2、组合

组合：$C_{n}^{k}=\frac{A_{n}^{K}}{k!}=\frac{n!}{k!(n-k)!}=\dbinom{n}{k}=\frac{A_{n}^{k}}{A_{k}^{k}}=\frac{n(n-1)(n-2)...(n-k+1)}{k!}$
$C_n^{0}=C_n^{n}=1$

3、加法原理

绿色$n$种方法，浅紫色$m$种方法，完成共$n+m$种方法。

4、乘法原理

第一步$n$种，第二种$m$种，共$nm$种方法。

5、古典概型

定义

试验的样本空间只包含有限个元素；
试验中每个基本事件发生的可能性相同；

2.古典概型计算公式

$P(A)=\frac{k}{n}=\frac{A包含的基本事件}{S中基本事件的总数}$

抛硬币
摸球
分球入盒（生日问题）
抽签模型（第一个人和第n个人概率一样）
随机取数（最小公倍数）
平均分配问题
几何概型

五、条件概率

1、定义

设$A,B$是两个事件，且$P(A)>0$,称$P(B|A)=\frac{P(AB)}{P(A)}$为在事件$A$发生的条件下事件$B$发生的概率.

2、性质

大部分和前面的类似，就是多加了一个条件

非负性
规范性
可列可加性
一般性：$P(B-C|A)=P(B|A)-P(BC|A)$
$P(\overline A|B)=1-P(A|B)$或者$P(\overline A|\overline B)=1-P(A|\overline B)$（注意条件一样即可）
乘法定理：$P(AB)=P(A)P(B|A)=P(B)P(A|B)$
乘法定理推广：$P(ABC)=P(A)P(B|A)P(C|AB)$

3、全概率公式

$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n)$

思想：化整为零，由因求果

4、贝叶斯公式

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n}P(B_j)P(A|B_j)}，i=1,2,3..n$

六、独立性

1、定义

设$A,B$两事件，若满足$P(AB)=P(A)P(B)$则$A,B$相互独立。

注意：相互独立和互斥不能同时独立

2、定理

设$A，B$是两个事件且$P(A)>0$若$A，B$相互独立，则$P(B|A)=P(B)$,反之亦然
若事件$A$和事件$B$相互独立，则$A$与$\overline B$，$\overline A$与$B$，$\overline A$与$\overline B$也相互独立。

3、三个事件独立

设A,B,C为三个事件，若满足以下：

$P(AB)=P(A)P(B)$

$P(AC)=P(A)P(C)$

$P(BC)=P(B)P(C)$

$P(ABC)=P(A)P(B)P(C)$

则ABC相互独立

注意：三个事件相互独立$ $三个事件两两相互独立

4、$n$个事件相互独立(推广 )

设 $A_1,A_2,…,A_n$ 是$n$个事件,如果对于任意$k(1<k≤n)$,任意$1≤i_1<i_2,<…<i_k≤n$,具有等式$P(A_{i_{1}} A_{i_{2}} …A _{i_{k}})=P(A_{i_{1}} )P(A_{i_{2}})...P(A_{i_{k}} )$,则称$A_1,A_2,…,A_n$ 为相互独立的事件,

注意：$n$个事件相互独立$ $$n$个事件两两相互独立

第二章：一维随机变量及其分布

一、随机变量

1、定义

设随机试验的样本空间$S=\{e\}$,$X=X(e)$是定义在样本空间$S$上的单值实值函数称$X=X(e)$为随机变量.

二、离散型随机变量及其分布律

1、定义

若随机变量X的所有可能取值是有限多个或可列无限多个, 则称$X$为离散型随机变量.

2、分布律

设离散型随机变量$X$所有可能取的值为$x_k(k=1,2,…)$$X$取各个可能值的概率,即事件${X=x}$的概率,为$P\{X=x\}=P_k$ $k=1,2,…..$称此为离散型随机变量$X$的分布律

3、分布律的表示方法

解析式法
列表法
矩阵法
图表法

4、$(0-1)$分布（两点分布）

定义：

设随机变量X只可能取$0$与$1$两个值，其分布是：$P=\{X=k\}=P^K(1-P)^{1-k},k=0,1(0<P<1)$则称$X$服从以$p$为参数的$(0-1)$分布（两点分布）

分布律：

5、伯努利试验

设试验$E$有$A$和$\overline A$，$P(A)=P,P(\overline A)=1-P$独立可重复进行$n$次，称为$n$重伯努利试验.

独立：前一次的结果，不影响后一次的概率

可重复：概率相同

5、二项分布

二项分布为两点分布的推广形式，记为$X$服从$b(n,p)$有$C_{n}^{k}P^{k}(1-p)^{n-k}$。特别的，当n=1时，为两点分布。

分布律：

二项式定理：可以证明二项分布的规范性

$(a+b)^{n}=\displaystyle\sum _{k=0}^{n}C_{n}^{k}a^{k}b^{n-k}$

6、泊松分布

设随机变量$X$所有可能的取值为$(0,+\infty)$而各个值的概率为$P\{X=k\}=\frac{λ^{k}e^{-λ}}{k!},k=0,1,2...$其中$λ>0$是常数，则称$X$服从参数为$λ$的泊松分布，记为$X~π(λ)$。

证明其规范性需要用到泰勒公式

泊松定理：

设$λ>0$是一个常数，$n$是任意正整数,设$np_n=λ$,则对于任一固定的非负整数$k$, $\displaystyle\lim _{n\rightarrow \infty}C_{n}^{k}P^{k}(1-p)^{n-k}=\frac{λ^{k}e^{-λ}}{k!}$

三、随机变量的分布函数

1、引入

对于随机变量$X$, 我们不仅要知道$X$ 取哪些值, 要知道 $X$ 取这些值的概率 ; 而且更重要的是想知道 $X$ 在任意有限区间$(a,b)$内取值的概率.。

2、定义

设$X$是一个随机变量，$X$是任意实数，函数$F(x)=P\{X≤x\},-\infty<x<\infty$,称为X的分布函数。

3、性质

$F(x)$是一个不减函数
$0≤F(x)≤1$且$F(-\infty)=0,F(\infty)=1$
$F(x+0)=F(x)$即$F(x)$是右连续的

4、重要公式

$P\{x_1<x≤x_2\}=P(x_2)-P(x_1)$
$P\{x>a\}=1-F(a)=1-P(x≤a)$

四、连续型随机变量及其概率密度

1、概率密度

对于随机变量$X$的分布函数$F(x)$存在非负可积函数$f(x)$使得对任意实数$x$有$F(x)=\int_{-\infty}^{x}f(t)dt$则称$X$为连续型随机变量，$f(x)$为概率密度。

2、概率密度性质

非负性:$f(x)\geq0$
规范性:$\int _{-\infty}^{\infty}f(x)dx=1$
对于任意的$x_1$,$x_2$$(x_1,x_2)$有$P\{x_1<X\leq x_2\}=\int_{x_1}^{x_2}f(x)dx$
若$f(x)$在点$x$处连续，则有$F'(x)=f(x)$

注意：对于连续型随机变量$X$来说，它取任一指定实数值$a$的概率均为0

3、均匀分布

$X·U(a，b)$

区间长度的倒数

$f(x)=\frac{1}{b-a},$$(a<x<b)$

$f(x)=\frac{1}{π}，(-1<x<1)(-1<y<1)$

4、指数分布

$X·{E(θ)}$

若连续型随机变量X的概率密度为：$f(x)=\frac{e^{-\frac{x}{θ}}}{θ},x>0$其中$θ>0$为常数，则称$X$服从参数为$θ$的指数分布。

$θ$越大，曲线越平

重要性质：无记忆性。对于任意$s,t>0$,有$P\{X>s+t|X>s\}=P\{X>t\}$

5、正态分布

$X·N(μ，σ^2)$

若连续型随机变量X的概率密度为：$f(x)=\frac{1}{\sqrt{2π}σ}e^{-\frac{(x-μ)^2}{2σ^2}}$，$x \in R$

概率积分：$\int_{-\infty}^{\infty}e^{-x^2}dx=\sqrt{π}$

对称轴：$x=μ$
当$x=μ$时取得最大值为$\frac{1}{\sqrt{2π}σ}$
在$x=μ\pmσ$处曲线有拐点
$μ$是位置参数，$σ$是形态参数（$σ$越小，图像瘦高；$σ$越大，图像胖矮）

6、标准正态分布

$μ=0，σ^2=1$

$f(x)=\frac{1}{\sqrt{2π}}e^{-\frac{x^2}{2}}$

一般正态分布$\rightarrow$标准正态分布：

若$X$服从$N(μ，σ)$，则$Z=\frac{X-μ}{σ}$服从$N(0,1)$

五、随机变量的函数分布

1、离散型

逐点代入，有重复，便合并

2、连续型

分布函数求导法

用$F_{X}(x)$表示待求的$F_{Y}(y)$

将$F_{Y}(y)$关于y求导

套公式法

$F_{Y}(y)=f_{x}[h(y)]|h'(y)|，a<y<b$其中$h(y)$是$g(x)$的反函数

第三章：多维随机变量及其分布

一、二维随机变量

设$E$是一个随机试验,它的样本空间是$S=\{e\}$,设$X=X(e)$和$P=Y(e)$是定义在$S$上的随机变量,由它们构成的一个向量(X,Y),叫做二维随机向量或二维随机变量.

1、定义

设$(X,Y)$是二维随机变量，对于任意实数$x,y$二元函数: $F(x,y)=P\{(X≤x)\cap (Y≤y)\}$$=$$P\{X≤x,Y≤y\}$称为二维随机变量$(X,Y)$的分布函数,或称为随机变量$X$和$Y$的联合分布函数.

2、性质

不减函数
$0\leq F(x,y)\leq1$对于任意固定的$y$有$F(-\infty,y)=0$,对于任意固定的$x$有$F(x,-\infty)=0$
$F(-\infty,-\infty)=0$,$F(+\infty,+\infty)=1$
关于$x$右连续，关于$y$右连续
$F(x_2,y_2)-F(x_2,y_1)+F(x_1,y_1)-F(x_1,y_2)\geq 0$

3、联合分布律

定义：设随机变量$(x,y)$的所有可能的取值为$(x_i,y_j),ij=1,2…$取相应值的概率为$P\{X=x_i,Y=y_i\}=p_{ij},i,j=l,2…$称上式为二维离散型随机变量$(x,y)$的分布律,或称为$X$与$Y$的联合分布律.

4、二维连续型随机变量

定义：设二维随机变量$F(x,y)=P\{X≤x,Y≤y\}$若存在非负可积函数$f(x,y)$,使得对任意实数$x,y$若有$F(x,y)=\int_{-\infty}^{y}\int_{-\infty}^{x}f(u,v)dudv$则称$(X,Y)$为二维连续型随机变量,称$f(x,y)$为$(X,Y)$的概率密度函数,或称为$X$与$Y$的联合概率密度。
性质：非负性、规范性
对于平面上任一区域G：二重积分的几何意义是曲顶柱体的体积。

5、$n $维随机变量的概念(推广）

定义：

设$E$是一个随机试验，它的样本空间是$S={e}$，设$X_1=X_1(e),X_2=X_2(e),...,X_n=X_n(e)$是定义在$S$上的随机变量，由它们构成的一个$n$维随机向量或$n$维随机变量。

对于任意$n$个实数$x_1,x_2,…,x,n$元函数$F(x_1,x_2,..x_n)=P\{X_1≤x_1,X_2≤x_2,…,X_n≤x_n\}$称为n维随机变量$(X_1,X_2,…,X_n)$的分布函数或随机变量$X_1,X_2…,X_n$的联合分布函数.

二、边缘分布

1、边缘分布函数

定义

设$F(x,y)$为随机变量$(X,Y)$的分布函数,如$F(x,y)=P\{X≤x,Y≤y\}$令$y \rightarrow \infty$,称$P\{X≤x\}=$$P\{X≤x,Y<\infty \}=F(x,\infty)$为随机变量$(X,Y)$关于$X$的边缘分布函数。记为$F_X(x)=F(x,∞)$ 同理令$x \rightarrow \infty$,得： $F(y)=F(\infty,y)=$$P\{X<∞,Y≤y\}= P\{Y ≤y\}$为随机变量$(XY)$关于$Y$边缘分布函数。

2、离散型随机变量的边缘分布律

定义

设二维离散型随机变量$(X,Y)$的联合分布律为$P\{X=x,Y=y\}=p_{ij},i,j=1,2,...$

记$p_{i·}=\displaystyle\sum_{j=1}^{\infty}p_{ij}=p\{X=x_{i}\},i=1,2,...$

$p_{·j}=\displaystyle\sum_{i=1}^{\infty}p_{ij}=p\{Y=y_{j}\},j=1,2,...$

分别称$p_{i·}(i=1,2...)$和$p_{·j}(j=1,2,…)$为$(X,Y)$关于$X$和关于$Y$的边缘分布律。

离散型随机变量关于X和Y的边缘分布函数分别为：

$F_X(x)=F(x,\infty)=\displaystyle\sum_{x_i\leq x}\sum_{j=1}^{\infty}p_{ij}$

$F_Y(y)=F(\infty,y)=\displaystyle\sum_{y_i\leq y}\sum_{i=1}^{\infty}p_{ij}$

3、连续型随机变量的边缘分布

定义

对于连续型随机变量$(X,Y)$，设它的概率密度为$f(x,y)$,由于 $F_X (x)= F(x,∞)$$=\int_{-\infty}^{\infty}\int_{-\infty}^{x}f(x,y)dxdy$$=\int_{-\infty}^{x}[\int_{-\infty}^{\infty}f(x,y)dy]dx$

记

$f_X(x)=\int_{-\infty}^{\infty}f(x,y)dy$

称其为随机变量$(X,Y)$关于$X$的边缘概率密度。

同理可得：随机变量$(X,Y)$关于$Y$的边缘概率密度为$f_Y(y)=\int_{-\infty}^{\infty}f(x,y)dx$

二重积分

口诀：求谁不积谁，不积先定限，限内画条线，先交写下限，后交写上限。

此处涉及到二重积分的相关高数知识，详情请看【点击这里】

特殊的二维正态分布

二维正态分布的两个边缘分布都是一维正态分布，并且都不依赖于参数$ρ$

注意

三、条件分布

1、离散型随机变量的条件分布

定义

设$(X,Y)$是二维离散型随机变量，对于固定的$j$若$P\{Y=y_j\}>0$，则称 $P\{X=x_i|Y=y_j\}$$=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}$$=\frac{p_{ij}}{P_{·j}}$，$i=1,2,…$ 为在$Y=y_i$条件下随机变量 X的条件分布律.

同样,对于固定的$i$若$P\{X=x_i\}>0$,则称$P\{Y=y_j|X=x_i\}$$=\frac{P\{X=x_i,Y=y_j\}}{p\{X=x_i\}}=\frac{p_{ij}}{P_{i·}}$$j=1,2,..$为在$X=x_i$条件下随机变量$Y$的条件分布律。

条件分布律的性质

非负性
规范性

2、连续型随机变量的条件分布

定义

设二维随机变量$(X,Y)$的概率密度为$f(x,y)$,$(X,Y)$关于$Y$的边缘概率密度为$f_Y(y)$.若对于固定的$y$,$f_Y(y)>0$

则称$\frac{f(x,y)}{f_Y(y)}$为在$Y=y$的条件下$X$的条件概率密度,记为$f_{x|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$

称$\int_{-\infty}^{x}f_{x|y}(x|y)dx$=$\int_{-\infty}^{x}\frac{f(x,y)}{f_Y(y)}dx$为在$Y=y$的条件下$X$的条件分布函数,记为$P\{X≤x|Y=y\}$或$F_{X|Y}(x|y)$。

类似地，

可以定义$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$和$F_{Y|X}(y|x)=\int_{-\infty}^{y}\frac{f(x,y)}{f_X(x)}dy$

性质

非负性
规范性

四、相互独立的随机变量

1、随机变量的相互独立性

定义

设 $X,Y$是两个随机变量，若对任意的$x,y$有$P\{X\leq x,Y\leq y\}=P\{X\leq x\}P\{Y\leq y\}$则称$X $和 $Y $相互独立。

两事件 $A , B$ 独立的定义是：若$P(AB)=P(A)P(B)$则称事件 $A , B$ 独立 .

相关性质

不论离散型还是连续型：联合$=$边缘X边缘

正态随机变量的独立性：二维正态随机变量相互独立的充要条件是$ρ=0$

2、二维随机变量的推广

分布函数

$n$维随机变量$(X_1,X_2,...X_n)$的分布函数定义为

$F(x_1,X_2,..x_n)$$=P\{X_1\leq x_1,X_2≤x_2,...X_n\leq x_n \}$其中$x_1,x_2,…,x_n$为任意实数。

概率密度函数

若存在非负函数$f(x_1,x_2...x_n),$使对于任意实数$x_1,x_2…,x_n$有

$F(x_1,x_2,...,x_n)$$\int_{-\infty}^{x_{n}}\int_{-\infty}^{x_{n-1}}···\int_{-\infty}^{x_{1}}dx_{1}dx_2···dx_n$则称$f(x_1,x_2…,x_n)$为$(X_1,X_2,…,X_n)$的概率密度函数。

边缘分布函数

设$(X_1,X_2,…,X_n)$的分布函数$F(x_1,x_2,…x_n)$为已知,则$(X_1,X_2,…,X_n)$的$k(1≤k<n)$维边缘分布函数就随之确定.

边缘概率密度函数

若$f(x_1,x_2,...,x_n)$是$(X_1,X_2…,X_n)$的概率密度,则$(X_1,X_2,…,X_n)$关于$X_1$,关于$(X_1,X_2)$的边缘概率密度分别为 $f_{X_1}(x_1)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}···\int_{-\infty}^{\infty}f(x_1,x_2,...,x_n)dx_2,dx_3···dx_n$

$f_{X_1,X_2}(x_1,x_2)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}···\int_{-\infty}^{\infty}f(x_1,x_2,...,x_n)dx_3,dx_4···dx_n$

······

相互独立性

若对于所有的$x_1,x_2,···，x_n$有$F(x_1,x_2,···,x_n)=F_{X_1}(x_1)F_{X_2}(x_2)···F_{X_n}(x_n)$则称$X_1,X_2,···，X_n$是相互独立的。

若对于所有的$x_1,x_2,···，x_n$,$y_1,y_2,···，y_m$有$F(x_1,x_2,···,x_n,y_1,y_2,···y_m)=F_1(x_1,x_2,···，x_m)F_2(y_1,y_2,···,y_n)$则称随机变量$x_1,x_2,···，x_n$和$y_1,y_2,···，y_m$是相互独立的。

重要结论定理

设$(X_1,X_2,···,X_m)$和$(Y_1,Y_2…Y_n)$相互独立，

则$X_i(i=1,2,…,m)$和$Y_j(j=1,2,…,n)$相互独立，

又若 $h,g$是连续函数,则$h(X_1,X_2,,…,X_m)$和 $g(Y_1,Y_2…,Y_n)$相互独立。

第四章：随机变量的数字特征

一、数学期望

1、随机变量数学期望的概念

1、离散型随机变量的数学期望

定义

设离散型随机变量$X$的分布律为$P\{X=x_k\}=p_k,k=1,2,...$若级数$\displaystyle\sum_{k=1}^{\infty}x_kp_k$绝对收敛，则称级数$\displaystyle\sum_{k=1}^{\infty}x_kp_k$的和为随机变量$X$的数学期望，记为$E(X)=\displaystyle\sum_{k=1}^{\infty}x_kp_k$

数学期望简称期望，又叫均值。是一个实数，加权平均值，体现了随机变量$X$取可能值的真正的平均值。

2、连续型随机变量的数学期望

定义

设连续型随机变量$X$的概率密度为$f(x)$,若积分$\int_{-\infty}^{\infty}xf(x)dx$绝对收敛，则称积分$\int_{-\infty}^{\infty}xf(x)dx$的值为随机变量$X$的数学期望,记为$E(X)$即：$E(X)=\int_{-\infty}^{\infty}xf(x)dx$

2、随机变量的函数的数学期望

离散型随机变量函数的数学期望

$E(g(x))=\displaystyle\sum_{k=1}^{\infty}g(x_k)p_k$

连续型随机变量函数的数学期望

若$X$是连续型的，它的分布密度为$f(x)$则：$E(g(x))=\displaystyle\sum_{-\infty}^{\infty}g(x)f(x)dx$

上面两个公式的重要性在于: 当我们求$E[g(X)]$时, 不必知道$g(X)$的分布，而只需知道$X$的分布就可以了. 这给求随机变量函数的期望带来很大方便.

二维离散型随机变量函数的数学期望

设$X,Y$为离散型随机变量,$g(x,y)$为二元函数，则$E[g(X,Y)]$$=\displaystyle\sum_i\sum_jg(x_i,y_j)p_{ij}$其中$(X,Y)$的联合概率分布为$P_{ij}$

二维连续型随机变量函数的数学期望

设$X,Y$为连续型随机变量,$g(x,y)$为二元函数,则$E[g(X,Y)]$$=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$.其中$(X,Y)$的联合概率密度为$f(x,y)$.

3、数学期望的性质

设$C$是常数，则有$E(C)=C$
设$X$是一个随机变量，$C$是常数，则有$E(CX)=CE(X)$
设$X,Y$是两个随机变量，则有$E(X+Y)=E(X)+E(Y)$可以推广到任意有限个随机变量之和的情况。
设$X，Y$是相互独立的随机变量,则有$E(XY)=E(X)E(Y)$可以推广到任意有限个随机变量之和的情况。但不能说明$XY$相互独立

4、总结

二、方差

1、随机变量方差的概念

定义

设$X$是一个随机变量,若$\{[X-E(X)]^2\}$存在,则称$\{[X-E(X)]^2\}$为$X$的方差。记为$D(X)$或$Var(X)$，即

$D(X)=Var(X)=E\{[X-E(X)]^2\}$

在应用上还引入量$\sqrt{D(X)}$,记为$σ(X)$，称为标准差或均方差。

意义

按定义,随机变量$X$的方差表达了$X$的取值与其数学期望的偏离程度·若$D(X)$较小意味着$X$的取值比较集中在$E(X)$的附近,反之,若$D(X)$较大,则表示的取值较分散。因此，$D(X)$是刻画$X$取值分散程度的一个量,它是衡量$X$取值分散程度的一个尺度.

计算

定义式：$D(X)=E\{[X-E(X)]^2\}$

计算式：$D(X)=E(X^2)-[E(X)]^2$

计算式移项也经常用于算$E(X^2)$

2、随机变量方差的性质

设$C$是常数，则$D(C)=0$
设$X$是一个随机变量，$C$是常数，则有$D(CX)=C^2D(X)$
设$XY$是两个随机变量，则有$D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}$
性质$3$的特殊情况：当$XY$相互独立时有：$D(X+Y)=D(X)+D(Y)$可以推广到$n$个随机变量相互独立时。
$D(X)=0$充要条件是$X$取常数$E(X)$时的概率为$1$

3、标准化随机变量

◆ 设任意随机变量 $X$（不一定服从正态）,若其期望$E(X)$方差$D(X)$都存在，且$D(X)\neq0$，则称 \[ X^*=\frac{X-E(X)}{\sqrt{D(X)}} \] 为$X$的标准化随机变量。

标准化随机变量之后，期望为0，方差为1，即服从标准正态分布NO.1（南波湾）

4、重要概率分布的方差(P298)

符号	分布	参数	数学期望	方差
$(0-1)$	两点分布	$0<P<1$	$p$	$p(1-p)$
$b(n,p)$	二项分布	$n\geq1,0<P<1$	$np$	$np(1-p)$
$π(λ)$	泊松分布	$λ>0$	$λ$	$λ$
$U(a,b)$	均匀分布	$a<b$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
$E(θ)$	指数分布	$θ>0$	$θ$	$θ^2$
$N(μ，σ^2)$	正态分布	$μ>0，σ>0$	$μ$	$σ^2$

5、切比雪夫不等式

设随机变量$X$具有数学期望$E(X)=μ$方差$D(X)=σ^2$则对于任意正数$ε$,不等式 \[ P\{|X-μ|\geq ε \}\leq \frac{σ^2}{ε^2} \] 成立。

也可以写为下面的形式： \[ P\{|X-μ|< ε \}\geq1- \frac{σ^2}{ε^2} \]

主要用于证明大数定律和粗糙的估计概率。

三、协方差及相关系数

1、协方差的定义

$Cov(X,Y)=E\{(X-E(X))(Y-E(Y))\}$

故方差的性质3就变成：$D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}=D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

若$X,Y$相互独立，则$Cov(X,Y)=0$

2、协方差的计算式

$Cov(X,Y)=E\{(X-E(X))(Y-E(Y))\}$
$Cov(X,Y)=E(XY)-E(X)E(Y)$
$Cov(X,Y)=\frac{D(X+Y)-D(X)-D(Y)}{2}$

3、协方差的基本性质

$Cov(X,Y)=Cov(Y,X)$
$Cov(X,X)=D(X)$
$Cov(X,C)=0$,其中$C$为常数
对于任意常数$a,b$有$Cov(aX,bY)=abCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

4、相关系数的定义

$ρ_{XY}=Cov(X^*Y^*)=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$为$X$与$Y$的相关系数。

◆ $X$ 和$Y$ 的相关系数又称为标准协方差，它是一个无量纲的量。

$ρ_{(kX)(kY)}=\frac{Cov(kX,kY)}{\sqrt{D(kX)}\sqrt{D(kY)}}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

5、相关系数的性质

$|ρ_{XY}|\leq 1$
$|ρ_{XY}|=1$的充要条件是：存在常数啊$a$，$b$使得$P\{Y=a+bX\}=1$

6、相关系数的含义

$|ρ_{XY}|$是一个用来表征$X$,$Y$之间线性关系紧密程度的量，它刻画了$X$,$Y$之间线性关系的强弱。

1°当 $|ρ_{XY}|=1$ 时，$X,Y$ 之间几乎就是线性关系:

当$|ρ_{XY}|=1$时，称$X$与$Y$正相关，此时$b>0$

当$|ρ_{XY}|=-1$时，称$X$与$Y$负相关，此时$b<0$

2°当$|ρ_{XY}|=0$时，$X,Y$ 没有线性关系，即：不相关

7、相互独立与不相关

相互独立与不相关的特例：二维正态分布（P107）

四、矩、协方差矩阵

1、矩的概念

设$X$和$Y$是随机变量：

若$E(X^k)$,$k=1,2.…$存在,称它为$X$的$k$阶原点矩,简称k阶矩,（数学期望$E(X)$是一阶原点矩，即一阶矩）
若$E\{[X-E(X)^k]\}$,$k=2,3$,存在，称它为$x$的$k$阶中心矩（方差$D(X)$是二阶中心矩）
若$E(X^kY^l)$,$k,l=1,2,…$存在,称它为$X$和$Y$的$k+l$阶混合矩
若$E\{[X-E(X)]^k[Y-E(Y)]^l\}$存在，称它为$X$和$Y$的$k+l$阶混合中心矩（协方差是$Cov(XY)$是$X$与$Y$的二阶混合中心矩）

其中：三阶中心矩$E\{[X-E(X)]^3\}$主要用来衡量随机变量的分布是否有偏四阶中心矩$E\{[X-E(X)]^4\}$主要用来衡量随机变量的分布在均值附近的陡峭程度如何。

2、协方差矩阵

设$n$维随机变量$(X_1,X_2,,…,X_n)$的二阶混合中心矩(协方差)

$c_{ij}=Cov(X_i,X_j)$$=E\{[X_i-E(X_i)][X_j-E(X_j)]\}$,$i,j=1,2,…,n$都存在,则称矩阵:

\[ \begin{bmatrix} c_{11} & c_{12} &... & c_{1n} \\ c_{21} & c_{22} &... & c_{2n} \\ & & \cdots & \\ c_{n1} & c_{n2} & \dots & c_{nn} \end{bmatrix} \]

为$n$维随机变量的协方差矩阵。

第五章：大数定律和中心极限定理

一、依概率收敛

依概率收敛就是随机变量序列的极限

1、依概率收敛的定义

定义：设$\{X_n\}$为一随机变量序列，$a$是一个常数，则对任意正数$ε$,有$\displaystyle\lim_{n\to \infty}\{|X_n-a|<ε\}=1$则称序列$\{X_n\}$依概率收敛于$a$记为$ X_n^Pa(n)$

注：${X_n}$依概率收敛于$a$，意味着对任意正数$ε$，当$n$充分大时，事件$|X_n-a|<ε$的概率很大，接近于1，但这并不排除事件$|X_n-a|\geq ε$的发生，而只是说其发生的概率很小。

2、依概率收敛的性质

设$X_n\to a$,$Y_n \to b$,又设函数$g(x,y)$在点$(a,b)$连续，则$g(X_n,Y_n)\to g(a,b)$

二、基本定理

1、弱大数定律（辛钦大数定律）

设$X_1,X_2,…$是相互独立，服从同一分布的随机变量序列,且具有数学期望:$E(X_k)=μ,(k=1,2…)$，作前$n$个变量的算术平均$\frac{1}{n} \displaystyle \sum_{k=1}^{n}X_k$,则对于任意$ε>0$,有: \[ \lim_{n\to \infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_k-μ|<ε\}=1 \]

也就是当n很大时，随机变量$X_1,X_2,…$的算术平均值$\displaystyle\frac{1}{n}\sum_{k=1}^{n}X_k$接近于数学期望，即$E(X_1)=E(X_2)=...=E(X_k)=μ$

另外一种表述：设随机变量$X_1,X_2...X_n...$相互独立,服从同一分布且具有数学期望$E(X_k)=μ (k=1,2,…)$则序列$\frac{1}{n} \displaystyle \sum_{k=1}^{n}X_k$依概率收敛于$μ$

2、伯努利大数定理

设$f_A$是$n$次独立重复试验中事件$A$发生的次数,$p$是事件$A$在每次试验中发生的概率,则对于任意正数$ε>0$，有 \[ \lim_{n\to\infty}p\{|\frac{f_A}{n}-p|<ε\}=1 \]

\[ \lim_{n\to\infty}p\{|\frac{f_A}{n}-p|\geqε\}=0 \]

伯努利定理表明事件发生的频率$\frac{f_A}{n}$依概率收敛于事件的概率$p$,它以严格的数学形式表达了频率的稳定性因而当$n$很大时,事件发生的频率与概率有较大偏差的可能性很小。在实际应用中，当试验次数很大时,便可以用事件发生的频率来代替事件的概率。

三、中心极限定理

1、独立同分布的中心极限定理

设随机变量$X_1,X_2,...X_n,…$相互独立，服从同一分布，且具有数学期望和方差$E(X_i)=μ$,$D(X_i)=σ^2>0(i=1,2,)$则这些随机变量之和$\displaystyle\sum_{i=1}^{n}X_i$的标准化随机变量 \[ Y_n=\frac{\displaystyle\sum_{i=1}^{n}X_i-E(\sum_{i-1}^{n}X_i)}{\sqrt{D(\displaystyle\sum_{i=1}^{n}X_i)}}=\frac{\displaystyle\sum_{i=1}^{n}X_i-nμ}{\sqrt{n}σ},(n=1,2,...) \] 的分布函数$F_n(x)$对任意$x$满足: \[ \lim_{n\to\infty}F_n(X)=\lim_{n\to\infty}P\displaystyle\{\frac{\displaystyle\sum_{i=1}^{n}X_i-nμ}{\sqrt{n}σ}\leq x\}=\displaystyle\int_{-\infty}^{x}\frac{1}{\sqrt{2π}}e^{-\frac{t^2}{2}}dt=Φ(x) \] 该定理表明：当$n\to\infty$,随机变量序列$Y_n$的分布函数收敛于标准正态分布的分布函数。

结论：当$n$充分大时,有：$F_n(x)\approx Φ(x)$

即：$Y_n$近似服从$N(0,1)$

也就是：$\frac{\displaystyle\sum_{i=1}^{n}X_i-nμ}{\displaystyle\sqrt{n}σ}$近似服从$N(0,1)$

从而得出：$\displaystyle\sum_{i=1}^{n}X_i$近似服从$N(nμ,nσ^2)$

进一步由：$\overline{X}=\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i$

得：$\overline{X}$近似服从$\displaystyle N(μ,\frac{σ^2}{n})$

2、李雅普诺夫定理

没讲太多，本质是表明无论各个随机变量服从什么分布，只要满足定理的条件，它们的和$\displaystyle\sum_{i=1}^{n}X_i$,当$n$很大时,近似的服从正态分布。

3、棣莫弗－拉普拉斯定理

设随机变量$η_n(n=1,2,…)$服从参数为$n，p(0<p<1)$的二项分布,则对于任意$x$,恒有: \[ \lim_{n\to \infty}P\{\frac{-np}{\sqrt{np(1-p)}}\leq x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2π}}e^{-\frac{t^2}{2}}dt=Φ(x) \] 意义：正态分布是二项分布的极限分布, 当n充分大时，可以利用该定理来计算二项分布的概率。

结语：

依照高等学校教材《概率论与数理统计》浙江大学版+自己上课听课的笔记+课件$\to$做出的可以方便观看的博客文章

But，我们专业是没有安排学习数理统计部分的！（交通运输）Transportation

全部文字在知识共享署名-相同方式共享 4.0协议之条款下提供使用。 ↩︎

学习

#学习 #笔记 #数学 #概率论

概率论

https://machomeng.pages.dev/9/

作者

Macho Meng

发布于

2024年6月15日

更新于

2024年8月20日

许可协议

军官军衔和士官军衔制度上一篇

二重积分的求解方法下一篇

符号	分布	参数	数学期望	方差
\((0-1)\)	两点分布	\(0<P<1\)	\(p\)	\(p(1-p)\)
\(b(n,p)\)	二项分布	\(n\geq1,0<P<1\)	\(np\)	\(np(1-p)\)
\(π(λ)\)	泊松分布	\(λ>0\)	\(λ\)	\(λ\)
\(U(a,b)\)	均匀分布	\(a<b\)	\(\frac{a+b}{2}\)	\(\frac{(b-a)^2}{12}\)
\(E(θ)\)	指数分布	\(θ>0\)	\(θ\)	\(θ^2\)
\(N(μ，σ^2)\)	正态分布	\(μ>0，σ>0\)	\(μ\)	\(σ^2\)

符号	解释	含义
\(A\subset B\)	事件B包含事件A(或者事件A含于事件B)	A发生必然导致B发生
\(A\subset B\) 且 \(B\subset A\)	事件A和事件B相等	A=B
\(A\cup B\)	当且仅当AB至少一个发生	和事件
\(A\cap B\)	当且仅当AB同时发生	积事件
\(A-B\)	当且仅当A发生B不发生	差事件
\(A\cap B=\varnothing\)	事件AB不能同时发生	AB互斥
\(A\cup B=S\)且\(A\cap B=\varnothing\)	\(\overline A= B=S-A\)	AB对立，互为逆事件

概率论

前言：

绪论：

目录（默认关闭，点击展开）：

展开目录找的更快

第一章：基本概念

一、随机试验：

1、随机现象

2、随机试验

二、样本空间、随机事件

1、样本空间

2、样本点

3、随机事件

4、对立事件和互斥事件

5、随机事件间的关系及运算

6、德摩根律

三、频率与概率

1、频率的定义

2、频率的性质

3、概率的定义

4、概率的性质(重要)

四、等可能概型

1、排列

2、组合

3、加法原理

4、乘法原理

5、古典概型

五、条件概率

1、定义

2、性质

3、全概率公式

4、贝叶斯公式

六、独立性

1、定义

2、定理

3、三个事件独立

4、\(n\)个事件相互独立(推广 )

第二章：一维随机变量及其分布

一、随机变量

1、定义

二、离散型随机变量及其分布律

1、定义

2、分布律

3、分布律的表示方法

4、\((0-1)\)分布（两点分布）

5、伯努利试验

5、二项分布

6、泊松分布

三、随机变量的分布函数

1、引入

2、定义

3、性质

4、重要公式

四、连续型随机变量及其概率密度

1、概率密度

2、概率密度性质

3、均匀分布

4、指数分布

5、正态分布

6、标准正态分布

五、随机变量的函数分布

1、离散型

2、连续型

第三章：多维随机变量及其分布

一、二维随机变量

1、定义

2、性质

3、联合分布律

4、二维连续型随机变量

5、$n $维随机变量的概念(推广）

二、边缘分布

1、边缘分布函数

2、离散型随机变量的边缘分布律

3、连续型随机变量的边缘分布

三、条件分布

1、离散型随机变量的条件分布

2、连续型随机变量的条件分布

四、相互独立的随机变量

1、随机变量的相互独立性

2、二维随机变量的推广