概率论习题(1)
下载完整PDF点这里
t1
解析
A：\(P(A \cup B)=P(A)+P(B)-P(A B)\)
由此推出 \(P(AB)=0\)
无法推出目标条件，错误；
B：这是事件独立的充分必要条件，无法推出目标条件，错误；
C：事件有运算关系：\(A-B=A-A B=A
\bar{B}\) ，所以有：
\(P(A\bar{B})=P(A-B)=P(A)-P(AB)\) ，
\(P(\bar{A}B)=P(B-A)=P(B)-P(AB)\) 又
\(P(A\bar{B})=P(\bar{A}B)\)
由此推出 \(P(A)=P(B)\) ，正确；
D：\(P(\bar{A} \bar{B})=P(\overline{A \cup
B})=1-P(A \cup B)=1-P(A)-P(B)+P(A B)\)
由此推出 \(P(A)+P(B)=1\)
，无法推出目标条件，错误。
《知识点总结》的 \(\S1.1、1.3\)
答案
\(C\)
t2
解析
（1）：\(A B C \cup \bar{A} \bar{B}
\bar{C}\)
（2）：\(\bar{A} \bar{B} ...
第三节 统计量及其分布
下载PDF点这里
概率论知识点
大致梳理重要的，需要掌握背诵的知识。
下载PDF点这里
\(ps\)
：根据《概率论与数理统计教程（第三版）》汇总的知识总结，根据教材的不同可以自行删减复习知识内容。每一部分的知识点虽然较为完整，但不敢肯定包含所有知识点，详细可参照之前文章进行对比复习。
如果文章内容有错误的地方，欢迎留言或发送信息至邮箱
第一章 随机事件与概率
1.1 随机事件及其运算
1.事件间关系及运算：
1）包含：∅ ⊂ \(A\) ⊂ Ω \(\quad A=B \Leftrightarrow A \subset B\) 且
\(B \subset A\)
2）差: \(A-B=A-A B\)
\(A-B=A \cap \bar{B}\) \(A\) 发生并且 \(B\) 不发生
\(A B=A-A \bar{B}\) \(AB\) 都发生 = \(A\) 发生减去 \(A\) 发生 \(B\) 不发生
3）对立: \(\bar{A}=\Omega-A \quad
\bar{\bar{A}}=A\)
特别地：\(\bar{\Omega}=\varnothing \quad
\bar{\varnot ...
人工智能框架思维导图
点击查看人工智能框架（建议使用电脑查看！）
第4章 朴素贝叶斯
第4章 朴素贝叶斯
引言
在众多机器学习分类算法中，本篇我们提到的朴素贝叶斯模型，和其他绝大多数分类算法都不同，也是很重要的模型之一。
在众多机器学习的分类算法中，朴素贝叶斯模型以其独特的方法和重要性，与其他算法显著不同。相对于KNN、逻辑回归、决策树等判别方法，这些算法直接学习输入特征X与输出Y之间的直接关系（决策函数
\(Y=f(x)\) 或者条件分布 \(P(Y \mid X)\)
），朴素贝叶斯模型则采用了生成方法。它直接找出特征输出Y和特征
X的联合分布 \(P(X, Y)\) ，进而通过
\[
P(Y \mid X)=\frac{P(X, Y)}{P(X)}
\]
计算得出结果判定。
朴素贝叶斯算法原理
贝叶斯定理
贝叶斯理论是以18世纪的一位神学家托马斯.贝叶斯(Thomas
Bayes)命名。通常，事件A在事件B (发生) 的条件下的概率，与事件B在事件A
(发生)
的条件下的概率是不一样的。然而，这两者是有确定的关系的，贝叶斯定理就是这种关系的陈述。
\[
P(A \mid B)=\frac{P(B \mid A) P(A)}{P(B)}
\]
条件概率：就是事件 ...
第3章 k近邻法
第3章 k近邻法
\(k\)近邻法是基本且简单的分类与回归方法。\(k\)近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的\(k\)个最近邻训练实例点，然后利用这\(k\)个训练实例点的类的多数来预测输入实例点的类。
\(k\)近邻模型对应于基于训练数据集对特征空间的一个划分。\(k\)近邻法中，当训练集、距离度量、\(k\)值及分类决策规则确定后，其结果唯一确定。
\(k\)近邻法三要素：距离度量、\(k\)值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的pL距离。\(k\)值小时，\(k\)近邻模型更复杂；\(k\)值大时，\(k\)近邻模型更简单。\(k\)值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的\(k\)。
常用的分类决策规则是多数表决，对应于经验风险最小化。
\(k\)近邻法的实现需要考虑如何快速搜索k个最近邻点。kd树是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树，表示对\(k\)维空间的一个划分，其每个结点对应于\(k\)维空间划分中的一个超矩形区域。利用kd树可以省去对大部分数据点的搜 ...
第二节 样本数据的整理与显示
下载PDF点这里
第2章 感知机
第2章 感知机
1．感知机是根据输入实例的特征向量\(x\)对其进行二类分类的线性分类模型： \[
f(x)=\operatorname{sign}(w \cdot x+b)
\]
感知机模型对应于输入空间（特征空间）中的分离超平面\(w \cdot x+b=0\)。
2．感知机学习的策略是极小化损失函数： \[
\min _{w, b} L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot
x_{i}+b\right)
\]
损失函数对应于误分类点到分离超平面的总距离。
3．感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。
4．当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数\(k\)满足不等式：
\[
k \leqslant\left(\frac{R}{\gamma}\right)^{2}
\]
当训练数据集线性可分时，感知机学习算法 ...
第1章 统计学习方法概论
第1章 统计学习方法概论
使用最小二乘法拟和曲线
高斯于1823年在误差\(e_1,…,e_n\)独立同分布的假定下,证明了最小二乘方法的一个最优性质:
在所有无偏的线性估计类中,最小二乘方法是其中方差最小的。 对于数据\((x_i, y_i) (i=1, 2, 3...,m)\)
拟合出函数\(h(x)\)
有误差，即残差：\(r_i=h(x_i)-y_i\)
此时\(L2\)范数(残差平方和)最小时，\(h(x)\) 和 \(y\) 相似度最高，更拟合
一般的\(H(x)\)为\(n\)次的多项式： \[
H(x)=w_0+w_1x+w_2x^2+...w_nx^n
\] \(w(w_0,w_1,w_2,...,w_n)\)为参数
最小二乘法就是要找到一组 \(w(w_0,w_1,w_2,...,w_n)\) ，使得\(\sum_{i=1}^n(h(x_i)-y_i)^2\) (残差平方和)
最小
即，求 \[
min\sum_{i=1}^n(h(x_i)-y_i)^2
\]
举例：用目标函数\(y=sin2{\pi}x\),
加上一个正态分布的噪音干扰，用多项式去拟合
im ...
第四节 多维随机变量的特征数
下载PDF点这里
第五节 条件分布与条件期望
下载PDF点这里
第三节 多维随机变量函数的分布
下载PDF点这里
