‎人工智能‎ StudyInCAU‎① 快速入门‎人工智能概念与本质‎人工智能的时代 人工智能的应用 人工智能流程对比人类思考的过程 人工智能的流程与本质‎人工智能基本概念与机器学习深度学习本质区别 回归和分类任务的本质 聚类和降维任务的本质‎KNN算法‎KNN原理 Anaconda运行环境安装 KNN的python代码实现 Scikit-learn模块 KNN的sklearn‎② 算法基础‎python基础与科学计算模块‎Python基础语法‎循环控制 切片操作 数据类型 集合操作 常用内建函数 函数式编程 类与对象 继承 装饰器 生成器‎科学计算模型Numpy‎Numpy ndarray对象 Numpy数据类型 Numpy 数组属性 Numpy创建数组 Numpy切片和索引 Numpy高级索引 Numpy广播‎Numpy数组操作 Numpy数学和统计函数 Numpy排序、条件过滤函数 Numpy线性代数‎数据处理分析模块Pandas‎Pandas IO文件操作 Pandas索引和数据选择器 Pandas合并、连接 Pandas缺失值数据处理 Pandas数据离散化 Pandas统计计算‎数据可视化模块‎matplotlib绘图基础API 等高线图的绘制 通过可视化剖析LR逻辑回归损失 matplotlib画饼图、直方图、盒图‎matplotlib画风设置、各种柱状图以及颜色文字等设置‎seaborn的style和color seaborn面对单变量和多变量的图形绘制 seaborn_facetgrid‎AI数学知识‎微积分基础‎导数的定义 左导数、右导数、可导函数 导数几何意义、物理意义 基本函数求导公式 四则运算法则 复合函数求导法则‎神经网络激活函数的导函数求解‎高阶导数 导数与函数单调性 极值定理 导数与函数凹凸性 一元函数泰勒展开‎线性代数基础‎向量与其运算 行向量和列向量 向量加减、数乘、内积、转置 向量范数 特殊向量 矩阵与其运算 方阵、对称阵、单位阵、对角阵‎矩阵加减、数乘、矩阵乘法、转置 逆矩阵 行列式‎多元函数微分学‎偏导数 高阶偏导数 梯度 雅可比矩阵 Hessian矩阵 极值判别法则‎线性代数高级‎二次型 特征值和特征向量 特征值分解 多元函数的泰勒展开 矩阵和向量的求导公式 奇异值分解 奇异值分解计算方式‎奇异值分解性质‎SVD用于数据压缩 SVD用于PCA降维 SVD用于协同过滤 SVD用于矩阵求‎逆‎最优化‎局部最小和全局最小 迭代法求解 梯度下降法推导 牛顿法推导 坐标下降法 数值优化算法的问题 凸集 凸函数 凸优化问题‎拉格朗日乘数法 拉格朗日对偶 KKT条件‎概率论‎随机事件和随机事件概率 条件概率和贝叶斯公式 随机事件的独立性 随机变量 数学期望和方差 常用随机变量服从的分布 随机向量‎随机变量独立性 协方差与协方差矩阵 随机向量的常见分布 最大似然估计‎线性回归算法‎多元线性回归‎简单线性回归 最优解与最小二乘法 多元线性回归判别式 多元线性回归的数学假设 利用MLE推导出目标函数‎对数似然推导出MSE损失函数‎MSE求偏导得到参数解析解 多元线性回归的python代码实现 多元线性回归的sklearn代码实战‎梯度下降法‎梯度下降法原理与公式 学习率设置的学问 GD应用于多元线性回归的流程 全量梯度下降的原理与代码实现‎随机梯度下降的原理与代码实现‎Mini-Batch梯度下降的原理与代码实现 代码实现增加MBGD数据的随机性 代码实现动态调整学习率‎归一化‎归一化目的与量纲 归一化提高模型精度 最大值最小值归一化与缺点 方差归一化与好处 均值归一化与好处‎标准归一化的代码实战与技巧‎正则化‎提高泛化能力与防止过拟合 正则化用于损失函数 L1与L2正则项与范数的关系 结合GD讲解L1L2的几何意义 透过导函数讲解L1的稀疏性‎透过导函数讲解L2的平滑性‎Lasso回归‎Lasso回归原理与代码实战 ElasticNet回归原理与代码实战 升维的意义‎Ridge‎Ridge回归原理与代码实战‎多项式回归‎多项式回归进行升维原理 多项式升维代码实战‎线性分类算法‎逻辑回归‎Sigmoid函数特点 广义线性回归与逻辑回归的数学假设 证明伯努利二项分布属于指数族分布 推导出逻辑回归判别式‎推导出逻辑回归损失函数log loss‎推导出损失函数导函数用于最优化 逻辑回归解决多分类问题OVR 逻辑回归代码实战--鸢尾花数据集分类‎Softmax回归‎Softmax函数特点 广义线性回归与Softmax回归的数学假设 证明多项式分布属于指数族分布 推导出Softmax回归判别式‎推导出Softmax回归损失函数cross-entropy‎证明逻辑回归是Softmax的特例 剖析逻辑回归多分类和Softmax多分类的本质区别 Softmax回归代码实战--音乐曲风分类‎SVM支持向量机‎SVM与感知机关系 几何距离和函数距离 SVM支持向量机算法原理 SVM的损失函数 硬间隔SVM的优化步骤 软间隔SVM‎非线性SVM与核函数‎SVM在sklearn模块中参数详解 SVM人脸识别案例 SVM的概率化输出 SVM的OVO多分类 SVM的hinge loss‎SMO优化算法‎SMO优化算法的子二次规划问题思路 SMO把目标函数从二元函数变一元函数 SMO推导出新的α和旧的α关系 SMO对α进行剪裁‎SMO优化SVM算法代码实现‎ ③ 机器学习‎无监督学习算法‎聚类系列算法‎相似度测量方法 K-means算法原理 K-means图像应用案例 K-medoids算法 K-means++算法 Mini-batch K-means算法‎Canopy聚类算法‎Agnes层次聚类算法 Diana层次聚类算法 DBSCAN密度聚类算法 Spectral谱聚类 微博用户聚类分析案例‎PCA降维算法‎特征选择与特征映射 最大投影方差原理与推导 最小投影距离原理与推导 PCA过程的中心化 Kernelized PCA‎SVD奇异值分解用于PCA‎EM算法‎Jensen不等式 EM算法的E-step EM算法的M-step EM在GMM公式推导中应用‎GMM算法‎单一高斯分布的参数估计 混合高斯分布的似然函数 GMM的计算流程 GMM之图片前景背景分离代码实战‎GMM之根据声音判别性别代码实战 GMM之根据声音判别用户代码实战‎决策树系列算法‎决策树算法‎决策树的算法原理与数学表达 分裂指标_gini系数、信息增益、信息增益率 前剪枝、后剪枝 决策树ID3、C4.5和CART‎决策树算法优略比较 决策树之鸢尾花数据集分类案例 通过graphvis绘制决策树模型‎随机森林算法‎集成学习算法思想Bagging、Boosting、Stacking 用户画像集成学习方法案例 OOB数据集验证随机森林算法 随机森林副产品之特征选择‎Adaboost算法‎Adaboost算法原理 数据的权重与权重错误率 权重错误率调整到0.5训练下一个弱分类器 计算每个样本的权重Un‎应用Adaboost算法做人脸识别‎GBDT‎函数空间的梯度下降与负梯度 推导GBDT回归是拟合残差 Shrinkage衰减系数的作用 推导GBDT分类亦是拟合残差‎GBDT二分类模型训练和使用‎GBDT多分类模型训练和使用 GBDT副产品之特征组合用于降维 实现GBDT+LR架构代码实战‎XGboost算法‎XGBoost算法与决策树集成学习关系 XGBoost目标函数与正则项 XGBoost目标函数用二阶泰勒展开 推导简化XGBoost目标函数引入gh‎XGBoost目标函数加入树的复杂度 推导出XGBoost目标函数最终形式和叶子节点表达式 详解XGBoost算法参数与交叉验证‎XGBoost算法调用GPU显卡资源加速‎Kaggle‎药店销量预测案例‎Rossmann药店销量预测_kaggle的介绍 对数据字段的介绍_导包 自定义损失函数 对数据里面的目标变量sales的一个分析‎数据的预处理 模型的训练_评估 kaggle竞赛网站学习‎网页分类案例‎Kaggle网页分类竞赛介绍 评估指标ROC和AUC 评估指标ROC和AUC 竞赛其他相关提交成绩排行榜 数据导入‎MLlib对网页分类竞赛数据预处理‎MLlib对网页分类竞赛数据预处理_模型训练 MLlib对网页分类竞赛模型训练_模型训练评估_搜索最佳超参数‎使用SparkML对网页分类竞赛数据预处理_模型训练_交叉验证调参‎海量数据挖掘工具‎分布式概念‎分布式存储和计算概念 Spark计算框架特点 分布式计算Shuffle流程 Spark RDD五大特性 PySpark模块安装与配置‎代码实战WordCount计算和排序 代码实战蒙特卡洛计算圆周率Pi‎spark分布式计算框架‎算子操作Transformation和Action RDD持久化 宽窄依赖 Spark DAG优化 Spark架构运行剖析 读取分布式HDFS数据与并行度设‎置‎sparkMlib模块‎MLlib的LocalVector之稠密向量和稀疏向量 MLlib的有监督学习数据类型LabeledPoint‎sparkML模块‎ML中用到的DataFrame数据框操作 ML中用到的UDF函数 ML的pipeline流程思路‎ ④ 深度学习‎概率图模型算法‎贝叶斯分类‎朴素贝叶斯分类器 拉普拉斯估计 代码实战垃圾邮件分类‎HMM算法‎马尔可夫过程 初始概率、转移概率、发射概率 隐含马儿可夫原理 维特比算法‎最大熵模型‎熵、条件熵、相对熵、互信息 最大熵模型算法原理 有约束条件的函数最优化问题 最大熵和最大似然估计关系 IIS算法‎条件随机场‎条件随机场的性质 条件随机场的判别函数 条件随机场的学习 条件随机场的推断 CRF与HMM关系‎深度学习原理到进阶实战‎神经网络算法‎从生物神经元到人工神经元 激活函数Relu、Tanh、Sigmoid 透过神经网络拓扑理解逻辑回归分类‎透过神经网络拓扑理解Softmax回归分类‎透过神经网络隐藏层理解升维降维 剖析隐藏层激活函数必须是非线性的原因 神经网络在sklearn模块中的使用‎水泥强度预测案例及绘制神经网络拓扑‎TensorFlow深度学习工具‎TF实现多元线性回归之解析解求解 TF实现多元线性回归之梯度下降求解‎TF预测california房价案例 TF实现Softmax回归‎Softmax分类MNIST手写数字识别项目案例 TF框架模型的保存和加载 TF实现DNN多层神经网络 DNN分类MNIST手写数字识别项目案例‎Back Propagation反向传播推导‎BP反向传播目的 链式求导法则 BP反向传播推导 不同激活函数在反向传播应用 不同损失函数在反向传播应用‎Python实现神经网络‎TensorBoard模块‎Tensorboard模块可视化‎⑤ 图像识别‎图像识别原理到进阶实战‎卷积神经网络原理‎感受野与卷积 卷积的计算 权值共享 Stride步长 Padding模式 Pooling池化 TF实现CNN卷积神经网络‎CNN分类MNIST手写数字识别项目案例‎卷积神经网络优化‎梯度消失与梯度爆炸 Dropout防止过拟合 Relu激活函数变形 Xavier Glorot初始化 Optimizer优化器 Data Augmentation数据增强‎Batch Normalization归一化 Cifar10图像识别案例‎经典卷积网络算法‎LeNet AlexNet VGG16 InceptionV3 ResNet DenseNet MobileNet 皮肤癌医疗图像检测项目 GAN生成对抗网络‎ 图像风格迁移项目‎OpenCV模块‎读取IP摄像头 RGB与HSV空间变换 直方图均值化 边缘检测 人脸检测 物体追踪 车道线检测 车牌识别案例‎古典目标检测‎图像金字塔 古典目标检测架构 ROI、IOU、FPS、NMS、mAP IOU代码实现 NMS代码实现 特征金字塔 SPP net ROI池化‎现代目标检测‎Fast R CNN Faster R CNN RPN网络、Anchor boxes Mask R CNN SSD Yolo V1 V2 V3 Cascade R CNN 模型压缩‎上采样_双线性插值_转置卷积‎上采样_repeat 线性插值 双线性插值 转置卷积_以及TF的API 双线性插值作为转置卷积核的初始参数 ROI Align‎FPN思想与网络结构 FPN应用于FasterRCNN_ResNetFPN‎图像识别项目‎⑥ 语言处理‎自然语言处理原理到进阶‎词向量与词嵌入‎TFIDF Word2Vec算法 Gensim模块 Skip-gram TF代码实现Word2Vec算法项目 FastText Word Embedding‎深度学习用户画像项目‎循环神经网络原理与优化‎Vanilla RNN Basic RNN实现MNIST手写数字图片识别 LSTM长短时记忆 GRU与双向LSTM 电影评论情感分析案例 Seq2Seq‎机器写唐诗案例‎CNN+LSTM+CRF POS tagging词性标注案例 NER命名实体识别案例 孪生网络 语义相似度分析案例‎Transformer和Bert ‎Attention注意力机制 Attention算法流程 Transformer Self-Attention机制 Multi-Head Attention Bert Bert as service开源项目‎自然语言处理项目‎词向量‎回顾了词向量里面训练的Topology Word2Vec项目代码_加载数据_构建字典 Word2Vec项目代码_构建一个个批次数据‎Word2Vec项目代码_正向传播的Graph构建_NCE损失的计算本质‎Word2Vec项目代码_评估比较相似度_最后的训练绘图 Word2Vec项目代码_总结串讲‎自然语言处理--情感分析‎Keras实战RNN以及词嵌入来做情感分析 数据预处理 代码讲解‎AI写唐诗‎AI写唐诗_数据的读取_字典的构建_文本的索引化 AI写唐诗_训练数据的构建 MultiRNNCell单元‎AI写唐诗_从词嵌入到构建RNN再到输出层概率输出 AI写唐诗_损失的计算_梯度的求解截断和更新_最终的训练代码‎AI写唐诗_模型的使用_增加随机性‎Seq2Seq聊天机器人‎从AI写唐诗到Seq2Seq再到Encoder-Decoder Seq2Seq版Chatbot的数据预处理 Seq2Seq版Chatbot训练和模型使用‎实战NER命名实体识别项目‎回顾CRF训练和使用过程 介绍代码目录结构 NER代码读取数据和预处理 feature进入BiLSTM进行正向传播的过程‎通过CRF层来计算Loss损失以及训练‎BiLSTM-CRF模型的预测代码 CRF中的特征函数们 对比逻辑回归_相比HMM优势 补充标注偏置问题_HMM做分词代码结构‎BERT新浪新闻10分类项目‎BERT新浪新闻10分类项目‎GPT2聊天机器人‎GPT2闲聊机器人‎⑦ 数据挖掘‎海量数据挖掘工具‎推荐系统--流程与架构‎隐式用户反馈 协同过滤 架构 实时 离线 列表 关联特征权重 基本特征权重的计算 数据源‎推荐系统--数据预处理和模型构建评估实战‎HQL语句 python脚本构建中间结果 数据预处理 spark构建特征索引 标签列 MLlib调用算法计算模型文件并存储‎ACC准确率和AUC面积的计算以及意义‎推荐系统--模型使用和推荐服务‎推荐模型文件使用思路 Redis数据库安装及其使用 实时在线推荐列表计算逻辑代码讲解 使用Dubbo将推荐系统做成服务‎Dubbo推荐服务演示 SparkMLlib介绍